big data open lab
TRANSCRIPT
«Большие данные» и выПомогая заказчикам перейти от слов к делу и превратить данные в ключевую ценность организации
Арутюн Аветисян, ученый секретарь, Институт системного программирования РАН
Павел Борох, менеджер по маркетингу корпоративных решений Dell в России, Казахстане и Центральной Азии
Domains
Websites
E-mailИсточник: Qmee July 2013, http://blog.qmee.com/qmee-nlinein-60-seconds/
Каждую минуту каждый день…
THOUSANDposts every
second
Превратить данные в информацию, влияющую на
принятие решенийСпасти жизни Снизить
издержкиУдержать клиентовМедицина: решения
в реальном времени для предотвращения опасных инфекций после операций.
Производство стали: оптимизация мониторинга, отчетов и управления процессом.
Индивидуализирован-ные предложения от сервис-провайдера.
Превратить данные в краеугольный камень конкурентоспособности!
Dell Solutions Forum 2014#DST2014
Danske Bank: решение для
персонализированного обслуживания
заказчиков
“… современная программная платформа с превосходной производительностью, которая к тому же прекрасно соседствует с существующими ИТ-средствами, стала ключевым элементом для генерирования как сиюминутной, так и долгосрочной отдачи.”
Йенс Х. Ипсен
первый вице-президент и менеджер по развитию
Задача: создать быстрое и точное решение для управления рисками и ранжирования в больших объемах данных и быстроизменяющейся среде.
Решение: анализ данных и прогностическое моделирование с помощью Dell StatSoft Statistica позволили ускорить создание и просчет моделей финансовых рисков.
Dell Solutions Forum 2014
Большие данные – это непросто Различные, иногда противоречивые требования:
долговременное хранение,
обработка массовых запросов,
обработка потоков данных в режиме реального времени,
поддержка транзакций и др.
Соответствующие технологии должны в первую очередь обеспечивать производительность и масштабируемость
Dell Solutions Forum 2014#DellST14
Технологии для больших данных сегодня• Возможность обеспечить технологическую
независимость и снизить риски как на уровне компаний, так и государства:
• Программное обеспечение – нет «серебряной пули», но существуют зрелые Open Source технологии:
– Hadoop (HDFS, Map/Reduce)
– Spark (in memory Big Data)
– GridGain, Infinispan (In Memory Data Grid)
– Hazelcast (Distributed Key-Value storage)
– …• Аппаратура – все из компонент общего назначения
(commodity)Dell Solutions Forum 2014#DellST14
Технологии для больших данных сегодня• Большой разрыв между существующими
технологическими возможностями и их реальным использованием в индустрии
• Постоянная необходимость в инновациях:– разработка и внедрение новых технологий– адаптация и развитие существующих под
специфику прикладных областей
• Основная проблема – отсутствие/нехватка экспертизы, соответствующих команд
Dell Solutions Forum 2014#DellST14
Требуется наладить взаимодействие бизнеса и ИТ
Совместно определит
ь цели, требования, метрики
Обеспечить сращивание с существующ
ими системами и
ПО
Дать возможность реализовать
пилотные проекты
Экспертиза и наработкиDell Solutions Forum 2014#DellST14
Лаборатория, созданная Dell и ИСП РАН
Dell Solutions Forum 2014#DellST14
Аппаратное обеспечение Dell: Серверы Dell PowerEdgeкоммутаторы Dell Networkingсистемы хранения данных (PowerVault MD3820i)СПО: OpenStack, Hadoop, GridGain, Apache Spark, Infinispan, Terracotta, Ehcache и др.
Dell Software: Boomi, StatSoft и др.
Web-лаборатория BigDataOpenLab (на базе платформы UniHUB)
Big Data Open Lab • Центр компетенций – создан с целью продвижения передового
опыта и развития технологий в области «больших данных» в интересах российских организаций
• Экосистема поддержки инноваций в области «больших данных»:
– Обеспечение доступа к современным аппаратно-программным платформам
– Поддержка передовых исследований и разработок
– Внедрение в индустрию
– Поддержка сообщества пользователей и разработчиков
– Консалтинг и обучениеDell Solutions Forum 2014#DellST14
Опыт ИСП РАНТехнологическая платформа UniHUB
Создана технологическая платформа, реализующая в полном объеме концепцию web-ориентированных научно-производственных центров
Платформа полностью базируется на свободном ПО (основа OpenStack)
Платформа развернута в ЦОД ВЦ им. А.А. Дородницына РАН
Пользователи могут создавать и разворачивать свои собственные сервисы в рамках единой платформы, в том числе создавать web-ориентированные научно-производственные центры в конкретных предметных областях
Web-лаборатории:1) Механика сплошных сред (МСС)2) Системное программирование 3) ГИС
Dell Solutions Forum 2014#DellST14
Опыт ИСП РАН
Dell Solutions Forum 2014#DellST14
• Создан экспериментальный стенд для моделирования трафика до 100Гб/с (данные располагаются на HDD, используется iSCSI и собственное ПО).
• Создана программная инфраструктура для хранения и обработки данных в задачах вычислительной биологии.
• Сейчас реализована задача предсказания сайтов связывания транскрипционных факторов с геномом на основе коллекции мотивов ДНК HOCOMOCO (Xen, ZFS, Object storage, Redis, Varnish Cache)
• Масштабируемая система для анализа текстов с открытым API (хранилище ключ-значение Redis, кэширующий сервер приложений Varnish Cache)
• Исследование возможности использования свободного ПО для создания автоматизированной банковской системы (Infinispan, Hazelcast, GridGain)
• Анализ результатов мат моделирования в задачах инженерного анализа (OpenFoam, Hadoop)
• Ежегодная конференция “Облачные вычисления. Исследования, Разработки, Образование”
13
Dell для Big Data
Услуги (готовность инфраструктуры, зрелость аналитики) и экспертные знания (протестированные комбинации технологий)
Инфраструктура
Нужные данные в нужном месте в нужное время
Управление
Повышение производи-тельности
платформы
Интеграция
Движение данных в реальном времени
Превратите данные в знания и быстрые решения
Глубокая аналитика и
БИ
Партнеры и платформы: Hadoop, Intel, Cloudera, Oracle, Microsoft, SAP и др.
СХД, серверы, сетевое
оборудование
Hadoop,Toad
BoomiStatistica, Toad
Data Point, Kitenga
