Инфраструктура egee/wlcg иопыт...

Enabling Grids for E-sciencE

EGEE/WLCG Infrastructure and Experience of Its’ Usage by the CMS Virtual Organization

Инфраструктура EGEE/WLCG и опытработы виртуальной организации CMS

Elena Tikhonenko, JINR, Dubna

The training courses for the participants of the GRID’2008 conference, Dubna, Russia, July 2, 2008

2


Contents Содержание

• Специфика приложений ФВЭ• Проекты LCG и EGEE• Среда WLCG/EGEE: виртуальные организации в

WLCG/EGEE; как стать пользователем; основныепонятия и грид-сервисы; язык описания заданияJDL;

• CRAB - инструментальное средство запуска задачпользователей CMS в среде LCG/EGEE

• Cреда CMS в рамках WLCG/EGEE; тестирование ипрактическое использование в рамках виртуальнойорганизации CMS

• Заключение

3


CMSATLAS

LHCbLHCbALICE

При ожидаемой скорости записи сырых данныхпотребуются ресурсы для хранения данныхпорядка десятков и сотен ПБ.

Для обработки данных потребуютсясотни тысяч персональных компьютеров(максимальной на текущий момент производительности)

Эксперименты на LHC

4


Обработка данных и вычисления вфизике высоких энергий

интерактивныйфизическийанализ

Пакетнаяобработкаданных

Пакетнаяобработкаданных

детектор

суммарныеданные по событиям

«сырые»данные

Реконструкциясобытий

Реконструкциясобытий

моделированиефизическихсобытий

моделированиефизическихсобытий

объекты для физического анализа(выделенные по физическим каналам)

Отбор событийи первичнаяреконструкция

Отбор событийи первичнаяреконструкция

обработанныеданные

Триггер 1-го уровня

ESD

AOD

RAW

5


Специфика приложений ФВЭ

Требования по даннымКолоссальные объемы данных (десятки и сотни Петабайт)Данные типа WORM (писать единожды, читать многократно)Структуризация данных с последующим извлечением информации из данных (data mining)Продолжительное время хранения данных, а также необходимость создания копийданных в разных странах мира

Требования к обработке данныхОбработка данных подразделяется на 2 типа – регулярное производство данных и«нерегулярный» анализ данных

Производство (моделирование ) данных происходит систематически; при этомпроизводятся наборы данных порядка ~ 10**9 физических событий.Анализ физических данных (на наборах данных порядка 10**7 событий) проводитсяпроизвольным образом и в индивидуальном порядке многими сотнями отдельныхпользователей

Высокий уровень параллелизма обработки на уровне событий, который можетбыть описан ориентированным графом с указанием последовательностиобработкиПоскольку интерактивная работа очень важна при анализе данных, необходимопредусмотреть возможность спасения сессий с сохранением информации обисточнике данных («проверяемость», provenance)Необходимость глобального доступа к базам данных экспериментов дляполучения значений констант, условий работы и т.д.

6


Требования к компьютингу для LHC

• Надежное и безопасное хранение данных (ежегодно будетпроизводиться ~15 Петабайт данных)

• Скоростная сеть с малыми задержками и высокойпропускной способностью

• Управление разделением ресурсов между экспериментами, анализом и производством данных, различными группамианализа и индивидуальными пользователями, т.е. необходимость выработки общих правил (common policies)

• Поддержка и обучение пользователей

Необходимо обеспечить прозрачный доступ кданным и вычислительным ресурсам для ~5000

ученых в ~500 институтах, расположенных по всемумиру

7


Проект LCG

Проект WLCG – the Worldwide LHC Computing Grid Project (http://lcg.web.cern.ch/LCG/ ) – был организован для созданиякомпьютерной инфраструктуры, необходимой для моделирования, обработки и анализа данных cтроящихся на LHC экспериментов.

Проект был принят ЦЕРН в 2001 году и включает в себя 2 этапа:1-й этап – 2002-05 (разработка общего прототипа мат.обеспечения изапуск пилотного вычислительного сервиса для LHC). 2-й этап –2006-08 (оснащение и ввод в эксплуатацию вычислительного сервисадля LHC). В проект вовлечены эксперименты LHC, GRID-проекты вЕвропе и США, региональные и национальные компьютерныецентры.

8

Enabling Grids for E-sciencEApplications AreaБиблиотеки и инструментальные средства

Управление данными

Middleware AreaРазработка, тестирование, интеграция

и поддержка промежуточногопрограммного обеспечения

CERN Fabric AreaУправление кластерами и даннымиСети (глобальные и локальные)Вычислительный сервис в ЦЕРН

Grid Deployment AreaУстановка и управление сервисами грид(сертификация, безопасность и т.д.).

Service Challenges

Направления работ в WLCG

Distributed AnalysisРаспределенный анализ данных

9


WLCG основывается на 2-х основныхструктурах грид в сфере науки

LCG-инфраструктура реализована и успешно функционируетна базе 2-х инфрастуктур, обеспечиваемых проектами:

EGEE - Enabling Grids for E-ScienceOSG - US Open Science Grid

EGEE-III: (с апреля 2008 года)

120 институтов из48 стран, объединенные врегиональныефедерации грид

> 68,000 CPU8000

пользователей

10


Что такое EGEE?

Проект EGEE начат в апреле 2004

Цель EGEE: создатьглобальную инфраструктуругрид-сервисов, круглосуточно доступнуюдля ученых и специалистов

EGEE расширяет национальные ирегиональные работы по грид и

активизирует международноенаучное сотрудничество

LCG и EGEE – различныепроектыНо именно тесноесотрудничествообеспечивает разделение, ане дублирование работ

11


РДИГ – Российский грид для интенсивныхопераций с данными

http://www.egee-rdig.ru/

12


Среда WLCG/EGEE

Cреда WLCG /EGEE– инфраструктура, промежуточноематематическое обеспечение (middleware) которой можетрассматриваться как логическое продолжение и развитиедостижений таких grid – проектов, как Сondor, Globus, DataGrid, DataTag, GriPhyn, iVDGL и EGEE (Enabling Grids for E-sciencE).

Под middleware понимается совокупность Grid-сервисов, независимых от ресурсов и приложений и обеспечивающихаутентификацию, авторизацию, размещение ираспределение ресурсов, получение результатоввыполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способыобнаружения неисправностей.

13


Виртуальные организации WLCG/EGEE

В рамках инфраструктуры WLCG/EGEE созданы ифукционируют ряд виртуальных организаций, втом числе: ALICE, ATLAS, CMS, LHCb, DTEAM, ESR ,HONE,ILC,ZEUS,Biomed, Fusion.

Например, на WLCG/EGEE ОИЯИ поддерживаются9 виртуальных организаций с общим количествомих членов более 4000 человек, из которых болееста человек (3% от общего количества членов VOs) являются членами федерации RDIG.

14


Виртуальные организации WLCG/EGEE

За период с апреля 2006 года по сентябрь2007 года количество запущенных винфраструктуры WLCG(EGEE и OSG) задачувеличилось в 5 раз с увеличением затратпроцессорного времени в 3.5 раза

100K jobs/day

15


Последовательность действий дляосуществления возможности работать в среде

WLCG/EGEE

Во-первых, следует ознакомиться с Правилами использованияресурсов WLCG/EGEEЗатем получить персональный цифровой сертификат –

для организаций на территории России – в Сертификационном центре в Курчатовскоминституте (http://ca.grid.kiae.ru/RDIG/ ).

По завершению процесса регистрации Вы получите по электронной почте свой цифровойсертификат, который следует сохранить в файле usercert.pem

Загрузить персональный сертификат в браузерСм. http://lcg.web.cern.ch/LCG/users/registration/load-cert.html

Зарегистрироваться в соответствующей виртуальной организации- например, в CMS VO, по адресу:

https://lcg-voms.cern.ch:8443/vo/cms/vomrs

Для возможности работы в инфраструктуре WLCG/EGEE надо получить сертификат изарегистрироваться в соответствующей виртуальной организации; вся необходимая

последовательность действий описана на странице:

http://lcg.web.cern.ch/LCG/users/registration/registration.html

virtual organization (VO) – виртуальная организация - объединениепользователей, организаций и ресурсов (компьютеров, ПО и данных) в новый

административный домен в рамках grid-инфраструктуры

https://lcg-voms.cern.ch:8443/vo/cms/vomrs

16


• UI (User Interface) – cервис, обеспечивающий доступ к ресурсам Grid; c UI-компьютера пользователь может запускать или прерывать свои задачи, получатьинформацию о статусе выполняемых задач, находить ресурсы, необходимыедля исполнения конкретной задачи, получать учетную информацию о своейзадаче и результат выполнения задачи, а также копировать, реплицировать илиуничтожать файлы в инфрастуктуре Grid.

• CE (Computing Element) – сервис, предоставляющий вычислительный ресурс вгрид-инфраструктуре - реализуется как очередь в системе пакетной обработкиинфраструктуры Grid

• WN (Working Node) – вычислительный узел фермы в инфраструктуре Grid, гдевыполняются фактические вычисления и установлено программноеобеспечение, необходимое для выполнения конечных задач пользователя

• SE (Storage Element) –cервис, обеспечивающий унифицированный доступ кресурсам памяти инфраструктуры Grid (ресурсами памяти при этом могут бытькак простые дисковые серверы, так и дисковые массивы или системы массовойпамяти (MSS)).

• RB (Resource Broker) : сервис поиска “наилучших” ресурсов в среде GRID длязапуска конкретной задачи – он принимает задание от пользователя, согласуеттребования к ресурсам, содержащимся в описании задания, с имеющимимся вналичии свободными ресурсами и направляет задание на подходящий сайт

Что такое сервисы UI, CE, WN, SE, RB?

17


• JDL – расширяемый язык, предназначенный для описаниязадач пользователя с помощью задания значений для“атрибутов” и появившияся еще при создании системыраспределенных вычислений CONDOR

• Пользователь для запуска свой задачи в инфраструктуре grid должен сформировать файл (job_definition.jdl)

• Некоторые из атрибутов описываются пользователем, анекотрые атрибуты автоматически формируются UI до запусказадания в инфрастуктуру grid

• Атрибуты подразделяются на атрибуты описания задачи, атрибуты ресурсов и атрибуты описания данных.

Job Description Language (JDL)Язык описания задачи

18


JАтрибуты описания задачи

• Executable (обязательный)– имя исполняемой команды (программы)

• Arguments (необязательный)– аргументы, которые необходимы для исполнения команды,

указанной в Executable• StdInput, StdOutput, StdErr (необязательный)

– стандартные ввод/вывод/ошибки задачи• Environment (необязательный)

– список установок среды• InputSandbox (необязательный)

– список файлов на локальном диске на UI, необходимых длявыполнения задачи

– перечисленные файлы помещаются на удаленный CE• OutputSandbox (необязательный)

– Список файлов, которые будут сформированы в результатевыполнения задания и которые необходимо получитьпользователю после выполнения задачи

19


J

Атрибуты ресурсовResource Attributes

• Requirements– Требования задачи на вычислительныересурсы

– Если не определяются пользователем, тоиспользуется значение, заданное вконфигурации UI

20


J

Атрибуты описания данных“Data” Attributes

• InputData (необязательный)– относится к данным, используемым как входные к задаче: эти

данные публикуются в Replica Catalog и запоминаются в SEs)– PFNs и/или LFNs

• DataAccessProtocol (обязательный, если определен атрибутInputData)– Протокол или список протоколов, требумых для доступа к

InputData на данном SE• OutputSE (необязательный)

– имя SE-хоста– RB использует его для выбора CE, совместимого в требованиями

задачи и наидолее близко расположенного к SE• OutputData (необязательный)

– Выходные данные, которые должны быть сформированы в концевыполнения задачи

21


Инструментальные средствазапуска задач пользователей

Инструментальные средства, облегчающие пользователюзапуск заданий в среде грид, должны «скрывать» отпользователя всю сложность работы в распределеннойсреде, обеспечивая ему простой и удобный интерфейс.На данный момент для этих целей в CMS разработана ииспользуется система CRAB.

22


CRAB - CMS Remote Analysis Builder; http://cmsdoc.cern.ch/cms/ccs/wm/www/Crab

• CRAB – это программа на интерпретаторе Python, созданная с целью максимальноупростить процесс создания и запуска задач физического анализа в среде Грид.

• Пользователь определяет параметры для использования и конфигурации CRAB вспециальном конфигурационном файле crab.cfg

• Для каждой задачи CRAB генерирует скрипты и дополнительные файлы данных инаправляет непосредственно в грид-среду. CRAB поддерживает любой исполняемыймодуль, полученный в результате работы CMSSW, с любыми модулями илибиблиотеками, включая библиотеки пользователей. CRAB обеспечивает интерфейс ксервисам обнаружения и доступа к данным CMS (DBS и DLS), избавляя конечногопользователя от детализации осуществления этого доступа. Также он может всоответствии с требованиями пользователя разбивать задание (например, прианализе большого набора данных) на несколько менее крупных задач.

• CRAB может использоваться в 2-х режимах: автономном (StandAlone)и серверном. Автономный режим подходит для небольших заданий порядка 100 задач, которыенепосредственно направляются планировщику и находятся под ответственностьюпользователя. В серверном режиме, пригодном для крупных заданий, задачиподготавливаются локально и затем направляются на выделенный CRAB-сервер, который сам взаимодействует с планировщиком от имени пользователя, обеспечивая, в том числе, автоматический перезапуск задач, кэширование статусазадачи и получение результата. Команды CRAB идентичны для обоих режимов.

23


Пример конфигурационного файла crab.cfg

[CRAB]jobtype = cmsswscheduler = glitecoll

[CMSSW]datasetpath = /DY_mumu_10/CMSSW_1_3_1-Spring07-1349/GEN-SIM-DIGI-RECOpset = test.cfgtotal_number_of_events = 20000events_per_job = 1000output_file = MUONS.datuse_dbs_2 = 1

[USER]copy_data = 1storage_element = srm.cern.chstorage_path = /castor/cern.ch/user/n/nilina/Z2taureturn_data = 1use_central_bossDB = 0use_boss_rt = 0

[EDG]rb = CERNproxy_server = myproxy.cern.chvirtual_organization = cmsretry_count = 0lcg_catalog_type = lfclfc_host = lfc-cms-test.cern.chlfc_home = /grid/cms

24


Создание необходимой грид-инфраструктуры на сайте CMS

- cайт должен иметь инсталлированное программное обеспечение длявозможности работать в среде WLCG/EGEE (в данный момент - gLite3_1_0) и быть интегрированным в глобальную инфрастуктуруWLCG/EGEE

- cконфигурированы и открыты очереди для виртуальнойорганизации CMS, а также обеспечена возможность хранения данныхна SE

- необходимо наличие текущих версий CMSSW, инсталлированных наданном грид-сайте

- обеспечены сервисы VOBOX

- инсталлированы и работают серверы Phedex (система размещения ипереноса данных CMS) и Squid (кэширование калибровочныхконстант)

25


Суммарная информация о задачах CMS, запущенных в 2008 году насайте JINR WLCG (получено с использованием системы CMS dashboard)

http://lxarda09.cern.ch/dashboard/request.py/jobsummary/

26


Example of Current CERN-JINR Data Transfer Rates in the frames of CMS Phedex system (10.04.2008)

27


ПримерУчастие RDMS CMS в тестировании с помощью CMS JobRobot:

C октября 2007 по март 2008 г.г. На сайты ОИЯИ. ИТЭФ и ИФВЭ было направленона выполнение посредством СMS JobRobot 43329 задач и 91 % задачзавершился успешно (средний процент успешного завершения CMS JobRobotзадач во всей грид-инфраструктуре CMS - 79.7%)

CMS Job Robot testing

CMS JobRobot – это специализированная программа в виртуальнойорганизации CMS, постоянно функционирующая на выделенной машине вЦЕРНе, которая создает задачи с помощью инструментального средстваCRAB, направляет их на определенные SE, следит за выполнением задач, собирает и хранит информацию о выполнении заданий. Главнымназначением программы CMS JobRobot является тестирование сайтов сточки зрения выявления возможных проблем при массовом запуске насайтах CMS типичных задач обработки данных.

http://cern.ch/jobrobot

28


Заключение

Созданная для экспериментов на LHC глобальнаяинфраструктура грид работоспособна и обеспечивает полнуюфункциональность с точки зрения требований экспериментовна LHC, что подтверждается полномасштабнымтестированием, которое проводилось постоянно, начиная с2001 года, а также успешными многократными сеансамиМонте-Карло моделирования физических событий для ALICE, ATLAS, CMS и LHCb и реальным долговременнымиспользованием инфраструктуры WLCG дляпользовательских задач анализа.

Теперь мы в ожидании запуска LHC – и все возможныепроблемы, которые возникнут на действующей фазеколладера и физических установок на нем, должны будутрешаться в оперативном порядке - это будет уже неиспытание, а практическое использование созданной грид-инфраструктуры в полном объеме.

29


ПРИЛОЖЕНИЕ: УРОКИ CMS JobRobot в ОИЯИ

30


Проблемы, возникшие в ОИЯИ в процессезапуска CMS JobRobot задач

• ОИЯИ принимает участие в тестировании сайта JINR-LCG2 посредствоммассового запуска типичных задач анализа эксперимента CMS (CMS Job Robot) с октября 2007 года, и при этом практически сразу стала наблюдатьсяперезагрузка локальной сети ОИЯИ. На тот момент все 80 4-х ядерныхвычислительных узлов, размещенных в 3-х стойках, были связаны с основныммаршрутизатором локальной сети ОИЯИ через 3 соединения по 1GbE, а все 12 узлов с пулами SE - через одно соединение в 1GbE.

• Попытка улучшить ситуацию подключением всех 3-х стоек свычислительными узлами к основному маршрутизатору через одно соединениев 1GbE, а каждого из 12-ти узлов, на которых размещены дисковые пулы, черезсоединение в 1GbE, не дало улучшения ситуации и привело к перезагрузке сетина участке подключения стоек с вычислительными узлами.

• Следует отметить, что задачи, запускавшиеся системой Job Robot CMS, требовали небольшого процессорного времени (всего несколько минут). Этизадачи обращались к файлам большого размера (2GB), делали выборку ирезультатом выполнения задачи являлось создание файла меньшего размера сфизическими данными, необходимыми для задачи дальнейшего анализа этихданных. При этом отмечалось, что чтение файлов вызывало в локальной сетипередачи данных примерно в 3 раза больше, чем собственно размер файла. Врезультате избыточная загрузка локальной сети вызывала сбои в работе сетевыхпротоколов TCP/IP, SNMP и SSH и приводила к низкой эффективностиисполнения задач (3 минуты на исполнение – и полтора часа астрономическоговремени).

31


Произведенная реконфигурациясайта ОИЯИ

Было принято решение создать выделенную подсеть длядисковых пулов, вычислительной фермы и ряда NFS-серверов.

Такая реконфигурация потребовала установки новогомаршрутизатора Procurve 3500yl-48G в качестве основного

и нескольких коммутаторов Procurve 2810-24G/48G. Врезультате все стойки с вычислительными узлами и всеузлы SE обеспечены соединением 4-8 1GbE к основномумаршрутизатору локальной сети.

Тестирование новой конфигурации массовым запускомзадач, идентичных тестовым задачам CMS,вызывавшимперезагрузку локальной сети, продемонстировалоотсутствие перезагрузки сети и заметное увеличениеэффективности выполнения задач (в 10 раз).

Инфраструктура egee/wlcg иопыт...

Documents