ti group overview - gsi

Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten 1 1

GSI+FAIR Computing

21.5.2011

Volker Lindenstruth FIAS, IfI, LOEWE Professur Chair of HPC Architecture University Frankfurt, Germany Phone: +49 69 798 44101 Fax: +49 69 798 44109 Email: [email protected] WWW: www.compeng.de

http://www.compeng.de/


mailto:[email protected]

Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten 2

Stab des WGF K.-D. Groß

Presse und Kommunikation

Bereich Forschung K. Langanke

NuSTAR C. Scheidenberger

CBM/NQM J. Stroth

APPA T. Stöhlker

Hadronenphysik/ PANDA

K. Peters

Helmholtz-Allianz “EMMI”

P. Braun-Munzinger

Strahlenschutz-bevollmächtigter G. Fehrenbacher

IT-Sicherheitsbeauftragter W. Schön

HI Mainz F. Maas

HI Jena T. Stöhlker

Helmholtz International Center for FAIR

(HIC4FAIR) C. Greiner

International Helmholtz Graduate School for Hadron

and Ion Research (HGS-HIRe for FAIR)

H.Appelshäuser/H.Büsching

Sicherheit und Strahlenschutz G. Fehrenbacher

Stab des TGF G. Walter

Innenrevision A. Städter

Recht A. Lambert

Administrative Organisation und IT

K. Miers (komm.)

Controlling H. Kühlen

Finanzabteilung D. Scholz

Personal und Sozialwesen W. Dahlem

Patente und Technologietransfer

D. Rück

Bereich Personal/Recht

A. Lambert

Finanzen, Contr, admin. Org. und IT

N.N.

Einkauf und Materialwirtschaft

M. Hener

Projektträger und Drittmittelstelle

D. Müller/I. Reinhard

General Programme Advisory Committee (G-PAC) Vors. P. Giubellino

weitere wiss. Gremien: Bio-PAC, F-PAC, Mat-PAC, PPAC

Gesellschafterversammlung Bund / Hessen

Aufsichtsrat Vorsitzende Dr. B. Vierkorn-Rudolph Stellv. Vorsitzender Dr. R. Bernhardt

Wissenschaftlicher Rat Vors. K.-H. Kampert

Wissenschaftl. Direktorium H. Stöcker (Vors.), N.N., H. Eickhoff, K. Langanke,

B. Schönfelder

Bauplanung und Zentrale Dienste

M. Stenersen

Hadronenphysik I K. Peters

Kernreaktionen T. Aumann

Kernstruktur J. Gerl/N. Pietralla

Hadronenphysik II F. Maas

FOPI Y. Leifels

Atomphysik T. Stöhlker

Plasmaph./PHELIX T. Stöhlker (komm.)

Biophysik M. Durante

HADES J. Stroth

CBM P. Senger

ALICE P. Braun-Munzinger

Kernchemie C. E. Düllmann

FRS/SFRS H. Geissel

Superschw.Elemente F.-P. Hessberger

International Users‘ Group Executive Committee

Vors. A. Müller

Betriebsrat Vors. A. Schlossarek

Stellv. Vors. H. Kreiser

Schwerbehinderten-vertretung

Vertrauensfrau: E. Kehr

Gleichstellungsgremium Beauftragte: C. Will

Datenschutzbeauftragte S. Schulz

Theorie H. Feldmeier,

F. Karsch, J. Wambach,

C. Greiner

Wissenschaftlicher Ausschuss

Vors. H. Simon Stellv. Vors. Y. Leifels

Beschleunigerph. O. Boine-

Frankenheim

Linac W. Barth

Betrieb U. Scheeler

Synchrotrons P. Spiller

Strahldiagnose M. Schwickert

Magnettechnik C. Mühle

Vakuum-Systeme H. Reich-Sprenger

Beschleuniger Elektronik

R. Bär

HF-Systeme H. Klingbeil

Speicherringe M. Steck

Elektrische Energietechnik

H. Ramakers

Stand: Mai 2011. Der Geschäftsbereich FAIR ist mit Gründung der FAIR GmbH am 4. Oktober 2010 weggefallen. Voraussichtlich im Sommer 2011 soll der neue GSI-Gesellschaftsvertrag wirksam werden. Die Länder Rheinland-Pfalz und Thüringen werden weitere Gesellschafter der GSI, die wissenschaftlichen Organe WA und WD werden durch den Wissenschaftlich-Technischen Rat (WTR) ersetzt.

GSI Helmholtzzentrum für Schwerionenforschung GmbH Organigram

Gebäude- und Anlagentechnik

R. Becker

Zentrale Technik R. Fuchs

Targetlabor B. Lommel

Bereich Tech. und Wiss. Infrastruktur

B. Schönfelder

Experiment- Elektronik E. Badura

Detektorlabor C.-J.Schmidt

Bibliothek und Dokumentation

K. Große

Stab Bereich Beschleuniger

L. Dahl

Projektbüro (PMO) U. Weinrich

Institution mit GSI Beteiligung

Helmholtz-Institut der GSI

Bereich Stabsabteilung Gesellschafts-rechtl. Organ

der GSI

Wissenschaftl. Organ der GSI

Gremium GSI Forschungs-schwerpunkt

Beauftragte/ Bevollmächtigte

Legende:

Bereich Beschleuniger O. Kester

Geschäftsführung Wissenschaftlicher Geschäftsführer: Horst Stöcker

Forschungsdirektor (assoz.) K. Langanke

Technischer Geschäftsführer Hartmut Eickhoff

Kaufmännischer Geschäftsführer Horst Stöcker (komm.)

Externes wiss.-beratendes Gremium

HL Rechnen W. Schön

Materialforschung C. Trautmann

Kern-IT K. Miers (komm.)

Wiss. Rechnen P. Malzacher

IT V. Lindenstruth

P. Braun-Munzinger

ESR/CR P. Egelhof

HL Rechnen W. Schön

Kern-ITK. Miers (komm.)

Wiss. RechnenP. Malzacher

ITV. Lindenstruth

P. Braun-Munzinger

Admin IT K. Miers



Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten 3 3 3

Austria India China Finnland France Germany Greece UK Italy Poland Slovakia Slovenia Spain Sweden Romania Russia

Observers

Hungary

Saudi-Arabia

USA

EU

GmbH GmbH

2010 2013 2016Programm CPU On-line Tape CPU On-line Tape CPU On-line Tape

# cores PB PB/a # cores PB PB/a # cores PB PB/aAPPA 100 < 0,1 0,1 200 1,0 2,0 1.000 1,0 2,0CBM 250 < 0,2 0,2 7.000 15,0 11,0 60.000 15,0 11,0NUSTAR 100 < 0,1 0,0 300 2,0 2,0 2.000 2,0 2,0PANDA 250 < 0,2 0,2 8.000 12,0 12,0 66.000 12,0 12,0

ALICE 3.000 1,5 0,0 6.600 3,5 0,0 14.500 8,0 0,0FOPI 200 0,1 0,2 400 0,2 0,3HADES 1.000 1,0 1,5 1.000 2,0 3,0

Gitter-QCD 2.500 < 0,3 0,3 20.000 0,5 0,5 100.000 1,0 2,0Theorie 1.000 < 0,2 0,2 5.000 0,5 0,5 20.000 1,0 2,0

rest 500 < 0,3 0,3 2.000 1,5 1,5 10.000 3,0 3,0



Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten 4 4

Green500: 8 Top500: 22 (21) Cost: 200 €/core PUE: 1,07 CO2 neutral

LOEWE-CSC 2011




Cooling System Architecture

M M

draw-off

evaporation

heatexchanger

secondarypump

primarypump

Secondary

cooling circuit

data center building

server room

cooling towerf ixtures

equipmentcontainer

cooling tower

PrimaryCooling circuit

makekupwaterairair




GSI Datacenter Roadmap

• To date: all ressources exhausted • 10 19“-rack container hosting Lustre upgrade • 100 rack data center (1,5 MW) in Testing hall

(completion September 2011) • Begin construction of GSI Fair-IT Cube 2012




FAIR Green-IT Tier-0 Data Center

…

FIAS Patent submitted @ DPMA 5.7.2008 (Lindenstruth, Stöcker)

…



Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten Volker Lindenstruth (www.compeng.de) 10. November 2011— Copyright ©, Goethe Uni, Alle Rechte vorbehalten 8 ___ _

___ _

Tragwerksplanung

BUNG Ingenieure AG

TGA HLSK

Ebert Ingenieure GmbH & Co.KG

Englerstr. 4, 69126 HeidelbergTel.: (06221) 3060Fax: (06221) 306172

Hanauer Landstr. 182,60314 Frankfurt a.M.Tel.: (069) 299905-43Fax: (069) 299905-10

Architekt

DGI BauwerkGesellschaft von Architekten mbH

Schillstraße 9, 10785 BerlinTel.: (030) 26 49 43 - 0Fax: (030) 26 27 93 - 4

Datum bearbeitet Maßstab

Bauvorhaben Phase - IndexStatusPlanart Ebene

Green IT--

Plan-Nr.

Blatt-Gr. geprüft-

Änd.-Datum Änderungsbeschreibung geä. gepr.

Bauherr

GSI Gesellschaft fürSchwerionenforschung GmbH Darmstadt

Bauvorhaben Phase - IndexStatusPlanart Bauteil-- -

Planckstr. 1, 64291 DarmstadtTel.: (06221) 549809Fax: (06221) 549809

Green ITRechenzentrum

3

Entwurfsplanung

22.01.2010

DIN A2

WB

CT M. 1:100

3

Vorabzug

Green IT

TGA ELT

Müller & Bleher GmbH & Co.KG

Fritz- Reichle-Ring 10,78315 RadolfszellTel.: (07732) 953911Fax: (07732) 953910

Legende:

UnterdruckstationenUmluftkühlgeräte

UDSULK

26,90

20 30 4,20 30 1,55 12,00 1,55 30 2,30 20 3,50 30 20

35 4,50 3,85 3,85 3,85 3,85 2,55 3,75 35

26,9

0

2030

8,80

203,

0020

3,00

2010

,50

3020

1,00

2,60

2090

1,30

2,20

40

2030

352,

401,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

201,

202,

4035

50

5,00

2015

158,

159,

608,

1515

1520

1,60

801,

60

8,65 20 3,865 20 3,12 20 6,415 4,25

26,90

30,5

0

1,20

35

80

+138,90 +138,90

+138,90+138,90

+138,90

+138,90

UDS 1,6 /2,1 R1

R2

R3

R4

R5

R6

R7

R8

R9

Rac

k20

0/12

0/80

HEB400

SekundärträgerHEB160

PrimärträgerHE300MH=455

Achsmaße

Achs

maß

eSt

ütze

n

1 15

NSHVTechn. Gang129 Racks

Rac

ks

Technikspange

Ebene 1

1

A

B

C

D

Y

Z

2 3 4 5 6 7 8

Kabine:B 1,4 / T 2,4 / H 2,3TL 1600 kg

Trafo 6

Trafo 5

Einb

ringö

ffnun

gEi

nbrin

göffn

ung

B

B

BMZ

SchwachstromELA

16 STG ≈ 17,2 / 29 (2 Läufig)

A A

T30

T30

T30

T30

T30

T30

T30

T30

F90 F90 F90F90

F90

F90

F90

F90

F90

F90

F90

F90

F90

F90

Traforaum

Traforaum

F90

T30T30 T30

F90

Horizo

ntalve

rban

d

Auss

teifun

gStah

lkons

trukti

on

Horizontalverband

AussteifungStahlkonstruktion

RR RR

22 STG ≈ 17,7 / 29 (2 Läufig)

Ebene 01 GR

GR 01

Ebene 01




UDS 1,6 /2,1

UDS 1,6 /2,1

UDS 1,6 /2,1

UDS 1,6 /2,1

UDS 1,6 /2,1

S e k un d ä r tr äg e r H E A 2 6 0P r im ä r tr ä ge r P os it io n i e r un gn a c h L a s t e i n t r a g

Le it ung s f üh r un g N / S

L e i t ung s f üh r un g O / W

E

E

E

E

E

E

E 1

E 2

E 3

E 4

E 5

E G

D

D

87654321

T e c h niks pa n ge R a ck eben en

T e c h nik gan g T e c h nik räu m e

M agn etban dr ob ote r UL K U LKRa c k200/12 0/80

129 Racks

129 Racks

129 Ra

129 Racks

129 Rack

137 Racks

1 5 8,5 7 m ü . N N

W a n d v o r la g e W a n d v o r la g e

L e i tung s fü h r un g N / SH E M 90 0

H E M 34 0 H E M 34 0

L e itung s fü h r un g N / S




FAIR Centers outside GSI

• KACST Prototype of 10 PF system (2M€) • FRRC HPC system 1M€/a • Acquisition of new computer in 2011 (3M€) • FAIR Tier-0 proposal contains 8 M€ for computers in

2014




Usage of FAIR Tier-0 center

• Candidate for possible CERN Tier-0 colocation center • Center for all GSI IT and FAIR IT • Huge upgrade capability (space and power) • Also hosting on-line systems (CBM FLES) • How about PANDA? • Additional requirements?




FAIR HPC Backbone 1TB/s

FAIR

GRID Sites

GRID Sites

FAIR Metropolitan HPC System

FAIR HPC

- Link 1 TB/s

GRID Sites

GRID Sites




Core – IT (Karin Miers) • Exchange2010 (this summer) • Windows7/Office2010 (this year) • Sharepoint Introduction (medium-term) • Network design:

– Connection to testing hall (short term) – Layout for the near future (new technologies, core

routing…) • New concepts for mass storage / backup

(long-term): – Lustre, combined hard discs/tape solution…




Administrative (Organization and) IT (Karin Miers)

• New content management system for web site – typo3 (work in progress, completion hopefully in autumn)

• New solution for document management system (mid-term, next year)




Questions / Input:

• Requirements network? • Requirements storage and gStore? • Feature wish list for DMS • Demand for Sharepoint? • Service for FAIR:

– Web site hosting – FAIR e-mail addresses



Focus of Scientific Computing (Peter Malzacher): 3 Subgroups: Experiment Simulation and Analysis, e-Infrastructure, DBs

Development and maintenance of the common software framework of the FAIR experiments (FairRoot)

Support of the experiments:

using FairRoot,

in the construction and use of databases,

in software engineering methods and tools,

to adapt to new parallel architectures

and distributed analysis

Participation in national and international research - and development activities for software of the experimental and theoretical particle - and nuclear physics. Community Software Support at GSI / FAIR

Support the software environment of the ALICE experiment at the German Tier-1 center GridKa at KIT and the Tier-2 center at GSI, LOEWE CSC, …

Strategic planning and design of the e - Infrastructure for the FAIR experiments, development of models for the resource integration of regional universities, national and international FAIR partner with methods of the Grid and Cloud Computing

Short/medium term challenges:

ALICE T2/3 support:

local vs Grid jobs GSI pledged ~900 jobs in parallel for ALICE (since 1. of April)

SE GSI pledged 440TB we provide 300TB: larger SE or SE on lustre

10GB/s to GridKa or into HEPPI

DB Strategy for FAIR experiments:

Oracle is quite expensive, exploration of alternatives (open source SQL or noSQL DBs)

FairRoot

Multi/Many core GPU strategy, integration of OpenCL, new experiments

Community Software Support

Close collaoration with ROOT, AliEn, coordination with G4, Geant5 project, PoD & PROOF

Grid & Cloud for FAIR

PandaGrid, Cloudification of LOEWE CSC, Ffm Cloud, …


Walter Scön, GSI

High Performance Computing Walter Schön, GSI




Walter Scön, GSI

Lustre: Additional instalation of 1.2 Petabyte (next days) => 2.5 Pbyte (netto) Compute nodes: 2.000 additionas Cores in compute farm: SM 2U Twin with64 Cores (“poor mans blade“) 2GB/Core, 1 Core < 100 Euro ( setup at BG2, Ethernet, Infiniband ready) Prototype Software-distribution with modules => Scalability! → no /u filesystems on farm GE (openSource) replaces LSF (high license cost)




Walter Scön, GSI

-

„test cube“ - New cooling system (PUE <1.1) Production operation with Lustre => „mini cube“ in Testinghal, September 2011




Walter Scön, GSI

Cluster for „Mini Cube“: IB based 1 Petabyte Lustre II ( Start Version) => New tender A : „cheap“ solution: SM + fast, inexpensive - Simple RAID controller B: „high-end solution“ + redundant RAID controller, + hardware data integrity - Expensive ( > 1.5 more …. )




Walter Scön, GSI

Compute nodes for „Mini Cube“ Recommendation: 2UTwin with FLOP/Euro Optimized power




Walter Scön, GSI

Migration LustreI → LustreII

- Without service interruption -Seperate data sets / compute cluster

- in coordination with experiments stepwise copying of data and subsequent moving of hardware to test cube

=> Transfer of (IB) Hardware

To Testcube (without service interruption) Connection of remaining nodes via LNET router to new

Lustre



ti group overview - gsi

Documents