© 2010 ibm corporation ibm systems and technology group ibm innovation & infrastructure | deep...
TRANSCRIPT
© 2010 IBM Corporation
IBM Systems and Technology Group
IBM Innovation & Infrastructure | Deep Computing
IBM en Deep Computing/HPC
Sevilla octubre 2011
Mariano GarridoCTAIBM STG
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Agenda
Qué es DC/HPC? Factores claves para abordar un proyecto Soluciones IBM Consideraciones de explotación Alternativas
– System P
– Linux clusters
– Bluegene
iDataPlex
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Business Applications
Transaction Processing and Database
Entender las cargas de trabajo que estamos usando es un prerequisito importante
Characteristics vary: Application Usage Pattern SLA Data Structure
Web, Collaboration and Infrastructure
WorkloadOptimization
Analytics and High Performance
One size DOES NOT fit all
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Qué es Deep Computing o High Performance Computing
Realización de miles de billones de cálculos matemáticos en un corto espacio de tiempo para la resolución de problemas complejos. Especialmente útil en aquellas problemáticas que manejan gran volumen de datos o que realizan múltiples iteraciones con una muestra de datos mas acotada y donde los cálculos manuales harían inabordable ese determinado problema.
Medida típica TeraFlop = Millón de millones de operaciones, en doble precisión (64bit), de coma flotante por segundo (los sistemas que aparecen en el ranking de TOP500 se miden ya en miles de TeraFlops. IBM es líder en TOP500 )
– Kilo < Mega < Giga < Tera < Peta < Exa = 1018
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Puntos críticos para abordar un proyecto DC/HPC viable
Necesidades de memoria principal del sistema. – Un factor limitante puede ser el tamaño de memória máximo que puede emplear un núcleo
de procesamiento => 32/64GB en los sistemas High End de la serie pSystems y 48GB en los sistemas High End eX5 en de IBM (con velocidades de acceso a memoria de 1,6Ghz en los inminentes Sandy Bridge de Intel que mitiga el desfase entre la velocidad de la CPU vs RAM)
Capacidad individual de los procesadores de los nodos de cálculo.– Existen aplicaciones que consumen todos los recursos de CPU disponibles, es decir el
factor limitante no es el tamaño o la velocidad de la memoria principal => Para estos casos es vital el tipo de procesador (conjunto de instrucciones reducido o complejo) RISC/CISC/x86 y su velocidad de reloj. Actualmente alrededor de 2-3Ghz.
– Se ha llegado a una frontera física en el diseño de microprocesadores de velocidad cada vez mayor. Se producen efectos físicos (corriente de perdida en las puertas de los transistores) que impiden aumentar la frecuencia de operación de los chips =>
– Intel/AMD han optado por incluir varios núcleos en un mismo chip reduciendo la velocidad de estos núcleos. Opción divide y vencerás. IBM dispone de tecnología Multicore en su gama POWER desde 2001 (9 núcleos en PowerXcell8i 2007, 8 core en POWER 7 2010)
– Asimismo IBM invierte en investigación de tecnología de fabricación de microprocesadores para mitigar estos efectos (High-K metal) y poder proporcionar CPUs a >4Ghz desde 1H07.
– Introducción de las nuevas GPUs (coprocesadores matemáticos)
LeakageSource Drain
Gate
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Un proyecto DC/HPC viable (cont.) Escalabilidad de las aplicaciones y capacidad de crecimiento de las redes
de interconexión en sistemas cluster.– El concepto de escalabilidad implica:
– A) que la aplicación es capaz de repartir carga entre varios nodos y – B) que a mayor número de nodos mayor rendimiento bien en tiempo de respuesta o en
capacidad de resolución de problemas mas complejos.(Evitar efecto saturación)– Pueden existir aplicaciones muy sensibles a parámetros de esta red (latencia, ancho de banda)
=>
– Las redes de interconexión para estos sistemas son equipamiento de extremada especialización.
– Estas redes deben permitir un crecimiento, sin detrimento del rendimiento, hasta varios miles de nodos. IBM dispone de tecnología aplicada en su producto Bluegene/P que permite crear un sistema de hasta 131.072 procesadores.
Los requerimientos físicos de espacio, alimentación y refrigeración deben ser asumibles– Ej: construcción de un sistema de 360 TFlps
– Espacio– BG/L ~100 m2– Linux Cluster ~1000 m2 (extrapolación)
– Consumo– BG/L ~1.5 MW– Linux Cluster ~15 MW (extrapolación)
– Implicación en costes:– 1 MW/yr = $1M
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
La oferta de IBMDado que el tipo de problemática/aplicación condiciona el tipo de
arquitectura adecuada, IBM dispone de una oferta completa:
Sistemas SMP de memoria compartida. System p– Grandes sistemas de hasta 32, 64 procesadores con una única
imagen de sistema operativo y un vólumen de memoria de hasta 4TB
Cluster de sistemas de memoria distribuida. Cluster 1350 iDataPleX y cluster 1600
– Máquinas lógicas de miles de procesadores en base a la interconexión física, mediante redes especializadas, de sistemas “modestos” de 2, 4, 8,16 y hasta 32 procesadores con memoria por nodo de hasta 256GB.
– Procesadores “comodity”: IBM POWER, Cell, Intel Xeon o AMD Opteron.
Sistemas de propósito específico. BlueGene– Agregación de hasta 131.072 procesadores mediante tecnología
propietaria y encaminados a la resolución de determinados tipos de problemas. Procesadores modestos: PowerPC450.
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Memoria compartida (= BIG SMP) vs Memoria distribuida (=clusters) vs Bluegene (MPP Massive Paralel Processing) para sistemas de
High Performance Computing
Memoria compartida
Modelo de administración y programación más sencillo (una única imagen de sistema)
Escalabilidad limitada (el sistema SMP/NUMA construible tiene límites)
Típicamente bloques constructivos más caros y menos granulares
Tienden a ser sistemas de infraestructura propietaria
Dificultad/costoso de expandir
Focalizados en rendimineto de pico (problemas con más variables de entrada o tiempos de respuesta menores)
Massive Parallel Processing
Modelo de administración y programación mas Complejo (Imagen de sistema única “virtual“)
Escalabilidad excelente (limitada sólo por MTBFs, …)
Excelente ratio rendimiento/consumo
Excelente ratio rendimiento/espacio
El punto de entrada de un sistema BG/L es de 1024 CPUs.
Arquitectura con el crecimiento máximo posible (65536 CPUs)
Enfocado a aplicaciones que puedan escalar sin restricciones con el número de CPUs
Memoria Distribuida
Modelo de administración y programación mas Complejo (Imagen de sistema única “virtual“)
Escalabilidad excelente (limitada sólo por MTBFs, puertos de switch, espacio físico, consumo …)
Típicamente bloques constructivos más baratos y granulares
Tienden a ser arquitecturas basadas en estandares abiertos
Permiten un crecimiento simple y orgánico
Focalizados en rendimiento agregado sostenido
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
Control de utilización de recursos ( Accounting/ Billing)
Licencias de aplicaciones comerciales
Acceso de administración al sistema
Administración y reparto de trabajos/ tareas y control de utilización de recursos (acounting)
Administración y mantenimiento del sistema (reparación de componentes HW/SW)
Instalación física y lógica del sistema (HW/SW)
Librerías de comunicaciones (MPI) para coordinación de procesos en un entorno distribuido.
Herramientas de compilación (optimización de código para HW subyacente) + Librerías matemáticas paralelas
Sistema de respaldo, backup de datos
Sistema especializado de almacenamiento: General Parallel File System (GPFS) para proporcionar rendimiento, alta disponibilidad y escalabilidad
Sistema de reparto de cargas/gestión de colas de trabajos (Loadleveler, Platform LSF, PBS Pro, Torque, MAUI…)
Sistema de gestión y control, despliegue de imágenes de sistema en los nodos (CSM, xCAT, DIM,…)
Licencias de sistema operativo: Linux, UNIX o Windows
Nodos y dispositivos de almacenamiento
Nodos de cálculo (núcleo del sistema)
Nodo/s de control, entrada/salida del sistema, reparto de carga,
Redes de interconexión (especializada) y gestión (commodity)
Ubicación= Sala (m2) consideraciones de seguridad
Alimentación del sistema y del equipo de refrigeración (Mwatt)
Equipo de refrigeración: Maquinária interna a la sala y dispositivos externos (Frigorias)
Infraestructura y consideraciones de explotación
Hardware
Servicios
Software Middleware
Aplicaciones
Data Center:
Site + cooling
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
Solución pre-integrada• Servidores, switches, PDU’s, cableado• Listo para colocarlo en su sitio, enchufar
corriente, conectarlo a la red y empezar a trabajar.
o…
iDataPlex – Solución pre-integrada
¿Montarlo uno mismo?
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation
IBM supercomputing leadership
Source: www.top500.org
Semiannual independent ranking of the top 500
supercomputers in the world
June 2011 Aggregate PerformanceIBM leads with 15.29 of 58.93 PF
Dawning2,5%
NUDT4,4%
Cray15,4%
Oracle3,0%
Dell2,0%
Bull3,6%
HP16,9%
SGI4,6%
IBM25,95%
Other21,7%IBM supercomputing leadership ...
Most installed aggregate throughput with over 15,294 out of 58,930 Teraflops (25.9%)(CRAY: 9,081 / 15.4%, HP: 9,975 / 16.9%)
Leader for 24 Lists in a row
Most systems in TOP500 with 212 (HP: 156, Cray: 29, SGI: 19)
Most energy-efficient system
(Blue Gene/Q Prototype2: 2097 MF/w)
6 of 10 most energy-efficient systems
June 2011 TOP500 EntriesIBM leads, followed by HP
Other; 60
Cray; 29
Oracle; 12
Dell; 12
HP; 156
SGI; 19
IBM; 212
IBM Deep Computing
Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation12
iDataPlex
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
iDataPlex (Internet + Data Center + Large Scale) Rack 100U 84U para Nodos x86 y 16U verticales para switches y PDUs Optimizado con servidores la mitad de profundosmitad de profundos que los estándares y con unos componentes
diseñados para obtener máxima eficiencia de la energía y refrigeración máxima eficiencia de la energía y refrigeración Diseñado para maximizar usomaximizar uso del espacio y la infraestructura de alimentación y refrigeración del
centro processo de datos con unos servidores con componentes estándares de la industria. Solución fácil de mantenerfácil de mantener con servidores accesibles de forma individual por la parte frontal. Configurable par necesidades de cada clientede cada cliente cálculo, almacenamiento o I/O y entregable pre-pre-
configuradoconfigurado fpara rápido despliegue44
4 x
750m
m
640mm
105
0mm
Vista SuperiorRack Estándar 19” Rack iDataPlex
600
mm
(7
20
mm
w
/RD
Hx)
1200mm
446
x 40
0mm
446
x 40
0mm
RDHX
Vista Superior
Flujo Aire
Flujo AireFlujo Aire
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
System x iDataPlex dx360 M3 iDataPlex flexibilidad con mayor rendimiento, eficiencia y más opciones
1U Bandeja Discos
1U Nodo Cálculo
3U Chasis AlmacenamientoMáxima Densidad Almacenamiento
3U, 1 Nodo Cálculo & Bandeja DiscosHDD: 12 (3.5”) hasta 24TB
I/O: PCIe para red + PCIe para RAID
Cálculo + AlmacenamientoBalance Alamacenamiento y Proceso2U, 1 Nodo Cálculo & Bandeja Discos
HDD: hasta 5 (3.5”)
Cálculo intensivoMáxima Capacidad Proceso
2U, 2 Nodos Cálculo
750W N+N Fuente
AlimentaciónRedundante
900W Fuente
Alimentación
1U Bandeja Dual GPU I/O
550W Fuente
Alimentación
Cálculo + I/OMáxima Flexibilidad Componentes
2U, 1 Nodo CálculoI/O: hasta 2 PCIe, HDD hasta 8 (2.5”)
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
iDataPlex (Rear Door Heat Exchanger, RDHX) Aumenta la densidad en el centro proceso de
datos eliminando pasillos fríos/calientes
Elimina calor generado por el rack
Mismas dimensiones que la puerta trasera del rack iDataPlex y 4” ancho
Refrigeración mediante líquido en un rack es 75%-95% más eficiente que la refrigeración por aire
No hay elementos móviles o eléctricos
No hay condensación
Agua helada
Proporciona hasta 115% extracción de calor y puede incluso refrigerar centro proceso datos!
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
Aumento densidad y reducción costes de energía
44 TeraFlops >44 TeraFlops
Reducción ocupación 4:1
Reducción costes de energía y refrigeración > 65%
Casi 4x más rendimiento por rack(1)
336 servidores dx360 M3 (Procesador Xeon 5600)
4 Racks, 16 Switches InfiniBand
42 servidores dx360 M3
(Procesador Xeon 5600)
1 Rack, 2 Switches InfiniBand
84 NVIDIA Tesla GPU’s
(1) Based on 2.93GHz Intel with NVidia performance data, 2010
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
Go Beyond your limits - 5x Compute density
Scale compute capacity to match accelerated growth
Increase 15% more servers, with 58% less Computer Room Air Conditioning IBM Lab Services
Provide 50%+ more density to customers running out of data center space and budgets
Increase computing demand within same space constraints
Go Green – 40% Better Energy Efficiency Improve airflow efficiency with shorter depth servers
Lower energy consumption by 40% with shared power & cooling
Remove 100% server heat exhaust and even cool the room with a Rear Door Heat eXchanger
Reduce the need for air conditioning
Cool 70% more efficiently with rack liquid cooling than air cooling
Go Faster – Fully Integrated for quick deployment Deploy and operate quickly with customized fully configured rack solutions
Save time by managing at the rack level
Modular, tool-less design and front access provide simple serviceability
Simplified building blocks for flexible customized configurations
Go for lower TCO – Lower Capital and Operation Costs Reduces costs of unnecessary redundant hardware for running parallel applications
Save up to $1.2M/year on datacenter power, cooling and management costs
Increase speed and accuracy without increasing power costs
You can relax! IBM helps with the planning and implementation of iDataPlex with STG Lab Services
IBM System x iDataPlex – La Revolución x86 en Eficiencia
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
43 iDataPlex en TOP500 del 2010
Noviembre 2010 http://www.top500.org/lists/2010/11
© 2010 IBM Corporation
Smarter Systems for a Smarter Planet
GRACIAS