realtech, sap and linux - novell is now micro focus ... · web viewen centros de datos...

La migración de UNIX a Linux

en centros de datos SAP®, una tendencia

en aumento:

Actualización y discusión sobre efectos

de arquitectura

Helmut Spöcker

Director de consultoría

REALTECH Consulting

Agosto de 2009

Contenido

Resumen de la gestión y motivos para esta actualización...........................................3

Repaso del informe oficial original.................................................................................5

Análisis e investigación de la arquitectura..................................................................14

La migración a Linux: el hardware..........................................................................................14

Las ventajas de una plataforma de desarrollo.........................................................................16

Aspectos de informática ecológica.........................................................................................21

Efectos de la virtualización en el ámbito de SAP..................................................................26

El futuro de un pasado que aún no ha sido presente.................................................30

Apéndices....................................................................................................................... 31

Aspectos de informática ecológica: tablas gráficas de cálculos.........................................31

Capacidad por entrada energética..........................................................................................31

Capacidad por calor perdido....................................................................................................32

Densidad energética................................................................................................................33

Fuentes y referencias...............................................................................................................34

Internet.....................................................................................................................................34

Otro..........................................................................................................................................34

Acerca de REALTECH..............................................................................................................35

2009 REALTECH Consulting Helmut Spöcker – Agosto de 2009 Página - 2 -

Resumen de la gestión y motivos para esta actualizaciónCuando publicamos el informe oficial anterior a éste hace un año, “La migración de UNIX a Linux

en centros de datos SAP, una tendencia en aumento”, ninguno de los colaboradores se hubiera

imaginado el impacto y la atención que recibiría. Desde entonces, Novell y REALTECH han visto

la publicación de miles de descargas, extractos y resúmenes en varios medios de comunicación

impresos y en línea. Clientes de todo el mundo se han comunicado con nuestras empresas para

obtener detalles, para encontrar la forma de transmitir este mensaje a los responsables de las

decisiones en sus organizaciones o, simplemente, para iniciar el proceso de migración a Linux.

Es más, empresas de gran calibre, como Intel, nos han consultado sobre los aspectos de

arquitectura de Linux en centros de datos SAP y su importancia en la tendencia observada y

documentada por nuestra parte. Este enorme interés público y los avances tecnológicos que

hemos visto desde entonces, como las funciones mejoradas y la compatibilidad con tecnologías

de virtualización, justifican un segundo análisis más detallado.

En la actualización y el informe oficial de arquitectura que presentamos aquí, analizaremos en

primer lugar el informe oficial original, y compararemos declaraciones, predicciones y

comentarios que incluía con lo que ha sucedido desde entonces. Demostraremos que muchas de

nuestras suposiciones y conclusiones en aquel primer informe oficial eran correctas y que, en

algunos casos, las tendencias que preveíamos se han desarrollado con más ímpetu de lo que

esperábamos hace un año. El descubrimiento más importante es este: si la tendencia actual se

prolonga durante uno o dos años más, diferentes versiones compatibles de UNIX constituirán

bastante más del 80 por ciento de las fuentes de migración de Linux de REALTECH. Además, es

obvio que aún no existe una arquitectura de CPU capaz de proporcionar una ruta más rápida a la

rentabilidad del rendimiento que la línea x64.

En segundo lugar, investigaremos las razones que llevan a los clientes de SAP a optar por Linux,

y la relevancia que las propiedades del hardware (por ejemplo, estabilidad, fiabilidad y

flexibilidad) tienen en este proceso. Dedicaremos atención especial al rendimiento y a los

motivos que permiten a las CPU x64 admitir cualquier carga de SAP que pueda crearse. Las

investigaciones de nuestros expertos, entre otras de terceros, muestran claramente que la

fiabilidad y la estabilidad de la arquitectura x64 son aspectos importantes que contribuyen a la

popularidad de Linux.


Además, examinaremos las mejoras especiales y las direcciones de desarrollo de los fabricantes de chips. Por ejemplo, discutiremos el liderazgo en desarrollo de SAP para Linux y de Linux para SAP y las bases de esta supremacía. Veremos si hay o habrá una CPU x64 óptima para SAP en la arquitectura Linux. Demostraremos también que Linux tiene una ventaja inherente sobre UNIX por la sencilla razón de que es la plataforma de desarrollo preferida de SAP en el ámbito extendido de UNIX.

La informática ecológica y los aspectos medioambientales son cada vez más importantes en la planificación y la implantación de los centros de datos. Por lo tanto, examinaremos en detalle las propiedades relevantes de arquitecturas de CPU y servidor disponibles en la actualidad. Comprobaremos que hay una relación muy estrecha entre la arquitectura de CPU y varios aspectos de informática ecológica. Las arquitecturas x64, especialmente las de Intel, destacan indudablemente en dos de tres criterios, y dominan claramente la clasificación de las 10 mejores en cualquier aspecto de informática ecológica. La única arquitectura de CPU de UNIX capaz de competir en aspectos medioambientales es SPARC. Los criterios que se tienen en cuenta incluyen la capacidad por entrada energética (es decir, la eficiencia energética), la capacidad por calor perdido (es decir, la pérdida térmica) y la densidad energética (es decir, el consumo de espacio). Debido a que la capacidad por entrada energética está íntimamente ligada al ciclo de diseño y renovación de una arquitectura, las arquitecturas con más núcleos y una frecuencia inferior ofrecen un nivel de eficiencia energética superior. En cuanto a la capacidad por calor perdido, los servidores UNIX de gran tamaño presentan puntos débiles importantes. Por ello, si decide consolidar aplicaciones SAP en estos servidores, asegúrese de que tiene un sistema de aire acondicionado adecuado y ampliable. Con respecto a la densidad energética, únicamente encontramos servidores con tres tipos de CPU en la lista de las 10 mejores: SPARC, Xeon y Opteron.

Como paso siguiente, trataremos por qué y en qué sentido los clientes de SAP deberían considerar el uso de la virtualización. Investigaremos quién ofrece las mejores funciones y la asistencia más especializada para estas tecnologías. Asimismo, veremos por qué Linux suele ser la mejor opción de SO para la virtualización.

En la última sección, sin duda la más interesante, analizaremos las conclusiones de nuestras investigaciones sobre planes de arquitectura de CPU, progreso y velocidad de desarrollo, y nos atreveremos a realizar previsiones en cuanto a la participación futura en el mercado de varias arquitecturas de CPU y SO. La perspectiva a largo plazo ofrece un pronóstico funesto para algunos viejos amigos en el mundo de las arquitecturas de CPU, que se encaminan hacia un futuro bastante incierto.


Repaso del informe oficial original

Dedicaremos esta sección a repasar el informe original “La migración de UNIX a Linux en centros de datos SAP, una tendencia en aumento”, y a estudiar el progreso del último año a partir de las propuestas realizadas en los análisis.

“… como fuente de migración, UNIX alcanza ya el 68,2%, mientras que Windows ha visto continuar su descenso hasta el 13,6%. … Más de dos de cada tres migraciones de SAP a Linux provienen de UNIX. … durante el primer período estadístico descrito, aproximadamente el 20% de todas las migraciones de Linux tenían como origen versiones descontinuadas como Reliant y Tru64. Este porcentaje ha descendido hasta el 5% en el segundo período, y continúa disminuyendo de forma natural. … Las versiones de UNIX que experimentan las pérdidas más importantes son HP-UX… y AIX…, y una buena noticia, muy limitada, para los proveedores de UNIX es que Solaris es una fuente inusual...”

Creemos que un período de algo más de un año no es suficiente para justificar la repetición de los análisis estadísticos. (La cantidad de migraciones completadas durante este plazo no proporciona una base estadística matemáticamente válida.) Sin embargo, hemos revisado proyectos nuevos y en curso, y podemos confirmar la declaración siguiente: Si la tendencia actual se prolonga durante uno o dos años más, las plataformas UNIX que todavía cuenten con respaldo proporcionarán más del 80 por ciento de nuestras fuentes de migración de Linux. El porcentaje de plataformas descontinuadas (actualmente) quedará en cero o prácticamente en cero, y el número de clientes de Windows que adoptará Linux podría disminuir hasta colocarse por debajo del 10 por ciento. La distribución en las tres plataformas clásicas de UNIX parece hacer un uso más acentuado de HP-UX y la arquitectura Itanium. Y, por primera vez, las arquitecturas SPARC con Solaris representan un porcentaje considerable.

Podemos hacer declaraciones similares en cuanto al tamaño de los clientes y las tendencias en el mercado de bases de datos: los clientes interesados en la migración a Linux continúan creciendo a la par del tamaño de las bases de datos. Los clientes de gran tamaño que utilizan ORACLE mantienen imperturbable esta tendencia mientras realizan la migración de UNIX a Linux.

“Las tecnologías de varios núcleos y subprocesos han multiplicado la capacidad de la CPU de manera que, con frecuencia, un servidor estándar de dos o cuatro CPU superará fácilmente en términos de procesamiento a un equipo mucho mayor con el mismo sistema operativo sólo uno o dos años más antiguo. … Este incremento en rendimiento de CPU es una evolución general… El avance de los servidores basados en x64, que pasan a colocarse en la sección intermedia en cuanto a rendimiento, constituye el verdadero problema para UNIX… Con gran probabilidad, los avances continuarán en favor de las arquitecturas x64: como resultado de la competencia entre INTEL y AMD, esta plataforma presenta una frecuencia de renovación superior al resto”.


Entre las consultas recibidas sobre el informe anterior, se nos pedían detalles sobre los criterios

determinantes de las arquitecturas en la Figura 3 (del informe oficial original). La respuesta muy

simple es que la Figura 3 era una instantánea de lo que estaba sucediendo en aquel momento.

No era nuestra intención presentarla como completa o perfecta; sólo nos proponíamos

documentar un avance. No obstante, los lectores del informe la interpretaron como una

clasificación real. Por este motivo, ahora son más estrictas las reglas de selección que sirven de

base a la lista de arquitecturas de CPU de la Figura 1. Puesto que se han realizado varias

comparativas, muchas más de las que se pueden tomar en consideración, hemos establecido los

siguientes criterios de selección y enumeración:

[A]

Esta serie de informes oficiales trata de la conexión entre arquitecturas y Linux en el entorno de

SAP. Por lo tanto, sólo hemos incluido proveedores de hardware con una presencia actual en

SAP LinuxLab. No hemos tomado en cuenta a los proveedores con planes de participación futura.

[B]

En las situaciones en que un proveedor ha realizado una evaluación comparativa del mismo tipo

de arquitectura más de una vez, únicamente hemos utilizado el mejor resultado obtenido. En

casos aplicables y razonables, hemos transferido los mejores resultados de CPU a otros tipos de

servidores. (Esto es coherente con el informe oficial original.)

[C]

Si varios proveedores han realizado una evaluación comparativa del mismo tipo de CPU, cada

proveedor ha recibido una mención por el tipo de CPU concreto. Sin embargo, las comparativas

comunes (por ejemplo, 2008021 de Sun y Fujitsu) se han enumerado una sola vez con el

proveedor que consideramos desarrollador principal de la arquitectura.

[D]

En esta ocasión, solamente proporcionamos mediciones de rendimiento avaladas por una

comparativa oficial (2-tier-SD). Esto da pie a dos correcciones importantes con respecto a la

primera publicación:

Corrección 1: Itanium 9050 (Montecito) aparecía con el valor 3641 SAPS. No obstante, este

valor se obtuvo de una fuente no oficial que no se pudo confirmar. Reemplazamos los valores de

Itanium con el mejor resultado actual de una comparativa 2-tier-SD: Itanium 9140M (Montvale)

con 2925 SAPS (número de comparativa 2008052).


Corrección 2: Power6 aparecía con el valor 7812 SAPS. Sin embargo, este valor se basaba en una clasificación de comparativa que presentaba incorrectamente la comparativa 2008002 como comparativa de 2 CPU cuando, en realidad, se trataba de una comparativa de 4 CPU. Reemplazamos los valores de Power6 con el mejor resultado actual de una comparativa 2-tier-SD (cliente servidor en ventas y distribución): 5561 SAPS por CPU (número de comparativa 2008019). Seguramente se habrá percatado de que estas dos correcciones incrementan la disparidad en la relación precio/rendimiento entre arquitecturas de UNIX clásicas y Linux con x64.

[E]Las comparativas 2-tier-SD de SAP ECC 6.0 realizadas en entornos UNICODE han recibido un incremento del 5 por ciento en rendimiento.

[F]Las comparativas que no mejoran o, como mínimo, no se acercan a mediciones anteriores de la misma arquitectura o de una arquitectura similar se han omitido si corresponde.

[G]Nos hacemos cargo de que, desde principios de 2009, se han llevado a cabo comparativas 2-tier-SD basadas en SAP ECC 6.0 con el paquete de mejoras 4. Sin embargo, todas estas comparativas se han realizado con UNICODE y, lo que es mucho más importante, se basan en una versión nueva con funciones SD mucho más completas. Como deseamos comparar el avance en 2008 con las predicciones y las cifras del primer informe oficial y, como aún no contamos con datos suficientes para volver a realizar un cálculo fiable entre comparativas de páginas de códigos únicas de SAP ECC 6.0 y comparativas de SAP ECC 6.0 con el paquete de mejoras 4 y UNICODE, el informe oficial actualizado no las toma en consideración.

[H]En listas posteriores sobre rendimiento total de servidores, EURO/SAPS o parámetros de informática ecológica, elegimos servidores que nos permitían obtener datos fiables de gastos o que resultaban de interés desde una perspectiva técnica especial (por ejemplo, arquitecturas Blade en el análisis de informática ecológica).

Según la clasificación del sector, la lista es completa y corrige estos criterios. No obstante, en cuanto a las comparativas 2-tier-SD realizadas en 2008, no podemos garantizar que la información sea perfecta. Para facilitar el uso y la consulta, hemos enumerado los valores SAPS de CPU de arriba a abajo (al contrario que hicimos en la Figura 3 del informe oficial original).


Ranking Server Vendor

Benchmark OS Processor Name & Type

Reference Benchmark Certification

Number

CPU Performance

[SAPS, normalized]

Server Type

Original Benchmark Server Type

Listed

1 IBM Windows XEON X5570 2008079 12765 IBM x3650 M2 yes

2 HP Windows XEON X5570 2008071 12500 HP Proliant DL 380 G6 yes

3 FSC Windows XEON X5570 2008072 11825 FSC PRIMERGY TX300 S5 yes

4 SUN Solaris UltraSPARC64 T2 (Niagara 2) 2007059 10950 SUN Enterprise M9000 no

5 SUN Solaris UltraSPARC64 T2 Plus (Victoria Falls) 2008021 10450 SUN Enterprise T5440 no

6 HP Windows Opteron 2384 2008065 6890 HP Proliant DL385 G5p yes

7 IBM Windows XEON X7460 2008067 6638 IBM x3850 M2 yes

8 HP Windows XEON X7460 2008050 6458 HP ProLiant DL580 G5 yes

9 FSC Windows XEON X7460 2008060 6430 FSC PRIMERGY Model RX600 S4 yes

10 HP Windows XEON X5470 2008047 6300 HP Proliant DL 380 G5 yes

11 HP Windows XEON X5460 2007065 6125 HP Proliant ML 370 G5 yes

12 SUN Solaris XEON X7460 2008051 6084 Sun Fire X4450 yes

13 FSC Linux XEON X5460 2008039 5760 FSC PRIMERGY Model RX330 S1 yes

14 FSC Windows XEON E5450 2008022 5710 PRIMERGY BFi20 S4 yes

15 IBM AIX Power6 2008019 5561 IBM p595 P6 yes

16 HP Windows XEON E7450 2008049 5545 HP ProLiant BL680c G5 yes

17 SUN Solaris UltraSPARC64 T1 (Niagara 1) 2007051 5530 SUN Enterprise M9000 N1 no

18 IBM Windows Opteron 8384 2008076 5500 IBM Blade LS42 yes

19 DELL Windows XEON X5460 2008043 5425 DELL PowerEdge 2900 no

20 DELL Windows XEON X7460 2008074 5358 DELL PowerEdge R900 yes

21 HP Windows Opteron 8356 2008015 5260 HP Proliant DL385 G5 yes

22 SUN Solaris Opteron 8384 2008070 5167 SUN Fire X4600 M2 yes

23 FSC Windows XEON X5355 2007049 4850 PRIMERGY Model BX620 S4 yes

24 FSC Windows Opteron 8356 2008037 4790 FSC PRIMERGY Model RX330 S1 yes

25 HP Windows Opteron 8360 SE 2008041 4755 HP Proliant DL385 G5 yes

26 IBM Linux XEON X7350 2007068 4730 IBM x3850 M2 yes

27 SUN Solaris Opteron 8356 2008033 4697 Sun Blade Model X8440 yes

28 IBM Windows XEON X5355 2007019 4635 IBM x3500 no

29 FSC Windows XEON X7350 2008004 4580 FSC PRIMERGY Model RX600 S4 yes

30 IBM Windows Opteron 8356 2008032 4430 IBM x3755 yes

31 HP Linux Opteron 8384 2008064 4425 HP Proliant DL785 G5 yes

32 IBM Windows XEON X3210 2007036 4400 IBM x3250 yes

33 DELL Windows XEON X7350 2008027 4170 DELL PowerEdge R900 yes

34 DELL Windows XEON X5355 2007008 4090 DELL PowerEdge 2900 no

35 SUN Solaris Opteron 8360 SE 2008061 3904 SUN Fire X4600 M2 yes

36 HP Windows Opteron 8360 2008026 3273 HP Proliant DL785 G5 yes

37 HP HP-UX Itanium 9140M (Montvale) 2008052 2925 HP rx6600 Integrity no

38 SUN Windows XEON E7340 2008045 2630 Sun Blade Model X8450 yes

39 SUN Solaris Opteron 8220 2007063 2363 SUN Blade x8420 yes

40 SUN Solaris SPARC64 VI 2007026 2286 SUN Enterprise M9000 no

41 SUN Solaris Opteron 8222 2007077 1853 Sun Fire X4600 M2 yes

Figura 1: Arquitecturas de CPU y valores de comparativas de 2007 a 2008 (selección de muestra). El color

de fondo indica la cantidad de núcleos en las CPU: gris, núcleo único; amarillo, núcleo dual; verde, cuatro

núcleos; naranja, seis núcleos; azul, ocho núcleos. El enorme avance en rendimiento de CPU es palpable

(orden por resultado, alto a bajo). En comparación con lo que veíamos hace un año, sólo las arquitecturas

x64 presentan comparativas con un incremento en rendimiento. Esto subraya el carácter competitivo y la

velocidad de desarrollo de la arquitectura.


Dicho esto, podemos retomar la interpretación de los resultados y las predicciones del primer

informe oficial. Las predicciones documentadas en el informe oficial anterior resultaron ser

correctas. La Figura 1 muestra prácticamente la misma tabla que la Figura 3 en el informe

original sobre la migración de UNIX a Linux: una selección de resultados de comparativas de

CPU ordenados según rendimiento de CPU (de mejor a peor). La diferencia principal es que

hemos añadido comparativas 2-tier-SD relevantes (en el marco de los criterios explicados con

anterioridad) realizadas en 2008. Hace un año, la CPU de mejor rendimiento era Niagara 2 de

Sun, seguida de Intel Xeon 5460 (téngase en cuenta la corrección del párrafo [D] anterior) y

Power6 (con el valor corregido).

Cuatro de los cinco primeros tipos de procesadores enumerados no eran del dominio x64. La

situación ha cambiado radicalmente: ahora, tres proveedores de hardware diferentes (FSC, HP e

IBM) han evaluado Intel Xeon 5570, conocida como “Nehalem”, la CPU más sólida disponible

actualmente para aplicaciones ERP de SAP. Además, las comparativas de otras CPU x64 (Xeon

54xx y 74xx, Opteron) desterraron a Power 6 y Niagara 1 de la clasificación de las 10 mejores.

Sun confirmó los resultados de Niagara 2 en una arquitectura de servidores más pequeña con

Victoria Falls, pero no pudo superar resultados anteriores. No se ha agregado ninguna

comparativa relevante para arquitecturas que no son x64 (Power, Itanium). Como preveíamos, la

competitividad entre Intel y AMD da lugar a la frecuencia de renovación más alta y, por lo tanto,

al progreso más rápido. La competitividad entre proveedores de hardware en la gama x64

garantiza que las arquitecturas de servidores relacionadas se optimizan con gran rapidez para

estas CPU más nuevas. Cada proveedor de hardware con soluciones en esta clase de

servidores desea participar en el proceso y probar que su servidor x64 es el mejor del mercado.

Por esta razón, la arquitectura x64 se somete a más comparativas que ninguna otra.

Itanium ha provocado decepción. Solamente hay una comparativa 2-tier-SD relevante en nuestra

clasificación (la comparativa número 2008052 ya mencionada). Por otro lado, las comparativas

disponibles en la arquitectura Itanium no permiten realizar una comparación de rendimiento justa

con otras arquitecturas. Por ejemplo, en una configuración FSC PRIMEQUEST, 32 CPU Itanium

9150M proporcionan 52.320 SAPS1, un valor doblado con facilidad un par de meses más tarde

con una configuración comparable de 32 CPU SPARC.2 Y no olvidemos que una configuración

Nehalem de cuatro núcleos, de estar disponible, ofrecería prácticamente el mismo rendimiento

1 Comparativa de SAP con número de certificación 2008023. Esta comparativa no está incluida en la Figura 1,

ya que no ofrece mejoras en el ámbito de Itanium. En SAPS por CPU, se encontraría entre Power5,

evaluado en 2005, y Opteron 8222, evaluado en 2007.2 Comparativa de SAP con número de certificación 2008075, 123.470 SAPS.


con una sobrecarga de SMP muy inferior (64 núcleos Itanium en lugar de 16 núcleos con

Nehalem). El resto de las comparativas SD Itanium del período se centran en arquitecturas Blade

o en la paralelización con Oracle RAC o similar y, en consecuencia, no son comparables. La

próxima generación Itanium, Tukwila, se ha pospuesto una vez más hasta comienzos de 2010

(tras varios aplazamientos anteriores). Se basará en la tecnología 65 nm (Xeons se basa en 45

nm y avanza hacia 32 nm), por lo que la mejora de arquitectura implícita en la estrategia Tick

Tock de Intel3 debe suponer un gran adelanto para que Itanium pueda mantener al menos parte

de la competitividad.

Server Vendor Processor Name & Type Server Type

Maximum number of CPUs in

configuration

Maximum Performance per

Server[SAPS,

normalized]

Undiscounted EURO/SAPS p.a.

DELL XEON X5355 DELL PowerEdge 2900 2 8180 € 0,55

IBM XEON X5355 IBM x3500 2 9270 € 2,29

HP Opteron 8360 SE HP Proliant DL385 G5 2 9510 € 0,53

HP Opteron 8356 HP Proliant DL385 G5 2 10520 € 0,48


HP Itanium 9140M (Montvale) HP rx6600 Integrity 4 11700 € 6,33

HP XEON X5460 HP Proliant ML 370 G5 2 12250 € 0,75

HP XEON X5470 HP Proliant DL 380 G5 2 12600 € 0,74

HP Opteron 2384 HP Proliant DL385 G5p 2 13780 € 0,37

DELL XEON X7350 DELL PowerEdge R900 4 16680 € 0,48



IBM XEON X5570 IBM x3650 M2 2 25530 € 0,74

HP XEON X7460 HP ProLiant DL580 G5 4 25830 € 0,73

SUN UltraSPARC64 T2 Plus (Victoria Falls) SUN Enterprise T5440 4 41800 € 0,56

SUN SPARC64 VI SUN Enterprise M9000 32 73140 € 25,02

IBM XEON X7350 IBM x3850 M2 16 75680 € 6,31

IBM Power6 IBM p570 P6 Modell 9117 16 88975 € 12,00

IBM XEON X7460 IBM x3850 M2 16 106200 € 4,52

SUN UltraSPARC64 T1 (Niagara 1) SUN Enterprise M9000 N1 32 176960 € 10,34

IBM Power6 IBM p595 P6 32 177950 € 19,20

HP Itanium 9140M (Montvale) HP Integrity Superdome 64 187200 € 19,91

IBM XEON X7460 IBM x3950 M2 32 212400 € 5,50

SUN UltraSPARC64 T2 (Niagara 2) SUN Enterprise M9000 32 350400 € 5,16

Figura 2: Tipos de servidores según máximo rendimiento por servidor (de bajo a alto, es decir, de

servidores pequeños a grandes) con el tipo de CPU indicado. Es importante notar que hay cuatro

servidores Xeon y un servidor Opteron con dos CPU que presentan un rendimiento superior que un rx6600

de cuatro CPU con Itanium.

En consonancia con nuestra predicción y según muestra la Figura 2, siete servidores con arquitecturas x64 ofrecen ahora un rendimiento de más de 20 000 SAPS (solamente dos hace un año), y un IBM x3950 totalmente equipado se colocaría fácilmente entre los cinco primeros. Esta 3 Cambio de producción masiva un año; cambio de funciones de arquitectura el siguiente.


no es una lista completa: las comparativas TPC-C, nuestra fuente más importante en cuanto a cálculos de gastos, se realizan generalmente con CPU de Intel, y no pudimos obtener datos financieros confirmados para todos los servidores y las arquitecturas de la Figura 1. Así por ejemplo, falta HP Proliant DL785 equipado con AMD (de aproximadamente 35 400 SAPS). El mensaje primordial es que las arquitecturas AMD en general, especialmente Intel, ofrecen un nivel de rendimiento que crece a una velocidad increíble.

“… el rendimiento aumenta mucho más rápido que el importe de los servidores. Los cuatro mejores sistemas desde el punto de vista de la relación precio/prestaciones (en EURO/SAPS sin descuento) son servidores x64, y no ofrecen necesariamente el menor rendimiento máximo en conjunto. … Principalmente, la ventaja de precio de x64 da lugar a migraciones a la plataforma Linux,…”

Server Vendor Processor Name & Type Server Type

Maximum number of CPUs in

configuration

Maximum Performance per

Server[SAPS,

normalized]

Undiscounted EURO/SAPS p.a.

HP Opteron 2384 HP Proliant DL385 G5p 2 13780 € 0,37




HP Opteron 8356 HP Proliant DL385 G5 2 10520 € 0,48


HP Opteron 8360 SE HP Proliant DL385 G5 2 9510 € 0,53

DELL XEON X5355 DELL PowerEdge 2900 2 8180 € 0,55SUN UltraSPARC64 T2 Plus (Victoria Falls) SUN Enterprise T5440 4 41800 € 0,56

HP XEON X7460 HP ProLiant DL580 G5 4 25830 € 0,73

IBM XEON X5570 IBM x3650 M2 2 25530 € 0,74


HP XEON X5460 HP Proliant ML 370 G5 2 12250 € 0,75

IBM XEON X5355 IBM x3500 2 9270 € 2,29

IBM XEON X7460 IBM x3850 M2 16 106200 € 4,52SUN UltraSPARC64 T2 (Niagara 2) SUN Enterprise M9000 32 350400 € 5,16

IBM XEON X7460 IBM x3950 M2 32 212400 € 5,50

IBM XEON X7350 IBM x3850 M2 16 75680 € 6,31

HP Itanium 9140M (Montvale) HP rx6600 Integrity 4 11700 € 6,33

SUN UltraSPARC64 T1 (Niagara 1) SUN Enterprise M9000 N1 32 176960 € 10,34

IBM Power6 IBM p570 P6 Modell 9117 16 88975 € 12,00

IBM Power6 IBM p595 P6 32 177950 € 19,20HP Itanium 9140M (Montvale) HP Integrity Superdome 64 187200 € 19,91

SUN SPARC64 VI SUN Enterprise M9000 32 73140 € 25,02

Figura 3: La misma selección de tipos de servidor que tenemos en la Figura 2, esta vez ordenada según

EURO/SAPS sin descuento.

Entonces, si las conclusiones sobre desarrollo de rendimiento han resultado correctas, ¿qué

podemos decir de aquellas sobre la relación precio/rendimiento? Si la cita anterior es correcta y

el rendimiento aumenta mucho más rápido que el importe de los servidores, la relación


precio/rendimiento en EURO/SAPS debe haber disminuido considerablemente. No obstante, esto

únicamente es cierto con respecto a arquitecturas de CPU que experimentaron un impulso de

rendimiento en este período. Con el mismo modelo y las mismas reglas de la última comparación

de precio y rendimiento,4 añadimos arquitecturas evaluadas desde entonces. Una vez más, de

ser posible, utilizamos información pública de precios de la comparativa TPC-C y,

alternativamente, de otras fuentes de datos precisas.

Desafortunadamente, como mencionamos con anterioridad, no encontramos datos financieros

sostenibles para todos los servidores que resultarían de interés en esta consideración (por

ejemplo, el servidor HP Proliant 785 o todos los servidores FSC en la Figura 1). Pero la

imposibilidad de ofrecer un informe completo no debilita nuestro mensaje. La plataforma x64

ofrece la reducción más acelerada en la relación precio/rendimiento y, ya optemos por Intel o

por AMD, con respecto a rendimiento de servidores, ahora los clientes de SAP pueden

beneficiarse de un precio tan bajo como 0,37 EURO/SAPS. Nueve de las diez mejores

arquitecturas en esta selección son x64 (en Linux). Seis de ellas se proporcionan con CPU de

Intel, tres con AMD, y la distancia existente con UNIX clásico ha aumentado aún más, aparte

de una solución competitiva en SPARC. Los planes de Intel dotan de interés a esta discusión:

la tecnología de arquitectura Nehalem se ampliará a sistemas de servidores de cuatro y ocho

núcleos con cualquier tipo de CPU. Esto amplificará el impulso de rendimiento en el ámbito de

x64. Ningún componente del entorno de UNIX clásico podría lograr un efecto similar.

Claramente, el pronóstico que ofrecíamos hace un año era, y continuará siendo, correcto:

No existe una arquitectura de CPU capaz de proporcionar una ruta más rápida a la rentabilidad del rendimiento que la línea x64.

“En el futuro, la virtualización basada en Linux desempeñará un papel cada vez más importante

en los entornos de producción. La tendencia favorable al paso de UNIX a Linux cobrará más

impulso”.

4 Páginas 13 – 15 del informe oficial original sobre la migración de UNIX a Linux


De forma independiente a las investigaciones de REALTECH, RAAD Consulting, empresa

alemana de estudios de mercado especializada en SAP, realizó dos encuestas durante el último

trimestre de 2008. Una de ellas se centraba en la virtualización en entornos SAP, mientras que la

otra hacía hincapié en el código abierto en entornos SAP con el ejemplo de Linux”. Una vez más,

nuestras observaciones sobre el tema quedaron confirmadas. Aproximadamente, el 70 por ciento

de todos los clientes de SAP utilizan la virtualización en algún aspecto de su entorno informático

(en comparación con el 48 por ciento a principios de 2007). Aproximadamente, el 40 por ciento

ya cuentan con entornos SAP virtualizados de forma total o parcial. En favor de nuestro

pronóstico tenemos el hecho de que más del 90 por ciento usan VMware (89 por ciento) o Xen (3

por ciento) como tecnologías de virtualización. Automáticamente, esto conlleva el uso de Linux o

Windows como sistemas operativos y arquitecturas de CPU x64. Al mismo tiempo, Linux se ha

convertido en el segundo SO con características de UNIX de uso más frecuente en servidores de

aplicaciones SAP (15 por ciento, superado sólo por AIX, con el 18 por ciento). Además, Linux es

el único SO que muestra un incremento en la participación de mercado, a expensas de los

demás sistemas operativos, incluso Windows. Entre los clientes con intenciones de sustituir o

introducir un SO en sus centros de datos SAP, el 56 por ciento tienen intenciones de usar Linux.

Con todo ello, alcanzamos la conclusión de que la virtualización y el uso de Linux tienen

implicaciones mutuas, y de que la tendencia general a adoptar Linux es cada vez más

acentuada. Ofrecemos más detalles sobre estos avances en secciones posteriores de este

análisis.


Análisis e investigación de la arquitectura

La migración a Linux: el hardware

Este capítulo presenta las razones que llevan a los clientes de SAP a optar por Linux, y la relevancia que las propiedades del hardware (por ejemplo, estabilidad, fiabilidad y flexibilidad) tienen en este proceso. Dedicaremos atención especial al rendimiento y a los motivos que permiten a las CPU x64 admitir cualquier carga de SAP que pueda crearse.

El aspecto de los ahorros implícitos como origen posible y probable de la tendencia de migración a Linux constituía uno de los temas principales del primer informe oficial. En aquel informe, el importe de los servidores venía representado por la característica estándar comparable EURO/SAPS, que permitía la comparación de cifras reales (con resultados extraordinarios). No estudiamos ningún otro aspecto como origen de la motivación de los clientes.

En primer lugar, la investigación de RAAD confirma nuestra suposición de que el aspecto económico es una fuerza motivadora importante: entre los 200 clientes de Linux SAP encuestados, el 81 por ciento confirmaron la gran influencia del importe de los servidores. La encuesta de RAAD permitía a los clientes ofrecer varias respuestas, y el 56 por ciento de los clientes mencionaron otros motivos de peso para la adopción de Linux: la gran disponibilidad de servidores por plataforma (25 por ciento) y las mejoras de rendimiento anticipadas (21 por ciento). Esto es una sorpresa para REALTECH. Pensábamos que la facilidad en la transferencia de conocimientos (7 por ciento en el análisis de RAAD) y la afinidad técnica (procedimientos de copia de seguridad y restauración, interfaces, procedimientos de administración, etc., con un 22 por ciento del resto de los motivos mencionados) entre UNIX y Linux eran aspectos más importantes.

Sin embargo, parece que cuando los clientes de SAP participan en el proceso de la toma de decisiones, prestan más atención a los detalles tecnológicos de lo que suponíamos. En concreto, los clientes de UNIX demuestran estándares muy altos en lo que respecta a la estabilidad de sus sistemas ERP vitales para la empresa. Asimismo, parece que algunos de ellos esperaban la introducción de funciones de duplicación y dispersión de memoria, corrección de datos y errores, y capacidades de conexión directa a E/S en las soluciones de CPU de servidores para arquitecturas x64. Intel se ha mostrado particularmente activo en este terreno al introducir estas funciones (estándar en RISC, SPARC y Power desde hace varios años) en sus series de CPU 5xxx y 7xxx de cuatro núcleos (y superiores) para aplicaciones de servidor (por ejemplo, X8 SDDC o código de corrección de errores). REALTECH opina que los clientes continuarán solicitando avances en la tecnología de arquitecturas de CPU que mejoren la estabilidad y la fiabilidad del hardware. Esta demanda se aplicará a todos los componentes de servidor asociados, por ejemplo, buses de E/S, tarjetas de red y componentes de memoria, entre otros.


Se espera el mismo grado de fiabilidad del SO. A juzgar por los comentarios recibidos de varios

clientes que han realizado la migración a Linux (y de otros que se encuentran en proceso de

evaluación de esta alternativa), la introducción y la capacidad de uso de las funciones de

estabilidad y alta disponibilidad en el kernel de Linux son factores tan decisivos que, en algunos

casos, han retrasado o aplazado el paso final de la migración. Estas funciones comprenden la

disponibilidad de un sistema de archivos lógico en clústeres para la duplicación de SAN basada

en servidores y la existencia de una solución de clústeres integrada en el SO. Afortunadamente

para Linux, estas funciones ya están disponibles o lo estarán muy pronto con SUSE Linux

Enterprise Server 11.

Sin embargo, en general, los clientes han dejado de asociar los servidores rentables no

especializados de la familia x86 con la falta de fiabilidad, un hecho confirmado por la experiencia

diaria de REALTECH. Hemos visto servidores x64 (en particular, con Linux) utilizados en

aplicaciones SAP críticas con un tiempo de actividad de un año o más. Se retiran de servicio

para realizar tareas de mantenimiento de SO o de centro de datos, y no por experimentar errores

físicos o lógicos inesperados.

Figura 4: Razones para la implantación de Linux. Fuente: RAAD Consulting, cortesía de Novell.


81%

25%

21%

7%

22%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Cost Reduction

High Availability

Performance Improvement

Low Training Effort for Migration from UNIX to Linux

Other

Reasons for Deploying Linux in SAP Environments

Source: RAAD

(Ger, Nov.-Dec. 2008, n = 199, d = 1.56)

Las ventajas de una plataforma de desarrollo

Los clientes de SAP inspeccionan las arquitecturas de CPU en busca de estabilidad y fiabilidad,

y su tercera prioridad a la hora de adoptar Linux es conseguir un rendimiento superior (las

ventajas económicas y de estabilidad son más importantes). En esta situación, los clientes deben

considerar si sus expectativas de rendimiento son suficientemente realistas antes de iniciar el

proceso de implantación de Linux en plataformas x64. De hecho, un cliente de REALTECH utilizó

su enorme infraestructura SAP basada en AIX para realizar una comparación de mediciones

entre las arquitecturas Power y Xeon de Intel, una perspectiva bastante alejada de la típica

discusión sobre SAPS. Los resultados fueron sorprendentes en muchos sentidos, y encauzaron

nuestra investigación sobre las ventajas y los inconvenientes de determinadas arquitecturas de

CPU en una dirección totalmente nueva.

Para empezar, explicaremos la configuración y las mediciones realizadas por el cliente. Se

configuraron dos escenarios, uno con un servidor de aplicaciones AIX y un servidor de

aplicaciones Linux x64 para ejecutar la misma tarea por lotes de lectura de gran volumen en el

mismo sistema central SEM. El otro escenario de configuración implicaba la ejecución de un

proceso de diálogo con una intensidad de rendimiento idéntica a partir de tres servidores de

aplicaciones de tamaño comparable (dos AIX/Power y uno Linux/XEON) en la misma base de

datos y la misma instancia con carácter central. La intención era comparar los tiempos de

ejecución de CPU de los servidores de aplicaciones. Todas las tareas se ejecutaron con la

misma base de datos, de modo que no podían darse ventajas de almacenamiento en buffer. El

único punto quizás falto de imparcialidad total era que los servidores de aplicaciones AIX

comunicaban con el sistema CI/DB mediante una conexión LPAR interna, mientras que el

servidor de aplicaciones Linux debía conectarse externamente. Los resultados son específicos a

los clientes, y ésta no es una comparativa repetible o generalmente aplicable; no obstante, los

resultados son asombrosos. En la prueba SEM, el servidor de aplicaciones Linux leyó el mismo

número de páginas BI (45 740) entre 2,000 y 3,000 segundos más rápido (entre el 10 y el 15 por

ciento) que el servidor de aplicaciones AIX. El tiempo de ejecución total de la tarea en el servidor

de aplicaciones Linux fue, aproximadamente, la mitad del tiempo de ejecución en el servidor de

aplicaciones AIX.

En la prueba ERP, una vez más, el servidor de aplicaciones Linux fue entre un 10 y un 15 por

ciento más rápido en cuanto al tiempo medio de respuesta, con un rendimiento superior a los dos

servidores de aplicaciones AIX en 18 000 pasos de diálogo. El tiempo medio de CPU fue entre

un 30 y un 60 por ciento superior en el sistema Xeon comparado con Power. Los tiempos de

respuesta de base de datos fueron similares en todos los casos.


¿De dónde provienen estas diferencias? La configuración era absolutamente comparable desde

la perspectiva de SAPS proporcionada. Tampoco hay ventajas obvias relativas a la configuración

del servidor de aplicaciones Linux. La respuesta viene proporcionada por SAP de forma indirecta:

“Linux es la plataforma de referencia para el desarrollo de software SAP”.

Manfred Stein, Director de desarrollo de proyectos, SAP, en un seminario web

“Linux en arquitecturas de CPU x64” sirve de suplemento a esta cita. El resto de las plataformas

UNIX son portadoras posteriores de Linux con código integrado en sus compilaciones

respectivas. ¿Puede ser que la plataforma de desarrollo de software tenga ventajas de

rendimiento inherentes por alguna razón? De ser así, ¿por qué?

Patchlevel DB2 UDB[MB]

MaxDB[MB]

Oracle[MB]

AIX 64 Bit 707 707 702HP-UX on IA64 64 Bit 1165 1160 1154HP-UX on PA-RISC 64 Bit 738 734 732Linux on IA64 64 Bit 767 763 761Linux on Power 64 Bit 758 754 749Linux on x86_64 64 Bit 506 503 502Solaris on SPARC 64 Bit 596 591 591Solaris on x64_64 Bit n/a 572 571Windows Server on IA64 64 Bit 1006 1001 1037Windows Server on x64 64 Bit 791 788 809AIX 64 Bit 707 708 702HP-UX on IA64 64 Bit 1179 1176 1168HP-UX on PA-RISC 64 Bit 734 741 728Linux on IA64 64 Bit 784 782 776Linux on Power 64 Bit 775 771 768Linux on x86_64 64 Bit 498 496 495Solaris on SPARC 64 Bit 574 571 569Solaris on x64_64 Bit 567 564 563Windows Server on IA64 64 Bit 1018 1013 1049Windows Server on x64 64 Bit 798 795 816

SAP Binary Kernel Sizes (accumulated - DB-dependent and DB-independent-parts)

SAP KERNEL 7.11 64-BIT UNICODE

SAP KERNEL 7.10 64-BIT UNICODE 143

21

Figura 5: Tamaños del kernel binario de SAP en plataformas distintas. El verde indica el valor más

pequeño, el rojo es el valor más grande y el amarillo representa valores intermedios.


Para empezar, investigamos el tamaño del código compilado de un kernel de SAP en

plataformas diferentes. Realmente, el valor más pequeño corresponde a Linux con x64 en todas

las combinaciones de sistema operativo/base de datos examinadas. Al observar con

detenimiento la Figura 5, vemos que el tamaño del código utilizado parece estar relacionado en

la misma medida con la arquitectura de CPU y con el SO. Por ejemplo, los binarios de Linux en

Power presentan un tamaño similar a los binarios de AIX en Power. Itanium parece generar

binarios más amplios en cualquier plataforma. Sin embargo, sorprendentemente, el más grande

se encuentra en HP-UX. ¿Qué significa esto en un sentido práctico? Por lo general, cuanto más

grandes son los binarios, más pequeño es el porcentaje de instrucciones ejecutadas con un ciclo

de instrucciones de una CPU. Esto significa que una arquitectura de CPU que debe ejecutar un

conjunto de binarios más amplio necesitará más ciclos de instrucción para procesar por completo

el código del kernel de SAP.

Es importante entender que esta correlación no es lineal ni ambigua, y que hay otras

implicaciones importantes, como el uso de optimización de compiladores, tamaños de caché de

CPU, frecuencia de CPU, etc. Para demostrarlo, enumeramos también los tamaños de binarios

de Windows Server. El tamaño de éstos es similar a la mayoría de los binarios de UNIX (y

superior a los binarios de Linux), pero se desarrollan en Windows (x64) de forma nativa. Por lo

tanto, es probable que un servidor de aplicaciones Windows hubiera ofrecido un rendimiento más

parecido al servidor de aplicaciones Linux que al servidor AIX en las pruebas anteriores (tenga

presente que la mayoría de las comparativas x64 se realizan en Windows). En cambio, el código

trasladado en Windows Itanium es considerablemente mayor y es probable que no esté

optimizado del mismo modo. Sería lógico esperar una desventaja significativa en cuanto a

rendimiento. Con respecto a los binarios de Linux, el sistema SAP se sirve del conjunto de

compiladores GNU (GCC, GNU Compiler Collection), que genera código menos optimizado que

el conjunto nativo de compiladores Intel (ICC, Intel Compiler Collection) en arquitecturas Xeon.

Por lo tanto, Linux se beneficiará aún más de los planes de Intel de abordar la optimización de

GCC. Así, en el futuro, Linux podrá aprovecharse no sólo de su condición de plataforma de

desarrollo, sino también de procedimientos de compilación optimizados. Con seguridad, estos

procedimientos intensificarán aún más los avances de rendimiento de Linux en x64 en la

dirección de los demás sistemas operativos UNIX y arquitecturas de CPU.


Como resultado general, tenemos que la combinación de Linux y la arquitectura de CPU x64

supone una ventaja directa sobre UNIX, pues se trata de una plataforma de desarrollo de

referencia para SAP. El rendimiento total de servidor en la gama x64 ha alcanzado niveles que

muy pocos sistemas de producción ERP llegarán a experimentar, y aquí se incluyen capacidades

de E/S de nuevas generaciones de servidores x64. En todo caso, la cuestión de capacidades de

E/S en entornos de alto rendimiento es la última consideración sin resolver para posibles

adaptadores de Linux con relación al rendimiento general del sistema x64. No obstante, las

migraciones a Linux/x64 que REALTECH ha llevado a cabo recientemente resultan muy

convincentes en este sentido. Los lectores más inquisitivos desearán ver las mediciones y las

cifras, pero éstas son difíciles de obtener y comparar, ya que las mediciones de carga y ancho de

banda de E/S son siempre una combinación de varios aspectos muy complejos. Esto se da en

contraste directo con un rendimiento de servidor evaluado que es comparable si se utiliza el

mismo análisis y no hay componentes del sistema secundario que creen cuellos de botella. Sin

embargo, el cliente que configuró la prueba de rendimiento detallada con anterioridad se dispone

a investigar el comportamiento de E/S específico de AIX/Power frente a Linux/Xeon, y estamos

deseosos de ver los resultados.


Aspectos de informática ecológicaLa informática ecológica y los aspectos medioambientales son cada vez más importantes en la

planificación y la implantación de los centros de datos. Por lo tanto, en este capítulo,

inspeccionaremos en detalle propiedades relevantes de arquitecturas de CPU disponibles en la

actualidad, y examinaremos las ventajas y los inconvenientes de cada una.

Con el fin de evaluar una arquitectura de CPU o una familia de servidores según su impacto

medioambiental, hay tres dimensiones básicas que debemos tener en cuenta:

1. ¿Cuál es el rendimiento obtenido por entrada energética?

2. ¿Qué parte de la entrada energética se pierde en forma de calor (y causa un consumo de

energía adicional durante la refrigeración)?

3. ¿Cuánto rendimiento se puede incluir en un centro de datos con espacio limitado?

Figura 6: Capacidad por entrada energética en SAPS (por vatio) en orden de mayor a menor. El código de

color indica la familia de arquitectura de CPU.


Con comparativas estándar disponibles y los cálculos de indicadores de gastos normalizados, no es muy difícil realizar averiguaciones sobre estos aspectos medioambientales. Durante las investigaciones que sirven de base a este análisis, recopilamos hojas de datos de los servidores tomados en consideración para la evaluación de los gastos, y calculamos tres cifras características: capacidad por entrada energética, capacidad por calor perdido y densidad energética práctica5 de una plataforma.

Si examinamos el primer factor, la capacidad por entrada energética, sabremos cuánto tendremos que invertir en el aspecto energético del centro de datos. Estos gastos se basan en el rendimiento en SAPS que necesitará para ejecutar sus aplicaciones SAP a un nivel de rendimiento aceptable. En términos sencillos, se trata de la factura de la electricidad que deberá abonar. La capacidad por entrada energética guarda una relación muy íntima con tres cosas: el enfoque tecnológico general con énfasis especial en la frecuencia y la arquitectura de zócalos, la capacidad SAPS global de una arquitectura y las especificaciones de los servidores. Así, la capacidad por entrada energética está estrechamente ligada al ciclo de renovación de una arquitectura, así como al ciclo de renovación y al avance tecnológico de una familia de servidores.

Debido a estos aspectos, no es sorprendente que, entre los 10 servidores que encabezan la selección, encontramos nueve servidores x64, y ocho de ellos son de Intel. Esto refleja el hecho de que, durante el período de la evaluación, Intel mantuvo un ciclo de renovación superior a AMD. El primer puesto lo ocupa una arquitectura Blade6 con un Xeon E7450 optimizado energéticamente. Curiosamente, más núcleos y menos frecuencia parecen traducirse en una ventaja con respecto al rendimiento global frente al consumo de energía total. Por este motivo, la serie 74xx de Intel es superior a Nehalem (X5570) a pesar de los extraordinarios resultados de Nehalem en la comparativa. Las especificaciones y las propiedades de los servidores juegan también un papel fundamental. Por ejemplo, la serie x3xxx de IBM con Intel X7460 es superior a la serie R900 de Dell, y Proliant ML 370 de HP consigue resultados mejores en este sentido que PowerEdge 2900 de Dell. Ambos servidores son bastante similares en cuanto a rendimiento total, en el orden de 10 000 a 12 000 SAPS con Xeon X5460.

En general, esta medida parece ser beneficiosa en arquitecturas de servidores pequeñas, pero la configuración altamente modular de la serie x de última generación de IBM (x3850 y x3950) es prueba de que ésta no es una regla estricta que no se puede superar con un diseño inteligente. En el contexto de más núcleos, menos frecuencia, alto ciclo de renovación y servidores pequeños, esta medida no resulta favorable para Itanium. Tanto Superdome, de última generación, como rx6600, de gama intermedia, quedan tres niveles por debajo de las arquitecturas líderes Xeon. Esto significa que, con una arquitectura basada en HP-UX/Itanium, necesitará tres veces más electricidad para alimentar su centro de datos que con cualquiera de

5 Frente a densidad energética teórica; incluimos dimensiones de estante estándar en nuestros cálculos.6 Que incluimos en esta evaluación para la comparación de clases de servidores, aunque no pudimos evaluar

los gastos asociados.


las tres arquitecturas de servidor/SO/CPU a la cabeza de la clasificación para conseguir el mismo rendimiento en SAPS.

Figura 7: Capacidad por calor perdido en SAPS (por kJ/h) en orden de mayor a menor.

Si comparamos la capacidad por entrada energética con nuestro siguiente criterio, capacidad por calor perdido, vemos que las arquitecturas de chip de UNIX clásico pierden al menos dos puestos en la clasificación (con la excepción de la arquitectura Sun M9000 con Niagara 1, que se mantiene en última posición). La revelación principal de esta clasificación es que los procesadores más nuevos con un diseño energéticamente eficaz ocupan las posiciones líderes, y esto coloca la arquitectura x64, concretamente Intel, a la cabeza de la selección. Destaca el hecho de que los cinco últimos puestos de la clasificación quedan ocupados mayoritariamente por sistemas UNIX o, lo que es lo mismo: si decide optar por la consolidación de aplicaciones SAP en servidores UNIX de gran volumen, asegúrese de que su sistema de aire acondicionado funciona correctamente. En el otro extremo, es interesante observar que los dos servidores Dell de la lista se presentan como líderes de la clasificación a pesar de ocupar un puesto poco deseable en la escala de capacidad por entrada energética. Parece que pierden la entrada eléctrica de algún otro modo, no como radiación térmica, sino quizás a través de los discos duros, los buses, los ventiladores y otros componentes de servidor menos eficientes. La realidad de que la serie x3650 de IBM adelanta a las series superiores x3850 y x3950, todas ellas con un Intel X7460, indica sin duda que las interfaces internas de comunicación de los servidores contribuyen en gran medida a la pérdida térmica.El último aspecto de nuestra discusión sobre informática ecológica es la cantidad de espacio consumido en el centro de datos si debemos lograr un nivel determinado de rendimiento SAPS.


La característica correspondiente es densidad energética. Al examinar la Figura 8, vemos que los sistemas Blade no presentan la ventaja que suponemos en este sentido. Con gran probabilidad, la mayoría de estos sistemas utilizan la entrada energética en arquitecturas de CPU reducidas, y están equipados con mecanismos de regulación que permiten reducir el consumo de energía y la pérdida térmica. Las ventajas de los sistemas Blade se derivan de la facilidad de configuración de servidores masivos altamente simétricos y de la consecuente facilidad de mantenimiento, así como de otros aspectos (por ejemplo, menos conexiones), pero no así de la densidad de rendimiento. Esto no es más que un mito. En esta escala, los servidores de mayor volumen y estabilidad en rendimiento absoluto, especialmente por número de CPU, parecen ser los más beneficiados, y es de destacar que sólo encontramos tres tipos de CPU en los 10 primeros puestos de la clasificación: SPARC, Xeon y Opteron. Por supuesto, es posible que la gran densidad energética que proporciona Sun con sus sistemas de servidores más voluminosos tenga un precio muy alto (de manifiesto, por ejemplo, en la factura de la electricidad o del aire acondicionado). Pero, al menos, si la mayor preocupación de un cliente es el espacio en el centro de datos, los amplios sistemas de SUN ofrecen una opción a considerar.

Figura 8: Densidad energética en 1000 SAPS (por metro cúbico) en orden de mayor a menor. La figura

muestra la densidad energética práctica, es decir, el número de servidores del tipo mostrado que caben en

un estante Blade o estándar.

Por otro lado, como ocurre prácticamente con cualquier otra característica de informática

ecológica, Itanium se ve limitado por la falta de renovación de la arquitectura en los últimos años.


En términos de densidad energética, tanto los sistemas Superdome de última generación como

los servidores rx6600 de gama intermedia ocupan las últimas cinco posiciones, junto con

sistemas más pequeños de clase inferior. Imagine que puede ocupar un centro de datos de

100 metros cúbicos de espacio utilizable con 8 000 000 de SAPS de eficacia Superdome o con

más de 40 000 000 SAPS de una configuración Sun SPARC o HP Xeon. Estas consideraciones

resultan especialmente valiosas para proveedores de servicios host y servicios de TI de

empresas de gran tamaño.

Como última valoración en la relación entre arquitecturas de CPU y aspectos de informática

ecológica, debemos aceptar que las arquitecturas x64 proporcionadas en su mayoría por Intel

ofrecen los mejores resultados en dos de los tres criterios, y dominan claramente la clasificación

de las 10 mejores en todos los sentidos. La única arquitectura de CPU de UNIX que ofrece cierta

competitividad medioambiental es SPARC, seguida de Power6, con puestos bajos entre los

valores medios de la escala. En lo que respecta a los criterios de informática ecológica, las

arquitecturas Itanium disponibles en la actualidad no constituyen una opción muy buena. Para

disipar la diferencia, Tukwila, la próxima generación de Itanium, tendrá que ofrecer avances

significativos, no sólo con respecto a rendimiento sino también con respecto a eficiencia.

Algo más difícil de medir que no hemos tomado en cuenta es la influencia del sistema operativo y

las funciones de SO especiales en relación con la conformidad medioambiental. No obstante,

son buenas noticias para el medio ambiente que el kernel de Linux ahora incluye funciones que

favorecen enormemente la acumulación de sistemas de TI con un impacto inferior. Entre ellas, se

incluye la función “tickless idle” (compatibilidad mejorada con el modo de ahorro de energía de

CPU) y la eliminación de eventos de temporizador innecesarios. La migración a Linux en

combinación con arquitecturas de CPU de gran eficacia contribuye indudablemente a reducir las

emisiones de dióxido de carbono relacionadas con los entornos de TI.


Efectos de la virtualización en el ámbito de SAP

Este capítulo se ocupa de por qué y en qué circunstancias los clientes de SAP deberían considerar el uso de la virtualización. Demostraremos que Intel proporciona funciones excelentes para esta tecnología especial y examinaremos las razones que, con gran probabilidad, hacen de Linux el mejor SO para este cometido. Más adelante, veremos por qué la combinación de Intel y Linux es una opción prácticamente insuperable.

Como vimos con anterioridad en este informe oficial y, como pronosticamos en el primer análisis de este tipo hace un año, la virtualización es cada vez más importante en los centros de datos SAP. Según el estudio de RAAD mencionado antes, un alto porcentaje (el 61 por ciento) de los clientes creen que esta tecnología les permitirá utilizar mejor la potencia informática que han adquirido. Junto con una discusión que tuvimos con un proveedor líder de servicios de TI, esto nos ofreció indicios importantes sobre las verdaderas intenciones de los clientes de SAP. El mayor problema del proveedor de servicios era (y es) el siguiente: ¿Cómo podemos proporcionar 5000 SAPS de rendimiento a un cliente interno que sólo quiere pagar por 5000 SAPS de rendimiento de producción en un mundo en que CPU individuales han alcanzado la cifra de 12 000 SAPS y los servidores de CPU únicos no constituyen una solución adecuada en entornos de producción? Esto nos lleva a un problema de segmentación.

Muchas aplicaciones en general, pero especialmente en el ámbito de SAP, requieren la separación de otras aplicaciones por motivos funcionales u organizativos. Es posible que incluso requieran el aislamiento al nivel del SO. Pero estas aplicaciones sólo consumirán un porcentaje del rendimiento proporcionado. Los componentes típicos en el ámbito de SAP incluyen componentes laterales, como Business Connector, componentes de precios y similares, pero también sistemas de desarrollo (que raramente llevan al hardware físico al límite de sus capacidades). Sin embargo, con frecuencia progresiva, el problema de segmentación se aplica también a sistemas de producción ERP, y este es el punto de entrada real de las tecnologías de virtualización en el mundo de SAP. Por este problema, en algunos casos, la virtualización es prácticamente obligatoria. La resolución de este asunto genera casi todos los demás beneficios de la virtualización, por ejemplo, la rentabilidad, una relación superior de rendimiento/consumo energético, menos espacio utilizado en el centro de datos y efectos secundarios muy provechosos. No obstante, según lo visto por REALTECH, estos beneficios no suelen desembocar en la decisión.

Si examinamos el mercado de virtualización en los centros de datos SAP, los clientes ya han elegido la tecnología que desean usar. Según RAAD, alrededor del 90 por ciento de los clientes usan o usarán tecnología de virtualización basada en VMware, y la siguiente tecnología preferida no presenta competitividad alguna. Por lo tanto, dejaremos de investigar qué tecnología de


virtualización disponible para clientes de SAP (VMware, Xen) es “mejor” (es decir, la más barata, la que ofrece el mejor rendimiento o la que ofrece mayor flexibilidad). En su lugar, nos centraremos en cuál de los dos proveedores de CPU activos en el campo de la virtualización con x64 ocupa actualmente la posición líder. Somos conscientes de que esto puede cambiar y de que el cambio podría ser muy rápido, por lo que pedimos a los lectores que consideren con atención nuestras notas y observaciones con el paso del tiempo.

Figura 9: Rendimiento de memoria en Xen con SUSE Linux Enterprise Server 10 SP2 y Xeon 7350 (Tigerton) como CPU, y con SUSE Linux Enterprise Server 11 en combinación con Xeon 5570 (Nehalem). Debe destacarse la mejora extraordinaria que se obtiene de la combinación.

Ambos fabricantes de tecnología x64 presentes en SAP LinuxLab (Intel y AMD) han anunciado planes radicales para mejorar la compatibilidad con la virtualización que proporcionan sus arquitecturas respectivas de CPU. La tecnología Rapid Virtualization de AMD se centra en aspectos técnicos que permiten un uso más directo de los dispositivos al eludir u omitir el nivel de virtualización. Intel, con sus extensiones Intel VT FlexPriority, pone mayor énfasis en la mejora de la interacción entre el nivel de virtualización y el hardware físico/SO. Por ejemplo, presta especial atención a funciones más eficientes de gestión de interrupciones y colas inteligentes, que mejorarán las capacidades de red. Ambas estrategias tienen ventajas e inconvenientes pero, al final, los dos enfoques pasarán a formar parte del entorno de ambos procesadores, y el objetivo será eliminar los inconvenientes de cada uno sin perder los beneficios.


Una vez al año, se realiza un taller de virtualización en SAP LinuxLab para evaluar los avances

más recientes de virtualización en tecnologías de SO, CPU y virtualización. Intel aprovechó la

oportunidad para probar que las funciones de arquitectura de las CPU Nehalem suponen

mejoras enormes en cuanto al rendimiento absoluto de la memoria y a otras características de

virtualización relacionadas con el rendimiento. Esto se aplica tanto a la virtualización Xen

(Figura 10) como a la tecnología VMware ESX (Figura 9). En combinación con el incremento en

potencia absoluta por núcleo, Intel ha colocado el listón a una altura que difícilmente podrá

superar AMD. Desafortunadamente y, por razones que el autor de este análisis no pudo

averiguar, AMD no participó en el taller y ningún proveedor de hardware presentó

Figura 10: Rendimiento de memoria en ESX con la versión 3.5 en Xeon 7350 (Tigerton) como CPU, y con

la versión 4.0 en combinación con Xeon 5570 (Nehalem). Debe destacarse la mejora extraordinaria que se

obtiene de la combinación. Nota importante: el rendimiento absoluto entre las mediciones de SUSE Linux

Enterprise Server y VMware no se puede comparar debido a una variación en la configuración de la

comparativa y los métodos de medida empleados. Por lo tanto, este gráfico y el gráfico de la Figura 9 no permiten la comparación del rendimiento de los métodos de virtualización VMware y Xen, y no deberían

combinarse para comparar cifras absolutas.


una configuración de servidor con la CPU Barcelona o con Shanghai, que hubiera sido aún

mejor. Esto es lamentable, ya que, internamente en las dos tecnologías de virtualización, la

comparación hubiera sido válida. La comparación hubiera ofrecido una indicación de cuál de las

estrategias generales descritas anteriormente es la más prometedora. Así, mantenemos la

conclusión de que ambos proveedores de hardware x64 e Intel confían decididamente en las

mejoras de la arquitectura Nehalem.

La virtualización es siempre una historia con varias posibilidades de desarrollo, por la sencilla

razón de que hay varias partes involucradas, una de ellas compuesta por el proveedor y el

fabricante de la tecnología. Como desafío a las declaraciones del párrafo anterior, es posible

alegar que la mejora de rendimiento detectada en el taller LinuxLab puede deberse, en mayor o

menor grado, a mejoras en las tecnologías de virtualización, y no a los avances en el procesador.

Sin duda alguna, tanto ESX 4.0 (en comparación con 3.5) como Xen de SUSE Linux Enterprise

Server 11 (en comparación con Xen de SUSE Linux Enterprise Server 10 SP2) han

experimentado grandes mejoras no sólo relativas a las funciones, sino también en lo que

respecta al rendimiento. Sin embargo, como las mejoras son aplicables a ambas tecnologías en

una medida similar y se utilizaron métodos de comparación diferentes, la explicación más

probable es que provienen en su mayoría de la tecnología Nehalem.

No es casualidad que este tipo de taller se lleve a cabo en SAP LinuxLab. Desde hace bastante

tiempo, hemos podido apreciar cierta afinidad entre Linux y quienes lo desarrollan con

tecnologías de virtualización y las empresas activas en este ámbito. Es posible que esto se deba

a la estrategia genérica que Linux debe ser capaz de adoptar para cubrir todas las arquitecturas

diferentes, desde dispositivos incrustados a sistemas mainframe, ya que también se necesita un

enfoque genérico para desarrollar soluciones de virtualización estables. Por lo tanto, nos parece

creíble que Novell haya anunciado su intención de desarrollar el mejor sistema operativo para

virtualización o con virtualización.


El futuro de un pasado que aún no ha sido presente

En la última sección (que pudiera ser altamente polémica) de este informe oficial, echaremos un vistazo al futuro y contaremos la historia que aún no ha sucedido sobre el desarrollo de arquitecturas.

Cuando el autor de este informe oficial realizó su primer análisis de arquitecturas y un estudio de recomendación de plataformas en 2002, los resultados para un cliente concreto mostraban (con respecto a todos los criterios definidos) un empate limpio entre Tru64 y AIX. Sin embargo, hace un par de años, Compaq ya había adquirido DEC, y la fusión con HP acababa de hacerse pública. Cualquier discusión sobre el futuro de la plataforma se despreciaba como “innecesaria”, y eso con suerte. Se realizaron presupuestos por contratos de entrega con el Pentágono y otros clientes de extrema importancia con un alcance hasta y a partir de 2012. Nuestra recomendación fue AIX, basada en la desconfianza de que una plataforma extraña (probablemente, la mejor plataforma UNIX por aquel entonces, pero no necesariamente con la mejor arquitectura de CPU) de una empresa (HP) con una solución rival a UNIX seguramente dejaría de existir.

REALTECH tenía razón.

Si nos paramos a examinar el presente, los cambios tecnológicos que vemos en la actualidad son mucho más dramáticos y drásticos que hace 10 años, quizás incluso más que nunca antes en el entorno de TI ERP. El año pasado, British Telecom, que sirve de ejemplo amplio y significativo, anunció una estrategia exclusiva de Intel, con la consecuente eliminación de todas las arquitecturas UNIX de sus centros de datos. Otros han seguido este ejemplo o lo harán en el futuro. Si tenemos en cuenta la gran erosión de clientes experimentada por Itanium, la situación incierta de la arquitectura SPARC (¿desea Oracle realmente fabricar CPU a largo plazo?) y el hecho de que ambas arquitecturas tienen problemas con el rendimiento (Itanium), aspectos de informática ecológica (Itanium) o la cantidad absoluta de procesadores producidos para el mercado (SPARC), nuestro pronóstico es que, para el año 2020, SPARC e Itanium habrán desaparecido del mundo SAP, al menos en lo concerniente a versiones y productos SAP nuevos. Con el respaldo de la fortaleza IBM y gracias a varias ventajas innegables de AIX en el dominio de particiones lógicas y gestión de la capacidad de CPU, es muy probable que Power llegue a tener una vida más larga que AIX. Según el panorama que vemos ahora, x64 se convertirá en la arquitectura de CPU ERP líder dominada por Intel. En consecuencia, Linux podría convertirse en el sistema operativo de sistemas secundarios líder en los centros de datos. Estas son las conclusiones lógicas de la tendencia que hemos observado durante los últimos cinco años.


Apéndices

Aspectos de informática ecológica: tablas gráficas de cálculos

Capacidad por entrada energética

Server Vendor Server Type Processor Name

Capacity/power input

(max. CPU-Equipment)

[SAPS/W]HP ProLiant BL680c G5 XEON E7450 32,86

SUN Fire X4450 XEON X7460 29,34SUN Fire X4600 M2 Opteron 8384 21,87SUN Enterprise T5240 UltraSPARC64 T2 Plus (Victoria Falls) 19,85IBM x3850 M2 XEON X7460 18,96IBM x3950 M2 XEON X7460 18,96IBM x3650 M2 XEON 5570 18,91HP Proliant DL 380 G6 XEON X5570 18,55HP ProLiant DL580 G5 XEON X7460 18,29

SUN Blade Model X8450 XEON E7340 16,59IBM p570 P6 Modell 9117 Power6 15,89

DELL PowerEdge R900 XEON 7460 13,62HP Proliant DL 380 G5 XEON X5470 12,60HP Proliant ML 370 G5 XEON X5460 10,47HP Proliant DL385 G5p Opteron 2384 10,33HP rx6600 Integrity Itanium 9050 (Montecito) 8,94

SUN Enterprise M9000 N2 UltraSPARC64 T2 (Niagara 2) 7,82HP Integrity Superdome Itanium 9140M (Montvale) 7,67IBM p595 P6 Power6 6,47

DELL PowerEdge 2900 XEON 5460 5,83IBM x3500 XEON 5355 5,38SUN Enterprise M9000 N1 UltraSPARC64 T1 (Niagara 1) 3,95


Capacidad por calor perdido


Capacity/waste heat (max. CPU-Equipment)

[SAPS/kJ/h]DELL PowerEdge R900 XEON 7460 8,37DELL PowerEdge 2900 XEON 5460 8,30SUN Fire X4450 XEON X7460 8,15IBM x3650 M2 XEON 5570 7,31SUN Fire X4600 M2 Opteron 8384 6,08HP Proliant DL 380 G6 XEON X5570 5,15HP ProLiant DL580 G5 XEON X7460 4,98

SUN Enterprise T5240 UltraSPARC64 T2 Plus (Victoria Falls) 4,80SUN Blade Model X8450 XEON E7340 4,61IBM x3850 M2 XEON X7460 4,55IBM x3950 M2 XEON X7460 4,55IBM p570 P6 Modell 9117 Power6 4,41HP Proliant DL 380 G5 XEON X5470 3,64HP Proliant ML 370 G5 XEON X5460 2,91IBM x3500 XEON 5355 2,88HP Proliant DL385 G5p Opteron 2384 2,87HP ProLiant BL680c G5 XEON E7450 2,57HP rx6600 Integrity Itanium 9050 (Montecito) 2,48

SUN Enterprise M9000 N2 UltraSPARC64 T2 (Niagara 2) 2,17HP Integrity Superdome Itanium 9140M (Montvale) 2,13IBM p595 P6 Power6 2,02SUN Enterprise M9000 N1 UltraSPARC64 T1 (Niagara 1) 1,09


Densidad energética


Power density (max. CPU- Equipment)

[1000*SAPS/m³]SUN Enterprise M9000 N2 UltraSPARC64 T2 (Niagara 2) 491,27HP ProLiant DL580 G5 XEON X7460 450,45IBM x3650 M2 XEON 5570 439,45HP Proliant DL 380 G6 XEON X5570 435,97

SUN Fire X4450 XEON X7460 382,80SUN Enterprise T5240 UltraSPARC64 T2 Plus (Victoria Falls) 346,03SUN Enterprise M9000 N1 UltraSPARC64 T1 (Niagara 1) 248,10HP Proliant DL385 G5p Opteron 2384 240,31IBM x3850 M2 XEON X7460 228,50IBM x3950 M2 XEON X7460 228,50HP Proliant DL 380 G5 XEON X5470 219,73

DELL PowerEdge R900 XEON 7460 173,37IBM p570 P6 Modell 9117 Power6 163,92SUN Fire X4600 M2 Opteron 8384 91,06IBM p595 P6 Power6 88,98HP ProLiant BL680c G5 XEON E7450 85,95HP Proliant ML 370 G5 XEON X5460 85,45HP rx6600 Integrity Itanium 9050 (Montecito) 72,71

DELL PowerEdge 2900 XEON 5460 70,36IBM x3500 XEON 5355 61,83HP Integrity Superdome Itanium 9140M (Montvale) 51,37

SUN Blade Model X8450 XEON E7340 34,84


Fuentes y referencias

Internet

http://www.sap.com/benchmark

http://www.xware.net/sapbench.html

http://www.sap.com/solutions/benchmark/sd2tier.epx

http://www.heise.de/newsticker/Intels-neue-Xeon-MP-Linie-mit-sechs-Kernen--/meldung/115997

http://www.heise.de/ix/Intel-will-an-der-GCC-Entwicklung-mitwirken--/news/meldung/136152

http://www.tpc.org/

http://www-03.ibm.com/servers/

http://welcome.hp.com/country/us/en/prodserv/servers.html

http://www.sun.com/servers/

http://www.novell.com/linux

http://www.amd.com/

http://www.intel.com/

http://www.gartner.com

http://www.idc.com

http://www.realtech.com/linux

Otro

Presentación de RAAD Consulting: “Virtualisierung in SAP-Umgebungen – Status,

Chancen und Herausforderungen”, marzo de 2009

Presentación de RAAD Consulting: “Open Source in SAP-Umgebungen am Beispiel

Linux”, marzo de 2009

Taller de virtualización de SAP LinuxLab, febrero de 2009: resultados y evaluación (abril

de 2009)

“Reduzca el TCO (importe total de propiedad) de su infraestructura SAP”, seminario web

conjunto de NOVELL, SAP y REALTECH, enero de 2009

“The Role of x86 Processors in the Virtualized, Energy-Constrained Datacenter” (El papel

de los procesadores x86 en el centro de datos virtualizado con limitaciones energéticas),

Georgio Nebuloni y Thomas Meyer, informe oficial de IDC, noviembre de 2008

Información interna y pública proporcionada por INTEL Corp. exclusivamente al autor


http://www.realtech.com/linux

http://www.idc.com/

http://www.gartner.com/

http://www.intel.com/

http://www.amd.com/

http://www.novell.com/linux

http://www.sun.com/servers/

http://welcome.hp.com/country/us/en/prodserv/servers.html

http://www-03.ibm.com/servers/

http://www.tpc.org/

http://www.heise.de/ix/Intel-will-an-der-GCC-Entwicklung-mitwirken--/news/meldung/136152

http://www.heise.de/newsticker/Intels-neue-Xeon-MP-Linie-mit-sechs-Kernen--/meldung/115997

http://www.sap.com/solutions/benchmark/sd2tier.epx

http://www.xware.net/sapbench.html

http://www.sap.com/benchmark

Acerca de REALTECHLa compañía se fundó en 1994 como empresa especializada en tecnología de base, con

estrechos lazos y relaciones con SAP desde sus inicios. REALTECH, especializada en la

implantación de configuraciones de SAP R/3® en servidores INTEL, lo que en la época implicaba

automáticamente Microsoft Windows, advirtió de inmediato el potencial de Linux como nueva

plataforma estratégica de servidores en el momento de su aparición, durante la segunda mitad

de la década de 1990. Así, con la publicación oficial de la disponibilidad de SAP R/3 en Linux,

REALTECH fue uno de los miembros fundadores de SAP LinuxLab para después convertirse

(y seguir siéndolo hasta el día de hoy) en la única compañía consultora independiente en el

emblemático departamento de Linux de SAP.

REALTECH es una compañía de servicios integrales que se encarga de todos los aspectos tecnológicos de implantación de SAP ERP y SAP NetWeaver®, optimización, SAP GoingLive™ o proyectos de migración. Preparamos solicitudes de ofertas, evaluamos ofertas

de proveedores de hardware y sugerencias sobre proyectos, analizamos las configuraciones de

hardware, sus dimensiones y planes de proyectos; instalamos, examinamos y documentamos

configuraciones de laboratorio para decisiones de arbitraje, llevamos a cabo evaluaciones

comparativas y preparamos configuraciones especializadas para proveedores de hardware.

También nos encargamos de la planificación, la gestión y el control de proyectos para nuestros

clientes. Por supuesto, REALTECH se encarga de los procedimientos de ejecución de las

instalaciones, las migraciones y las actualizaciones, así como del trabajo conceptual descrito

anteriormente, siempre que el cliente desee aprovechar el bagaje técnico y comercial de

REALTECH.

REALTECH cuenta con numerosas referencias de clientes sobre proyectos de migración de

Linux y es el socio de migración de SAP preferido por Novell en varios lugares del mundo. Nos

complacerá investigar, planificar e implantar su ruta individual a las ventajas de uso de Linux.

Si está interesado en nuestros servicios, póngase en contacto con REALTECH a través de

www.realtech.com o envíenos un mensaje a [email protected].


mailto:[email protected]

http://www.realtech.com/

realtech, sap and linux - novell is now micro focus ... · web viewen centros de datos...

Documents