tutorial eela para usuarios e-infrastructure shared between europe and latin america glite...

Tutorial EELA para usuarios

E-infrastructure shared between Europe and Latin America

gLite

Arquitectura del WMS

Henry Ricardo Mora

CUBAENERGIA- Cuba

Tutorial EELA para usuarios

Guatemala, 18-19 Octubre 2007

Tutorial EELA para usuarios 2


Visión de la arquitectura del WMS - Componentes

- Funciones

Panorámica del Lenguaje de descripción de trabajo (Job Description Language)

- Atributos principales

Temas a tratar



• El Sistema de gestión de la carga de trabajo El Sistema de gestión de la carga de trabajo Workload Management SystemWorkload Management System (WMS) está conformado por un conjunto de componentes del Middleware de la GRID. Su función es aceptar las solicitudes para el envío de tareas por parte de los usuarios, así como realizar el manejo y tomar las acciones apropiadas para satisfacer estas solicitudes.

Propósitos del WMS

La interacción de los usuarios con el sistema se limita a la descripción de las características y requerimientos de las tareas que serán enviadas utilizando el lenguaje de descripción del trabajo (JDL), así como su envío y seguimiento.


E-infrastructure shared between Europe and Latin AmericaComponentes WMS

Los componentes que encargan del manejo del trabajo son:

• Wmproxy/Network Server• Workload Manager• Resource Broker• Job Controler• CondorC/DagMan• Logging & Bookeeping• Log Monitor



Descripción de los componentes

• El Network Server (NS) es un demonio genérico de red que proporciona soporte para el control de las funcionalidades de los trabajos. Es responsable de aceptar las solicitudes de los trabajos que llegan de la UI (ej. job submission, job removal), los evalúa y si resultan validos se envían al Workload Manager.

• El Workload Manager Proxy (WMProxy) es un servicio que provee acceso a las funcionalidades del WMS a través de interfaces basadas en servicios Web. Además suministra posibilidades adicionales como el envió en paquetes y el soporte para Sandboxes compartidos y comprimidos.



El Workload Manager

• El WM constituye el componente núcleo de WMS y su propósito es aceptar y satisfacer solicitudes de envío de tareas provenientes de los clientes. Para satisfacer estas necesidades necesita de otros componentes, los cuales son específicos para las diferentes solicitudes que se realizan.

– La solicitud de envío de una tarea significa delegar la responsabilidad de la ejecución de la misma al WM. El WM a su vez pasará la tarea hacia un CE adecuado parar

su ejecución, teniendo en cuenta los requerimientos necesarios y las preferencias establecidas

• La decisión acerca de que recurso debe ser utilizado es la salida del proceso denominado matchmakingmatchmaking.


E-infrastructure shared between Europe and Latin AmericaResource Broker

• El Resource Broker (RB) o Matchmaker ayuda al WM para la toma de decisiones.

Por ejemplo: Encontrar el mejor recurso que mejor se adapta al JDL.



• El WM puede adoptar dos politicas de planificación:

– eager scheduling eager scheduling (“push” model)(“push” model) El trabajo es ligado a un recurso tan

ponto como sea posible. Una vez que se ha tomado esta desicion el trabajo es enviado al recurso para su ejecución.

– lazy scheduling lazy scheduling (“pull” model)(“pull” model)

El trabajo es retenido por el WM hasta que aparece un recurso disponible. Cuando esto sucede se machea con eltrabajo enviado.

WMS políticas de planificación



• El ISM representa una de las mejoras mas notables en el WM y consiste en un reposiorio de información que esta disponible en un modo de solo lectura para el proceso de matchmaking. Este componente es el que permite la implementación de las políticas de planificación de las tareas.

Supermercado de Información (ISM)



• La cola de tareas (Task Queue) representa la segunda mejora mas notable en el diseño interno del WM – Posibilita mantener una solicitud de envío por un

tiempo si no hay ningún recurso disponible inmediatamente que pueda encargarse de la realización del trabajo

Solicitudes “Non-matching” se reintentan periódicamente Utilizando eager scheduling, O tan pronto como se reciba una notificación de recurso disponible en el ISM (Aproximación lazy scheduling)

La cola de tareas



• Adaptador de trabajo (Job Adapter (JA))– Es el responsable de:

Realizarle los toque finales a la expresión JDL de un trabajo, antes de que pase por el CondorC para su envío.

Crear el job wrapper script , que a su vez crea un apropiado ambiente de ejecución en el nodo de trabajo del CE

• tranferencia del input y del output sandboxes

• CondorC – Responsable de

Realizar las operaciones de manejo del trabajo • job submission, job removal

• DAGMan– meta-scheduler

Propósito de navegar el esquema Determinar cuales nodos están libres de dependencias Seguir la ejecución de los trabajos correspondientes

JA, CondorC, DAGMan



• Monitor de Logeo (Log Monitor (LM))– Es responsable de:

Observar el fichero log del CondorC Interceptar eventos interesantes relacionados con los

trabajos activos

• Servicio de Renovación del proxy (Proxy Renewal Service)– Es responsable de asegurar que:

exista durante toda la vida del trabajo un proxy del usuario valido dentro del WMS

Contactar al servidor MyProxy Server para la renovación de las credenciales de los usuarios

• Logeo y contabilidad (Logging & Bookkeeping (LB))– Es responsable de:

Almacenamiento de eventos generados por varios de los componentes del WMS

Entregar al usuario la información acerca del estado del trabajo

Log Monitor, Proxy Renewal Servise, LB



WMS

Solicitud de gestión de Solicitud de gestión de trabajo (envio, trabajo (envio, cancelación) cancelación) expresadoexpresado

via a Job Descriptionvia a Job DescriptionLanguage (JDL)Language (JDL)

Encuentra un CE apropiadoEncuentra un CE apropiadoPara cada solicitud de envío, Para cada solicitud de envío,

teniendo e cuenta teniendo e cuenta Solicitudes de tareas, Solicitudes de tareas,

preferencias, preferencias, Grid status, políticas de Grid status, políticas de utilización de recursos utilización de recursos

Mantiene las solicitudes Mantiene las solicitudes de enviode envio

Las solicitudes se conservanLas solicitudes se conservan por un tiempopor un tiempo

Si no existe un recursoSi no existe un recurso disponible inmediatamentedisponible inmediatamente

Repositorio de la información Repositorio de la información de los recursos disponible de los recursos disponible

para el matchmakerpara el matchmaker

Actualizado via notificacionesActualizado via notificacionesY/O encuestasY/O encuestas

Activas sobre los recursosActivas sobre los recursos

Ejecuta el envió de Ejecuta el envió de trabajos y el trabajos y el monitoreo monitoreo


E-infrastructure shared between Europe and Latin AmericaFlujo de Trabajo

FLUJO DE TRABAJO

En esta sección se explica que sucede cuando un usuario envía un trabajo a la GRID


E-infrastructure shared between Europe and Latin AmericaFlujo de trabajo

Submitted

Aborted

Cleared

El usuario envía en trabajo a través de la Interfaz de usuario



Submitted

Waiting

Done (Canceled)

Aborted

Cleared

El RB busca el mejor CE disponible para realizar el trabajo. Se consultan el BDII y el Catálogo



Submitted

Waiting

Done (Canceled)

Aborted

Cleared

Ready

El JA prepara el trabajo para su envió



Submitted

Waiting

ScheduledDone (Canceled)

Done (Failed)

Aborted

Cleared

Ready

El CE recibe la solicitud y envía el trabajo al LRMS para su ejecución (permanece en la cola)



Submitted

Waiting

Scheduled

Running

Done (0k)

Done (Canceled)

Done (Failed)

Aborted

Cleared

Ready

El trabajo se comienza a ejecutar en los WN, el LRMS se encarga de su control.



Submitted

Waiting

Scheduled

Running

Done (0k)

Done (Canceled)

Done (Failed)

Aborted

Cleared

Ready

El trabajo termina



Submitted

Waiting

Scheduled

Running

Done (0k)

Done (Canceled)

Done (Failed)

Aborted

Cleared

Ready

El usuario recupera la salida del trabajo



Lenguaje de Descripción de

trabajoJob Description Language


El JDL se usa en gLite para especificar las características

del trabajo y sus restricciones, las cuales seran usadas durante el proceso

de match-making match-making para seleccionar los mejores recursos para

la ejecución del trabajo.

El JDL se usa en gLite para especificar las características

del trabajo y sus restricciones, las cuales seran usadas durante el proceso

de match-making match-making para seleccionar los mejores recursos para

la ejecución del trabajo.

Lenguaje de descripción de trabajo

El Lenguaje de Descripción de trabajo Job Job Description Language (JDL)Description Language (JDL) se utiliza para describir los trabajos que son ejecutados en la GRID.

El JDL adoptado dentro del gLite middleware se basa en Condor’s CLASSified Advertisement CLASSified Advertisement language (ClassAd)language (ClassAd).

Un ClassAd es una estructura similar a un record compuesto de un numero finito de atributos separados por (;)El ClassAd es altamente flexible y puede ser usado para representar servicios arbitrarios.


La sintaxis JDL JDL consiste en declaraciones como:

Attribute = value;Attribute = value;

Los comentarios tienen que estar precedidos por el caracter ( ## ) o seguir la sintaxis el C++


Atención: El JDL es sensible a los espacios y al tabulador. Por lo que no se deben encontrar estos tipos de caracteres luego del punto y como al final de la línea


Executable = “test.sh”;

StdOutput = “std.out”;

StdError = “std.err”;

InputSandbox = {“test.sh”};

OutputSandbox = {“std.out”,”std.err”};

Executable = “test.sh”;

StdOutput = “std.out”;

StdError = “std.err”;

InputSandbox = {“test.sh”};

OutputSandbox = {“std.out”,”std.err”};


En un JDL, algunos atributos son obligatorios mientras que otros son opcionales.Un JDL “elemental” es el siguiente:

•Si se necesita argumentos para los ejecutables se pueden pasar de esta forma

Arguments = “Hello World!”;


Si el argumento contiene una cadena entre comillas, las comillas deben ser “escapadas” con un backslash

e.g. Arguments = “\”Hello World!\“ 10”;

Caracteres especiales tales como &, |, >, < se permiten solo si se especifica dentro de una cadena entre comillas o precedido por triple \

(e.g. Arguments = "-f file1\\\&file2";)



JDL: Atributos Relevantes

Tipo de Trabajo Tipo de Trabajo ((JobTypeJobType (optional)) Normal (simple, tarea secuencial), Interactive, MPICH, Checkpointable, Partitionable, Parametric

O combinaciones de ellos Checkpointable, InteractiveCheckpointable, MPI

E.j. JobType = “Interactive”; JobType = “Interactive”; JobType = {“Interactive”,”Checkpointable”}; JobType = {“Interactive”,”Checkpointable”};

““Interactive” + “MPI” no permitido aúnInteractive” + “MPI” no permitido aún


EjecutableEjecutable (obligatorio)

Este es una cadena representando el ejecutable/nombre del comando.

El usuario puede especificar un ejecutable que se encuentre en el CE remoto

Executable = {“/opt/EGEODE/GCT/egeode.sh”};Executable = {“/opt/EGEODE/GCT/egeode.sh”};

El usuario puede suministrar el nombre del ejecutable local, el cual puede ser llevado desde la UI hacia el WN.

Executable = {“egeode.sh”};Executable = {“egeode.sh”};

InputSandbox = {“/home/larocca/egeode/InputSandbox = {“/home/larocca/egeode/

egeode.sh”};egeode.sh”};

JDL: Atributos Relevantes (cont.)


Argumentos Argumentos (Arguments(Arguments) (opcional)Esta es una cadena que contiene todos los argumentos de la línea de comandos del trabajo.

Ej.: Si su ejecutable tiene que comenzar como:

$ sum N1 N2 –out result.out

Executable = “sum”;Executable = “sum”;

Arguments = “N1 N2 –out result.out”;Arguments = “N1 N2 –out result.out”;



Entorno (EnvironmentEntorno (Environment (opcional)) Lista de las características del entorno para

que el trabajo corra sin dificultadesEj. Environment = Environment = {“JAVA_HOME=/usr/java/j2sdk1.4.2_08”};{“JAVA_HOME=/usr/java/j2sdk1.4.2_08”};

InputSandboxInputSandbox (opcional) Lista de archivos en el disco de la UI local

necesarios para ejecutar el trabajo. Los ficheros listados serán automáticamente

enviados hacia el recurso remoto.Ej. InputSandbox InputSandbox

={“myscript.sh”,”/tmp/cc,sh”};={“myscript.sh”,”/tmp/cc,sh”};



OutputSandboxOutputSandbox (optional)

Lista de archivos, generados por el trabajo, los cuales tienen que ser recuperados del CE

Ej. OutputSandbox ={ “std.out”,”std.err”,OutputSandbox ={ “std.out”,”std.err”,

“ “image.png”};image.png”};



Requerimientos (RequirementsRequerimientos (Requirements (optional))

Requerimientos del trabajo en los recursos de computo Uso específico de atributos e recursos publicados en el

servicio de información Si no se especifican, se asumen los valores por defecto

definidos en la configuración del UI

Default. Requirements = Requirements = other.GlueCEStateStatus == other.GlueCEStateStatus == "Production“;"Production“;

Requirements=other.GlueCEUniqueID == “adc006.cern.ch:2119/jobmanager-pbs-infinite”

Requirements=Member(“ALICE-3.07.01”, other.GlueHostApplicationSoftwareRunTimeEnvironment);



Rango (RankRango (Rank (optional))

Expresión de punto flotante usado para determinar el rango de los CEs que cumplen con los requisitos de la expresión.

La expresión del rango puede contener atributos que describen la CE en el Sistema de información (IS).

La evaluación de la expresión del rango se realiza por el WMS durante el proceso de match-making.

Un valor numérico mayor representa un mejor rango. Si no se especifica, se utilizan valores por defecto definidos

en la configuración de la UI.

Default: Rank = -Rank = - other.GlueCEStateFreeCPUs;other.GlueCEStateFreeCPUs;



InputDataInputData (opcional)

Esto es una cadena o lista de cadenas representando el nombre lógico del fichero Logical File Name (LFN) o Grid Unique Identifier (GUID) necesitado por el trabajo como dato de entrada.

La lista es usada por el WMS para encontrar el CE desde el cual se puede tener un mejor acceso a los ficheros especificados y planificar el trabajo para que corra en el.

InputData = {“lfn:cmstestfile”,InputData = {“lfn:cmstestfile”,

““guid:135b7b23-4a6a-11d7-87e7-guid:135b7b23-4a6a-11d7-87e7-9d101f8c8b70”};9d101f8c8b70”};



DataAccessProtocolDataAccessProtocol (obligatorio si se ha definido el campo InputData)

El protocolo o la lista de protocolos con los cuales la aplicación es capaz de comunicarse para tener el acceso a los ficheros relacionados en el InputData y que se encuentran SE dado.

Los protocolos soportados actualmente en gLite son gsiftpgsiftp, and filefile.

DataAccessProtocol = {“file”,“gsiftp”};DataAccessProtocol = {“file”,“gsiftp”};




StorageIndex StorageIndex (Obligatorio si se han definido el InputData o el OutputData )

Representa la dirección URL del StorageIndex Service a contactar para resolver los nombres de los ficheros especificados en los atributos del InputData .

StorageIndex = StorageIndex = “https://glite.org:9443/StorageIndex”;“https://glite.org:9443/StorageIndex”;



OutputSEOutputSE (opcional)

Esta cadena representa la dirección URI del Storage Element (SE) donde el usuario quiere almacenar los datos de salida.

Este atributo es utilizado por el Resource Broker para encontrar el mejor CE “cercano” a este SE y planificar el trabajo en el mismo.

OutputSE = “grid009.ct.infn.it”;OutputSE = “grid009.ct.infn.it”;



OutputDataOutputData (opcional)Este atributo permite al usuario preguntar por

la carga automática y registro del conjunto de datos producidos por la ejecución del trabajo en el Worker Node (WN).

Este atributo contiene a su vez los siguientes atributos:

OutputFileStorageElementLogicalFileName



OutputFileOutputFile (Obligatorio si se ha especificado el OutputData )

Este es un atributo que representa el nombre del fichero de salida, generado por el trabajo en el WN, el cual ha tenido que ser automáticamente subido y registrado por el WMS.

StorageElementStorageElement (opcional)Este es una cadena que representa la dirección URI del SE donde los ficheros de salida especificados en el OutputFile han sido subido por el WMS.

LogicalFileNameLogicalFileName (opcional)Este es una cadena que representa el LFN que el usuario quiere asociar al fichero de salida cuando se vaya a registrar en el Catalogo.




NodeNumber NodeNumber (Obligatorio si el tipo de trabajo se definió como JobType=MPICH)

Es un número entero que especifica el número de nodos necesarios para un trabajo MPI.

El RB utiliza este atributo durante el proceso matchmaking para la selección de aquellos CE que tengan un numero igual o mayor de procesadores que los especificados en NodeNumber.

NodeNumber = 5;NodeNumber = 5;




JobSteps JobSteps (Obligatorio para trabajos de tipo checkpointable o partitionable)

Este atributo puede ser un entero que representa el número de pasos para un trabajo checkpointable o partitionable:

JobSteps = 100000;JobSteps = 100000;

O una lista de cadenas que representan niveles asociados a los pasos de los trabajos checkpointable o partitionable :

JobSteps = JobSteps = {“d0”, “d1”, ”gmos”};{“d0”, “d1”, ”gmos”};




CurrentStep CurrentStep (Obligatorio para trabajos de tipo checkpointable o partitionable)

Se utiliza para indicar el paso inicial cuando se envía un trabajo de tipo checkpointable or partitionable .

CurrentStep = 2;CurrentStep = 2;




Referencias

JDL Attributes

http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0142-0_2.pdf

https://edms.cern.ch/document/590869/1

http://egee-jra1-wm.mi.infn.it/egee-jra1-wm/api_doc/wms_jdl/index.html

• LCG-2 User Guide Manual Series https://edms.cern.ch

/file/454439/LCG-2-UserGuide.html



Questions…

tutorial eela para usuarios e-infrastructure shared between europe and latin america glite...

Documents