qos-aware scientific application scheduling algorithm in cloud environment

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

QoS-aware Scientific Application SchedulingAlgorithm in Cloud Environment

John Trujillo

Universidad Del Valle - Cali

jhon.trujillo@univalle.edu.co

12 de diciembre de 2013

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Contenido

Abstract

Introduction

Estado Del Arte

Definicion del problema

Propuesta

Resultados

Conclusiones

Comentarios

Referencias

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Abstract (1)

QoS-aware Scientific Application Scheduling Algorithm inCloud Environment

• Aplicaciones cientıficas son modeladas usando flujos de

trabajo para llevar a cabo experimentos a gran escala.

• Se necesitan un alto poder computacional para procesar datos.

• Se requiere de una infraestructura de alto desempeno

computacional.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Abstract (2)

Una solucion es usar Cloud:

• Cientıficos pueden correr sus aplicaciones como ellos lo deseen

correr: bajo su QoS deseado.

QoS: Quality of service.

• Se propone un algoritmo que permite a los cientıficos

seleccionar un determinado plan a ejecutar basado en sus

preferencias QoS: Costo y tiempo.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Abstract (2)

Al final :

• Se compara este nuevo algoritmo QSASA vs HEFT. Donde

se muestra que QSASA es mejor en cuanto a costo.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Palabras Claves :

• Scientific application : Aplicaciones Cientificas.

• Workflow scheduling : Programacion de flujo de trabajo.

• Cloud computing : Computacion en nube.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Introduccion (2)

Cloud computing: Es un sistemas de computacion paralela y

distribuida que ofrece la infraestructura , la plataforma y el

software como servicio.

• Pay-as -you- go.

• IaaS : Infrastructure as a service.

• PaaS: Platform as a service.

• SaaS : Software as a service.

Cloud ofrece una infraestructura informatica de alto

rendimiento.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Estado Del Arte

• Algoritmo HEFT( Heterogeneous Earliest Finish Time ) [21].

El primer recurso en atender es escogido.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Definicion del problema

Representamos el flujo de tareas como un grafo dirigido aciclico.

G = (V ,E ) (1)

V = {T1, ...,Tn} (2)

V = Conjunto de tareas.

E = Relacion entre cada tarea (Costo).

• Donde hay n tareas y G es una matriz nxn .

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Definicion del problema

Hay relacion si:

Gi ,j = 1 (3)

Ti es padre de Tj.

Gi ,j = 0 (4)

No hay relacion entre la tarea Ti y Tj.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Definicion del problema

En Cloud tenemos M recursos.

R = {1, 2, ...,M} (5)

• Ejecucion de una tarea: Cost exe(Ri)

• Recibir un dato de entrada desde los recursos: Cost in(Ri)

• Enviar una dato desde los recursos: Cost out(Ri)

• Disponibilidad de los recursos: Availability(Ri) .

• Confiabilidad de los recursos: Reliability(Ri) .

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Definicion del problema

El tiempo estimado para computar una tarea depende del numero

de recursos asignados para resolver una determinada tarea.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Definicion del problema

El objetivo final es :Determinar el mejor plan para resolver un problema cientıfico con

base a los tiempos y costos definidos por un usuario usando los

recursos de la cloud.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Caracteristicas de QSASA

• Dependencia entre tareas

• Tiempo de transferencia de datos entre padre e hijo

• Mekaspan en flujo de trabajo.

• Ancho de banda de los recursos

• Costo de computo por recurso

• Costo enviar y recibir datos por recurso

• Disponibilidad por cada recurso

• Fiabilidad entre recursos.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Matriz de tiempos de ejecucion

• Wn*m tiempo estimado de ejecutar una tarea en cada

recurso.

• Wij representa el tiempo estimado de ejecutar la tarea Ti

en el Recurso Rj .

Promedio de ejecucion por cada tarea con base a la Matriz W:

W =

�mj=1 ∗Wi ,j

m(6)

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Matriz de tasa de tranferencia

Tiempos de Comunicacion entre recursos:

• B es una matriz m*m la cual representa la tasa de

transferencia entre recursos.

• Bij representa la tasa de transferencia(banda ancha) entre el

recurso Ri en el Recurso Rj .

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Tiempo de Comunicacion

El tiempo de comunicacion de una arista (i, k) en un recurso

determinado

communicatei ,k =Dt

Ei ,k(7)

Dt es el promedio de enviar una tarea de un recurso a otro.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

EST

Earliest Start time (El primero en iniciar)

EST (Ti ,Rj) = max =

avail [j ]max(EFT (Ti ,Rj )+communicatei,j )

Aviablity(Ri )∗Reability(Rj )

TI ∈ pred(Ti )

(8)

Para una tarea completa

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

EFT

Earliest finish time (El primero en Terminar)

EFT (Ti ,Rj) = Wi ,j + EST (Ti ,Rj) (9)

• Donde pred(Ti) es el conjunto de predecesores de las tareas

Ti.

• avail[j] es el tiempo mas cercano en el cual el recurso Ri

esta listo para ser ejecutado.

• max entrega los tiempos de todos los datos que necesita Ti

han llegado al recurso Rj.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

CFE

Cost For Execute (Costo de ejecutar una tarea Ti )

EFC (Ti ,Rj) =

�pk−1

�((Wi,j ∗ costexec(Ri )

) + (communicatek,i ∗ costin ∗ (Rj )) + (communicatek,i ∗ costout (Rj ))�

Aviability(Rj ) ∗ Reability(Rj )

• Donde P es el numero es el numero de tareas padre de Ti

• communicatek,i es el tiempo requerido para transmitir

dados desde la tarea Ti en el recurso Ri hacia la tarea Tk.

• EFCmin, EFCmax

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Rank de tareas

Rank de tareas

RANKu(Ti ) =

Wi + (communicatei + RANKu(Tj)) (10)

Tj ∈ succ(Ti)

• Wi promedio es el promedio de computar la tarea i en todos

los recursos.

• succ(Ti) el conjunto de que dependen de la tarea Ti.

• Cij es el costo promedio de comunicar la tarea Ti con Tj.

• El rank depende de computar todos los valores hijos.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Resultados

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

• QSASA se divide en dos fases : clasificacion de las tareas

y la seleccion de recursos.

• En la evaluacion se considera que el usuario esta mas

interesado para minimizar el costo.

• Se encontro que QSASA es mejor en un 15 por ciento al

momento de ahorrar costos.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

• QSASA es una algoritmo ideal para aplicar alineamiento de

secuencias.

• QSASA podrıa ser implementado para sistemas heterogeneos.

• El cambio de plataformas o recursos implicaria modificar los

tiempos de ejecucion ateriormente nombrados.

Abstract Introduction Estado Del Arte Definicion del problema Propuesta Resultados Conclusiones Comentarios Referencias

Referencias

• 21. Topcuoglu H, Hariri S, Wu M. Performance effective and

low-complexity task scheduling for heterogeneous computing

IEEE Transactions on Parallel and Distributed Systems

13(3):260–274.