www.eu-eela.eu e-science grid facility for europe and latin america se-dpm instalación y...

www.eu-eela.eu

E-science grid facility forEurope and Latin America

SE-DPMInstalación y configuraciónJesus De OliveiraGRyDs: Grupo de Investigación en Redes y

Sistemas DistribuidosUniversidad Simón BolívarCaracas - Venezuela<[email protected]>

EELA2 Tutorial en Cuenca, Ecuador, Universidad de Cuenca, 02/02/2010 - 06/02/2010 2www.eu-eela.eu

Agenda

• Introducción al SE-DPM• Presentación del proceso de instalación• Instalación práctica del SE-DPM• Pruebas al SE-DPM


• El Storage Element/Disk Pool Manager es el servicio de almacenamiento de datos de un site

• Representa un recurso de almacenamiento en el Grid• Sus responsabilidades son:

– Gestionar replicas (almacenamiento físico, upload, download)– Responder a solicitudes de clientes a través de los protocolos

GridFTP, glite I/O y LFC para gestionar y transferir datos– Publicar la información del espacio disponible y utilizado a traves del site_bdii

• Es una interfaz entre el Grid y el sistema de almacenamiento local (tambien llamado Storage Resource Manger / SRM)– Sistema de archivos estandar (ext2, ext3, etc...) – SAN/FiberChannel/ATA over Ethernet– Disk arrays– Tape robot's

Introducción al SE-DPM


Introducción al SE-DPM• Cada SE-DPM esta compuesto por un nodo principal

(head node) y un servidor de discos (disc server) en la misma máquina.

• SE-DPM head node: Tendrá al menos un filesystem y además un número arbitrario de disk servers que pueden ser agregados mediante YAIM.

• El DPM es el encargado de manejar el almacenamiento en los Disk Servers. Maneja grupos de filesystems situados en uno o más disk servers, denominados pools.


Introducción al DPM-SE


Proceso de instalación– Establecer hostname de la máquina

– Descargar los repositorios de paquetes requeridos para el componente (archivos .repo para yum)

– Instalar java y autoridades certificadoras (con yum)

– Instalar paquetes del middleware (ig_SE_dpm_mysql, con yum)

– Adaptar archivo de configuración global (site-info.def y glite-bdii_site)

– Configurar usando yaim


Práctica de Instalación• Establecer correctamente el nombre completamente

calificado de la máquina (FQDN) [hostXXX.cedia.org.ec]– nano /etc/hostname

– nano /etc/sysconfig/network

– hostname hostXXX.cedia.org.ec

– nano /etc/hosts

• Desactivar actualizaciones automaticas: – chkconfig yum-autoupdate off

• Desactivar firewall – /etc/init.d/iptables stop

– chkconfig iptables off


Práctica de Instalación• Sincronizar reloj

– service ntpd stop; ntpdate ntp.usb.ve; service ntpd start;

• Descargar definiciones de repositorios requeridosREPOS="ca dag ig jpackage gilda glite-se_dpm glite-

se_dpm_disk sl-i386"

for name in $REPOS; do wget http://www.cedia.org.ec/mrepo/repos/$name.repo -O /etc/yum.repos.d/$name.repo; done

• Instalar autoridades certificadoras– yum -y install lcg-CA

– wget http://ftp.leg.uct.ac.za/pub/stuff/grid/grid018.ct.infn.it/mrepo/gilda_sl4-i386/RPMS.all/ca_GILDA_2009-1.0-14.i386.rpm && rpm -ivh ca_GILDA_2009-1.0-14.i386.rpm


Práctica de Instalación• Instalar certificado y clave privada de host en /etc/grid-

security

• wget "http://www.cedia.org.ec/tutorialgrid/certificates/host/$HOSTNAME/$HOSTNAME-cert.pem" -O /etc/grid-security/hostcert.pem

• wget "http://www.cedia.org.ec/tutorialgrid/certificates/host/$HOSTNAME/$HOSTNAME-key.pem" -O /etc/grid-security/hostkey.pem

• chmod 644 /etc/grid-security/hostcert.pem

• chmod 400 /etc/grid-security/hostkey.pem


Práctica de Instalación• Instalar paquetes adicionales • wget

http://linuxsoft.cern.ch/dag/redhat/el4/en/i386/RPMS.dag/perl-SOAP-Lite-0.69-1.el4.rf.noarch.rpm

• yum -y localinstall perl-SOAP-Lite-0.69-1.el4.rf.noarch.rpm

• Descargar cache de repositorio yum (para acelerar la instalación)

• wget http://www.cedia.org.ec/generic/SE_yum_cache.tar.gz

• tar xvfz SE_yum_cache.tar.gz -C /var/cache/yum


Práctica de Instalación• Instalar paquetes del middlewareyum -y install ig_SE_dpm_mysql ig_SE_dpm_disk

• Instalar paquete gilda_utilsyum -y install gilda_utils

• Anexar cuentas pool para gilda– cat /opt/glite/yaim/etc/gilda/gilda_ig-users.conf >> /opt/glite/yaim/examples/ig-users.conf

– cat /opt/glite/yaim/etc/gilda/gilda_ig-groups.conf >> /opt/glite/yaim/examples/ig-groups.conf

• Modificar archivo de configuración globalcp /opt/glite/yaim/examples/siteinfo/ig-site-info.def

/opt/glite/yaim/examples/siteinfo/mysite-info.def

nano /opt/glite/yaim/examples/siteinfo/mysite-info.def


Práctica de Instalación• Variables importantes del archivo site-info.def:

DPM_HOST="hostXXX.cedia.org.ec" (reemplazar por su maquina)

MYSQL_PASSWORD=secret SE_LIST="$DPM_HOST" SE_GRIDFTP_LOGFILE=/var/log/dpm-gsiftp/dpm-gsiftp.log

DPMFSIZE=200M SE_ARCH="multidisk" RFIO_PORT_RANGE="20000 25000" SITE_NAME=gilda_cedia SITE_LAT=0.0 SITE_LONG=0.0 NTP_HOSTS_IP="159.90.100.7 ntp.usb.ve"


Práctica de Instalación• Variables importantes del archivo site-info.def (cont.)

VOS="gilda"

ALL_VOMS_VOS="gilda"

QUEUES="gilda" GILDA_GROUP_ENABLE=$VOS VO_GILDA_SW_DIR=$VO_SW_DIR/gilda VO_GILDA_DEFAULT_SE=$DPM_HOST VO_GILDA_STORAGE_DIR=$CLASSIC_STORAGE_DIR/gilda VO_GILDA_VOMS_SERVERS="'vomss://voms.ct.infn.it:8443/voms/gilda?/gilda'"

VO_GILDA_VOMSES="'gilda voms.ct.infn.it 15001 /C=IT/O=INFN/OU=Host/L=Catania/CN=voms.ct.infn.it gilda'"

VO_GILDA_VOMS_CA_DN="'/C=IT/O=INFN/CN=INFN CA'"


Práctica de Instalación• Editar archivo de configuración de servicio DPM_DISK:

– nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_disk

DPMPOOL=GILDAPOOL DPM_FILESYSTEMS="$DPM_HOST:/data"

• Editar archivo de configuración de servicio DPM_MYSQL:– nano /opt/glite/yaim/examples/siteinfo/services/glite-se_dpm_mysql

DPMPOOL=GILDAPOOL DPM_FILESYSTEMS="$DPM_HOST:/data" DPM_DB_USER=dpmmgr DPM_DB_PASSWORD=secret DPM_DB_HOST=$DPM_HOST DPM_INFO_USER=dpminfo DPM_INFO_PASS=secret


Práctica de Instalación• Configurar usando YAIM:

– /opt/glite/yaim/bin/ig_yaim -c -s /opt/glite/yaim/examples/siteinfo/mysite-info.def -n ig_SE_dpm_mysql -n ig_SE_dpm_disk

• Crear directorios predeterminados

– /etc/cron.monthly/create-default-dirs-DPM.sh


Pruebas del SE-DPM• Consultar al servicio GRIS para verificar la información

del SE:

ldapsearch -x -b "mds-vo-name=resource,o=grid" -h localhost -p 2170 | grep AvailableSpace

• Consultar estado del SE al servicio DPM

/opt/lcg/bin/dpm-qryconf

• Copiar un archivo desde el UI:lcg-cr -l lfn:/grid/gilda/users/brunor/hostname.sh file:

$HOME/hostname.sh -d hostXXX.cedia.org.ec

(REEMPLAZAR POR SU MÁQUINA)


Preguntas

www.eu-eela.eu e-science grid facility for europe and latin america se-dpm instalación y...

Documents