Guías de uso.
Con el fin de conocer las características más habituales de los sistemas de cálculo del Centro de Computación Científica, ponemos a su disposición las siguientes guías:
Introducción.
El presente documento pretende ser la guía tanto para las y los nuevos usuarios en el sistema de cálculo del Centro de Computación Científica de la Universidad Autónoma de Madrid (CCCUAM) como para quienes en algún momento se les pueda presentar una duda de utilización.
Todos los servidores del CCCUAM tienen instalado como sistema operativo GNU/Linux, concretamente la distribución Rocky, por lo que se entiende que las personas que utilicen estos equipos deben conocer al menos de forma básica los comandos más habituales de este sistema operativo.
Ante cualquier duda la forma única de acceso a los recursos de soporte del CCCUAM es a través de correo electrónico, concretamente a través de la dirección:
administracion.ccc@uam.es
Descripción de los sistemas.
El CCCUAM aloja un grupo heterogéneo de servidores, tanto desde el punto de vista de procesadores, como de memoria RAM, como de almacenamiento en disco duro, etc. Estos servidores se concentran en dos grupos:
Servidores propios del CCCUAM, disponibles para todos los logins y con coste asociado por utilización.
Servidores propios de grupos de investigación alojados en las dependencias del CCCUAM, disponibles únicamente para los y las usuarias del grupo de investigación correspondiente.
Todos los equipos están conectados gracias a una red que permite la transferencia de ficheros entre equipos de forma óptima.
Asimismo el CCCUAM mantiene un sistema de almacenamiento centralizado respaldado por soluciones de backup.
Conexión al CCCUAM.
El Centro de Computación Científica de la Universidad Autónoma de Madrid dispone de tres servidores a los cuales se puede realizar una conexión para utilizar los recursos del mismo. Estos equipos son:
login1.ccc.uam.es
login2.ccc.uam.es
login3.ccc.uam.es
Para realizar una conexión a los mismos es necesario utilizar el protocolo ssh. El sistema operativo desde el cual se realice la conexión es independiente al resultado final.
No se permitirán accesos utilizando conexiones no seguras.
En el caso de utilizar como cliente GNU/Linux podríamos ejecutar:
ssh login@login1.ccc.uam.es
o en vez de login1.ccc.uam.es cualquiera de los tres servidores anteriormente especificados.
La primera vez que se lleve a cabo una conexión, el sistema probablemente pedirá la confirmación de un certificado por parte del cliente, obteniendo un mensaje equivalente a
The authenticity of host 'login1.ccc.uam.es (150.244.232.5)' can't be established.
RSA key fingerprint is 7a:fb:38:f3:6d:e4:d7:1b:08:a6:7b:83:a6:94:b2:07.
Are you sure you want to continue connecting (yes/no)?
Para continuar escribiremos yes. Si estamos utilizando un programa gráfico que realice conexiones ssh seguiremos las instrucciones de dicho programa para aceptar este certificado.
Las conexiones se permitirán siempre que se realicen con una dirección IP del rango de la Universidad Autónoma de Madrid, es decir, serán permitidas las conexiones procedentes desde equipos conectados físicamente en la Universidad Autónoma de Madrid, que hagan uso de la WiFI de la Universidad Autónoma de Madrid o que utilicen la VPN de la Universidad Autónoma de Madrid.
Gestión de contraseñas.
Para cambiar la contraseña debe realizarse una conexión a cualquiera de los tres servidores de acceso, y a continuación ejecutar:
passwd
El sistema pedirá la contraseña antigua para a continuación permitir el ingreso de la nueva, pidiendo que se repita de nuevo esta por motivos de seguridad.
Las contraseñas deberán tener al menos diez caracteres y obligatoriamente deberán constar de al menos una letra en minúscula, una letra en mayúscula, un número y un carácter especial.
Si al intentar cambiar la contraseña el sistema advierte que no cumple con alguna de estas características, o entiende que es una contraseña insegura, se lo indicará y le instará a que utilice otra distinta.
No es aconsejable mantener la contraseña escrita en un papel en un entorno abierto. La suplantación puede ocasionar graves trastornos.
La contraseña tiene una caducidad de seis meses.
Para realizar el cambio de la contraseña contará con siete días. Pasado este periodo su cuenta quedará bloqueada, y únicamente podrá ser desbloqueada si así lo solicita mediante un mensaje de correo electrónico dirigido a la dirección de soporte.
Las cuentas que estén bloqueadas durante al menos un mes serán eliminadas del sistema. Los datos almacenados en las mismas serán destruidos y no podrán ser recuperados.
Almacenamiento.
El Centro de Computación Científica de la Universidad Autónoma de Madrid dispone de cuatro sistemas de archivos centralizados, es decir, que pueden ser accedidos por igual desde cualquier servidor.
Estos son:
/home
/home/proyectos
/usr/local
/scratch
El primero, /home, es el sistema de archivos donde residen los directorios personales para las diferentes cuentas de cálculo. Por ejemplo el directorio personal de login sería /home/login.
/home/proyectos es un sistema de archivos donde residen los directorios propios de los distintos proyectos de cálculo intensivo. Cada responsable de proyecto de cálculo podrá pedir la creación de un directorio así como indicar la capacidad máxima que debería tener a través del formulario de petición de proyectos disponible en la página web del CCCUAM o enviando un mensaje de correo electrónico a la dirección de correo electrónico centralizada.
El sistema de archivos /usr/local es donde se almacenan los distintos programas y bases de datos disponibles de forma global.
Finalmente el sistema de ficheros /scratch contiene un subdirectorio por cada login, igual que /home, pero su uso está indicado para almacenar los datos temporales de los trabajos que se ejecuten a través del sistema de colas.
Este sistema de ficheros no está respaldado por ningún sistemas de backup y los datos contenidos en él pueden eliminarse tras un periodo de no utilización de los ficheros.
De forma adicional cada servidor de cálculo tiene disponible un sistema de archivos llamado
/temporal
También en este sistema de archivos existe un directorio para cada login, donde podrá escribir los datos que necesite para llevar a buen fin los cálculos que se estén ejecutando en dicha máquina porque a diferencia de /scratch este sistema de ficheros es local para cada máquina. Por ejemplo el directorio de login será /temporal/login
Dado que este sistema de archivos es local, es imprescindible que las y los usuarios modifiquen sus scripts de ejecución de aplicaciones con el fin de que los ficheros intermedios de los cálculos se almacenen aquí y no en los sistemas de almacenamiento centralizados. La mejora de rendimiento es sustancial.
Los sistemas de archivos /home, /home/proyectos y /usr/local son respaldados en servidores de backup, pero en ningún caso se respaldará la información almacenada en los sistemas de archivos /scratch y /temporal.
Los directorios /home/login, /scratch/login y /temporal/login son responsabilidad de la persona propietaria de dicho login. Los directorios de proyectos en /home/proyectos son responsabilidad de la persona responsable del proyecto.
Transferencia de ficheros.
Para transferir ficheros al CCCUAM debe utilizar scp o sftp, bien utilizando los comandos directamente si utiliza un sistema operativo GNU/Linux o equivalente, o bien a través de aplicaciones gráficas que soporten estos protocolos.
El login y la contraseña que debe utilizar para realizar estas transferencias es el mismo que el utilizado para realizar las conexiones ssh. Asimismo podrá utilizar cualquiera de los tres servidores de acceso para llevar a cabo la transferencia.
Si utiliza, por ejemplo desde un entorno GNU/Linux, el comando scp para realizar una transferencia de un directorio y todo su contenido desde su equipo al CCCUAM, deberá ejecutar en su equipo:
scp -r directorio-a-transferir login2.ccc.uam.es:/home/login
que le transferirá este directorio y todo su contenido a su directorio home, que siempre será
/home/XXX
donde XXX es su login.
Ejecución de trabajos.
El sistema de colas utilizado en el CCCUAM es Slurm, por lo que le recomendamos que visite la guía de uso de Slurm.
Utilización indebida.
La utilización indebida de los recursos del CCCUAM supondrá el bloqueo de la cuenta hasta que se determine la causa y el alcance de dicha utilización, pudiéndose entonces anular la cuenta.
Si el uso indebido de la cuenta llega a constituir una actividad delictiva, se pondrá en conocimiento de las autoridades pertinentes.
Introducción.
El presente documento pretende ser la guía para las y los nuevos usuarios del nodo Cibeles de la Red Española de Supercomputación.
Todos los servidores de Cibeles tienen instalado como sistema operativo GNU/Linux, concretamente la distribución Rocky, por lo que se entiende que las personas que utilicen estos equipos deben conocer al menos de forma básica los comandos más habituales de este sistema operativo.
Ante cualquier duda la forma única de acceso a los recursos de soporte del CCCUAM es a través de correo electrónico, concretamente a través de la dirección:
res_support@uam.es
Descripción de los sistemas.
El nodo Cibeles cuenta con dos sistemas distintos, Cibeles3 y Cibeles4, ambos con acceso al sistema de almacenamiento tipo Lustre central del Centro de Computación Científica de la Universidad Autónoma de Madrid.
Conexión al nodo Cibeles.
Para realizar la conexión al nodo Cibeles se debe conectar a los servidores de login del Centro de Computación Científica de la Universidad Autónoma de Madrid. En concreto son tres equipos:
login1.ccc.uam.es
login2.ccc.uam.es
login3.ccc.uam.es
Para realizar una conexión a los mismos es necesario utilizar el protocolo ssh. El sistema operativo desde el cual se realice la conexión es independiente al resultado final.
No se permitirán accesos utilizando conexiones no seguras.
En el caso de utilizar como cliente GNU/Linux podríamos ejecutar:
ssh login@login1.ccc.uam.es
o en vez de login1.ccc.uam.es cualquiera de los tres servidores anteriormente especificados.
La primera vez que se lleve a cabo una conexión, el sistema probablemente pedirá la confirmación de un certificado por parte del cliente, obteniendo un mensaje equivalente a
The authenticity of host 'login1.ccc.uam.es (150.244.232.5)' can't be established.
RSA key fingerprint is 7a:fb:38:f3:6d:e4:d7:1b:08:a6:7b:83:a6:94:b2:07.
Are you sure you want to continue connecting (yes/no)?
Para continuar escribiremos yes. Si estamos utilizando un programa gráfico que realice conexiones ssh seguiremos las instrucciones de dicho programa para aceptar este certificado.
Las conexiones se permitirán siempre que se realicen con una dirección IP del rango de la Universidad Autónoma de Madrid, es decir, serán permitidas las conexiones procedentes desde equipos conectados físicamente en la Universidad Autónoma de Madrid, que hagan uso de la WiFI de la Universidad Autónoma de Madrid o que utilicen la VPN de la Universidad Autónoma de Madrid.
En el caso en el que no se pueda cumplir alguna de estas circunstancias por una o varias personas del proyecto autorizado a calcular en el nodo Cibeles, se podrá realizar una petición de acceso desde direcciones IP estáticas, enviando un mensaje de correo electrónico a la dirección de soporte previamente indicada en el que conste la necesidad de la conexión, el proyecto de cálculo en el que se trabaja, los logins que utilizarán la conexión y la dirección IP estática a utilizar.
Gestión de contraseñas.
Para cambiar la contraseña debe realizarse una conexión a cualquiera de los tres servidores de acceso, y a continuación ejecutar:
passwd
El sistema pedirá la contraseña antigua para a continuación permitir el ingreso de la nueva, pidiendo que se repita de nuevo esta por motivos de seguridad.
Las contraseñas deberán tener al menos diez caracteres y obligatoriamente deberán constar de al menos una letra en minúscula, una letra en mayúscula, un número y un carácter especial.
Si al intentar cambiar la contraseña el sistema advierte que no cumple con alguna de estas características, o entiende que es una contraseña insegura, se lo indicará y le instará a que utilice otra distinta.
No es aconsejable mantener la contraseña escrita en un papel en un entorno abierto. La suplantación puede ocasionar graves trastornos.
La contraseña tiene una caducidad de seis meses.
Para realizar el cambio de la contraseña contará con siete días. Pasado este periodo su cuenta quedará bloqueada, y únicamente podrá ser desbloqueada si así lo solicita mediante un mensaje de correo electrónico dirigido a la dirección de soporte.
Las cuentas que estén bloqueadas durante al menos un mes serán eliminadas del sistema. Los datos almacenados en las mismas serán destruidos y no podrán ser recuperados.
Almacenamiento.
El nodo Cibeles, a través del Centro de Computación Científica de la Universidad Autónoma de Madrid dispone de cuatro sistemas de archivos centralizados, es decir, que pueden ser accedidos por igual desde cualquier servidor.
Estos son:
/home
/home/proyectos
/usr/local
/scratch
El primero, /home, es el sistema de archivos donde residen los directorios personales para las diferentes cuentas de cálculo. Por ejemplo el directorio personal de login sería /home/login.
/home/proyectos es un sistema de archivos donde residen los directorios propios de los distintos proyectos de cálculo intensivo. Cada responsable de proyecto recibirá desde la RES información con la capacidad máxima que podrá utilizar.
El sistema de archivos /usr/local es donde se almacenan los distintos programas y bases de datos disponibles de forma global.
Finalmente el sistema de ficheros /scratch contiene un subdirectorio por cada login, igual que /home, pero su uso está indicado para almacenar los datos temporales de los trabajos que se ejecuten a través del sistema de colas.
Además cada proyecto de cálculo tendrá acceso a un directorio global en este sistema de ficheros, concretamente con el nombre del proyecto de cálculo asignado en la RES. En este directorio podrán almacenar datos las personas autorizadas por la o el responsable del proyecto siempre que formen parte del mismo.
Este sistema de ficheros no está respaldado por ningún sistemas de backup y los datos contenidos en él pueden eliminarse tras un periodo de no utilización de los ficheros.
De forma adicional cada servidor de cálculo tiene disponible un sistema de archivos llamado
/temporal
También en este sistema de archivos existe un directorio para cada login, donde podrá escribir los datos que necesite para llevar a buen fin los cálculos que se estén ejecutando en dicha máquina porque a diferencia de /scratch este sistema de ficheros es local para cada máquina. Por ejemplo el directorio de login será /temporal/login
Dado que este sistema de archivos es local, es imprescindible que las y los usuarios modifiquen sus scripts de ejecución de aplicaciones con el fin de que los ficheros intermedios de los cálculos se almacenen aquí y no en los sistemas de almacenamiento centralizados. La mejora de rendimiento es sustancial.
Los sistemas de archivos /home, /home/proyectos y /usr/local son respaldados en servidores de backup, pero en ningún caso se respaldará la información almacenada en los sistemas de archivos /scratch y /temporal.
Los directorios /home/login, /scratch/login y /temporal/login son responsabilidad de la persona propietaria de dicho login. Los directorios de proyectos en /home/proyectos y /scratch son responsabilidad de la persona responsable del proyecto.
Transferencia de ficheros.
Para transferir ficheros al CCCUAM debe utilizar scp o sftp, bien utilizando los comandos directamente si utiliza un sistema operativo GNU/Linux o equivalente, o bien a través de aplicaciones gráficas que soporten estos protocolos.
El login y la contraseña que debe utilizar para realizar estas transferencias es el mismo que el utilizado para realizar las conexiones ssh. Asimismo podrá utilizar cualquiera de los tres servidores de acceso para llevar a cabo la transferencia.
Si utiliza, por ejemplo desde un entorno GNU/Linux, el comando scp para realizar una transferencia de un directorio y todo su contenido desde su equipo al CCCUAM, deberá ejecutar en su equipo:
scp -r directorio-a-transferir login2.ccc.uam.es:/home/login
que le transferirá este directorio y todo su contenido a su directorio home, que siempre será
/home/XXX
donde XXX es su login.
Ejecución de trabajos.
El sistema de colas utilizado en el CCCUAM es Slurm, por lo que le recomendamos que visite la guía de uso de Slurm.
Le recomendamos que en las ejecuciones con memoria distribuida, por ejemplo utilizando MPI, no mezcle máquinas del nodo Cibeles3 con máquinas del nodo Cibeles4 dado que utilizan redes de alta velocidad no compatibles.
Para facilitar esta forma de trabajo los equipos del nodo Cibeles3 han sido configurados en Slurm con una feature llamada cibeles3, mientras que los equipos del nodo Cibeles4 han sido configurados en Slurm con una feature llamada cibeles4.
De esta forma si quiere lanzar trabajos al sistema de colas que se ejecuten en el nodo Cibeles3, añada la opción --constraint=cibeles3 a su línea sbatch, y si quiere que se ejecuten en el nodo Cibeles4 añada la opción --constraint=cibeles4 a su línea sbatch.
Utilización indebida.
La utilización indebida de los recursos del CCCUAM supondrá el bloqueo de la cuenta hasta que se determine la causa y el alcance de dicha utilización, pudiéndose entonces anular la cuenta.
Si el uso indebido de la cuenta llega a constituir una actividad delictiva, se pondrá en conocimi ento de las autoridades pertinentes.
Guía de uso. Servidores generales.
Introducción.
El presente documento pretende ser la guía tanto para las y los nuevos usuarios en el sistema de cálculo del Centro de Computación Científica de la Universidad Autónoma de Madrid (CCCUAM) como para quienes en algún momento se les pueda presentar una duda de utilización.
Todos los servidores del CCCUAM tienen instalado como sistema operativo GNU/Linux, concretamente la distribución Rocky, por lo que se entiende que las personas que utilicen estos equipos deben conocer al menos de forma básica los comandos más habituales de este sistema operativo.
Ante cualquier duda la forma única de acceso a los recursos de soporte del CCCUAM es a través de correo electrónico, concretamente a través de la dirección:
administracion.ccc@uam.es
Descripción de los sistemas.
El CCCUAM aloja un grupo heterogéneo de servidores, tanto desde el punto de vista de procesadores, como de memoria RAM, como de almacenamiento en disco duro, etc. Estos servidores se concentran en dos grupos:
Servidores propios del CCCUAM, disponibles para todos los logins y con coste asociado por utilización.
Servidores propios de grupos de investigación alojados en las dependencias del CCCUAM, disponibles únicamente para los y las usuarias del grupo de investigación correspondiente.
Todos los equipos están conectados gracias a una red que permite la transferencia de ficheros entre equipos de forma óptima.
Asimismo el CCCUAM mantiene un sistema de almacenamiento centralizado respaldado por soluciones de backup.
Conexión al CCCUAM.
El Centro de Computación Científica de la Universidad Autónoma de Madrid dispone de tres servidores a los cuales se puede realizar una conexión para utilizar los recursos del mismo. Estos equipos son:
login1.ccc.uam.es
login2.ccc.uam.es
login3.ccc.uam.es
Para realizar una conexión a los mismos es necesario utilizar el protocolo ssh. El sistema operativo desde el cual se realice la conexión es independiente al resultado final.
No se permitirán accesos utilizando conexiones no seguras.
En el caso de utilizar como cliente GNU/Linux podríamos ejecutar:
ssh login@login1.ccc.uam.es
o en vez de login1.ccc.uam.es cualquiera de los tres servidores anteriormente especificados.
La primera vez que se lleve a cabo una conexión, el sistema probablemente pedirá la confirmación de un certificado por parte del cliente, obteniendo un mensaje equivalente a
The authenticity of host 'login1.ccc.uam.es (150.244.232.5)' can't be established.
RSA key fingerprint is 7a:fb:38:f3:6d:e4:d7:1b:08:a6:7b:83:a6:94:b2:07.
Are you sure you want to continue connecting (yes/no)?
Para continuar escribiremos yes. Si estamos utilizando un programa gráfico que realice conexiones ssh seguiremos las instrucciones de dicho programa para aceptar este certificado.
Las conexiones se permitirán siempre que se realicen con una dirección IP del rango de la Universidad Autónoma de Madrid, es decir, serán permitidas las conexiones procedentes desde equipos conectados físicamente en la Universidad Autónoma de Madrid, que hagan uso de la WiFI de la Universidad Autónoma de Madrid o que utilicen la VPN de la Universidad Autónoma de Madrid.
Gestión de contraseñas.
Para cambiar la contraseña debe realizarse una conexión a cualquiera de los tres servidores de acceso, y a continuación ejecutar:
passwd
El sistema pedirá la contraseña antigua para a continuación permitir el ingreso de la nueva, pidiendo que se repita de nuevo esta por motivos de seguridad.
Las contraseñas deberán tener al menos diez caracteres y obligatoriamente deberán constar de al menos una letra en minúscula, una letra en mayúscula, un número y un carácter especial.
Si al intentar cambiar la contraseña el sistema advierte que no cumple con alguna de estas características, o entiende que es una contraseña insegura, se lo indicará y le instará a que utilice otra distinta.
No es aconsejable mantener la contraseña escrita en un papel en un entorno abierto. La suplantación puede ocasionar graves trastornos.
La contraseña tiene una caducidad de seis meses.
Para realizar el cambio de la contraseña contará con siete días. Pasado este periodo su cuenta quedará bloqueada, y únicamente podrá ser desbloqueada si así lo solicita mediante un mensaje de correo electrónico dirigido a la dirección de soporte.
Las cuentas que estén bloqueadas durante al menos un mes serán eliminadas del sistema. Los datos almacenados en las mismas serán destruidos y no podrán ser recuperados.
Almacenamiento.
El Centro de Computación Científica de la Universidad Autónoma de Madrid dispone de cuatro sistemas de archivos centralizados, es decir, que pueden ser accedidos por igual desde cualquier servidor.
Estos son:
/home
/home/proyectos
/usr/local
/scratch
El primero, /home, es el sistema de archivos donde residen los directorios personales para las diferentes cuentas de cálculo. Por ejemplo el directorio personal de login sería /home/login.
/home/proyectos es un sistema de archivos donde residen los directorios propios de los distintos proyectos de cálculo intensivo. Cada responsable de proyecto de cálculo podrá pedir la creación de un directorio así como indicar la capacidad máxima que debería tener a través del formulario de petición de proyectos disponible en la página web del CCCUAM o enviando un mensaje de correo electrónico a la dirección de correo electrónico centralizada.
El sistema de archivos /usr/local es donde se almacenan los distintos programas y bases de datos disponibles de forma global.
Finalmente el sistema de ficheros /scratch contiene un subdirectorio por cada login, igual que /home, pero su uso está indicado para almacenar los datos temporales de los trabajos que se ejecuten a través del sistema de colas.
Este sistema de ficheros no está respaldado por ningún sistemas de backup y los datos contenidos en él pueden eliminarse tras un periodo de no utilización de los ficheros.
De forma adicional cada servidor de cálculo tiene disponible un sistema de archivos llamado
/temporal
También en este sistema de archivos existe un directorio para cada login, donde podrá escribir los datos que necesite para llevar a buen fin los cálculos que se estén ejecutando en dicha máquina porque a diferencia de /scratch este sistema de ficheros es local para cada máquina. Por ejemplo el directorio de login será /temporal/login
Dado que este sistema de archivos es local, es imprescindible que las y los usuarios modifiquen sus scripts de ejecución de aplicaciones con el fin de que los ficheros intermedios de los cálculos se almacenen aquí y no en los sistemas de almacenamiento centralizados. La mejora de rendimiento es sustancial.
Los sistemas de archivos /home, /home/proyectos y /usr/local son respaldados en servidores de backup, pero en ningún caso se respaldará la información almacenada en los sistemas de archivos /scratch y /temporal.
Los directorios /home/login, /scratch/login y /temporal/login son responsabilidad de la persona propietaria de dicho login. Los directorios de proyectos en /home/proyectos son responsabilidad de la persona responsable del proyecto.
Transferencia de ficheros.
Para transferir ficheros al CCCUAM debe utilizar scp o sftp, bien utilizando los comandos directamente si utiliza un sistema operativo GNU/Linux o equivalente, o bien a través de aplicaciones gráficas que soporten estos protocolos.
El login y la contraseña que debe utilizar para realizar estas transferencias es el mismo que el utilizado para realizar las conexiones ssh. Asimismo podrá utilizar cualquiera de los tres servidores de acceso para llevar a cabo la transferencia.
Si utiliza, por ejemplo desde un entorno GNU/Linux, el comando scp para realizar una transferencia de un directorio y todo su contenido desde su equipo al CCCUAM, deberá ejecutar en su equipo:
scp -r directorio-a-transferir login2.ccc.uam.es:/home/login
que le transferirá este directorio y todo su contenido a su directorio home, que siempre será
/home/XXX
donde XXX es su login.
Ejecución de trabajos.
El sistema de colas utilizado en el CCCUAM es Slurm, por lo que le recomendamos que visite la guía de uso de Slurm.
Utilización indebida.
La utilización indebida de los recursos del CCCUAM supondrá el bloqueo de la cuenta hasta que se determine la causa y el alcance de dicha utilización, pudiéndose entonces anular la cuenta.
Si el uso indebido de la cuenta llega a constituir una actividad delictiva, se pondrá en conocimiento de las autoridades pertinentes.
Guía de uso. Nodo Cibeles. RES.
Introducción.
El presente documento pretende ser la guía para las y los nuevos usuarios del nodo Cibeles de la Red Española de Supercomputación.
Todos los servidores de Cibeles tienen instalado como sistema operativo GNU/Linux, concretamente la distribución Rocky, por lo que se entiende que las personas que utilicen estos equipos deben conocer al menos de forma básica los comandos más habituales de este sistema operativo.
Ante cualquier duda la forma única de acceso a los recursos de soporte del CCCUAM es a través de correo electrónico, concretamente a través de la dirección:
res_support@uam.es
Descripción de los sistemas.
El nodo Cibeles cuenta con dos sistemas distintos, Cibeles3 y Cibeles4, ambos con acceso al sistema de almacenamiento tipo Lustre central del Centro de Computación Científica de la Universidad Autónoma de Madrid.
- Cibeles3 es un clúster compuesto por 28 servidores donde cada uno de ellos cuenta con 2 procesadores Intel Xeon Gold 6330 2.0Ghz y 512GB de memoria RAM. El clúster cuenta por tanto con 1568 cores y un rendimiento máximo de 100 TFlop/s. La red de interconexión del clúster es Infiniband HDR de 200Gbps sin sobresuscripción.
- Cibeles4 es un clúster procedente del Barcelona Supercomputing Center - Centro Nacional de Supercomputación, llamándose en origen MareNostrum4. Consta de 72 servidores accesibles a cuentas procedentes de la RES, cada uno de ellos con dos procesadores Intel Xeon Platinum 8160 2.10Ghz y 96GB de memoria RAM. Este entorno cuenta por tanto con 3456 cores y un rendimiento máximo de 323 TFlop/s. La red de interconexión del clúster es Intel OmniPath de 100Gbps.
Conexión al nodo Cibeles.
Para realizar la conexión al nodo Cibeles se debe conectar a los servidores de login del Centro de Computación Científica de la Universidad Autónoma de Madrid. En concreto son tres equipos:
login1.ccc.uam.es
login2.ccc.uam.es
login3.ccc.uam.es
Para realizar una conexión a los mismos es necesario utilizar el protocolo ssh. El sistema operativo desde el cual se realice la conexión es independiente al resultado final.
No se permitirán accesos utilizando conexiones no seguras.
En el caso de utilizar como cliente GNU/Linux podríamos ejecutar:
ssh login@login1.ccc.uam.es
o en vez de login1.ccc.uam.es cualquiera de los tres servidores anteriormente especificados.
La primera vez que se lleve a cabo una conexión, el sistema probablemente pedirá la confirmación de un certificado por parte del cliente, obteniendo un mensaje equivalente a
The authenticity of host 'login1.ccc.uam.es (150.244.232.5)' can't be established.
RSA key fingerprint is 7a:fb:38:f3:6d:e4:d7:1b:08:a6:7b:83:a6:94:b2:07.
Are you sure you want to continue connecting (yes/no)?
Para continuar escribiremos yes. Si estamos utilizando un programa gráfico que realice conexiones ssh seguiremos las instrucciones de dicho programa para aceptar este certificado.
Las conexiones se permitirán siempre que se realicen con una dirección IP del rango de la Universidad Autónoma de Madrid, es decir, serán permitidas las conexiones procedentes desde equipos conectados físicamente en la Universidad Autónoma de Madrid, que hagan uso de la WiFI de la Universidad Autónoma de Madrid o que utilicen la VPN de la Universidad Autónoma de Madrid.
En el caso en el que no se pueda cumplir alguna de estas circunstancias por una o varias personas del proyecto autorizado a calcular en el nodo Cibeles, se podrá realizar una petición de acceso desde direcciones IP estáticas, enviando un mensaje de correo electrónico a la dirección de soporte previamente indicada en el que conste la necesidad de la conexión, el proyecto de cálculo en el que se trabaja, los logins que utilizarán la conexión y la dirección IP estática a utilizar.
Gestión de contraseñas.
Para cambiar la contraseña debe realizarse una conexión a cualquiera de los tres servidores de acceso, y a continuación ejecutar:
passwd
El sistema pedirá la contraseña antigua para a continuación permitir el ingreso de la nueva, pidiendo que se repita de nuevo esta por motivos de seguridad.
Las contraseñas deberán tener al menos diez caracteres y obligatoriamente deberán constar de al menos una letra en minúscula, una letra en mayúscula, un número y un carácter especial.
Si al intentar cambiar la contraseña el sistema advierte que no cumple con alguna de estas características, o entiende que es una contraseña insegura, se lo indicará y le instará a que utilice otra distinta.
No es aconsejable mantener la contraseña escrita en un papel en un entorno abierto. La suplantación puede ocasionar graves trastornos.
La contraseña tiene una caducidad de seis meses.
Para realizar el cambio de la contraseña contará con siete días. Pasado este periodo su cuenta quedará bloqueada, y únicamente podrá ser desbloqueada si así lo solicita mediante un mensaje de correo electrónico dirigido a la dirección de soporte.
Las cuentas que estén bloqueadas durante al menos un mes serán eliminadas del sistema. Los datos almacenados en las mismas serán destruidos y no podrán ser recuperados.
Almacenamiento.
El nodo Cibeles, a través del Centro de Computación Científica de la Universidad Autónoma de Madrid dispone de cuatro sistemas de archivos centralizados, es decir, que pueden ser accedidos por igual desde cualquier servidor.
Estos son:
/home
/home/proyectos
/usr/local
/scratch
El primero, /home, es el sistema de archivos donde residen los directorios personales para las diferentes cuentas de cálculo. Por ejemplo el directorio personal de login sería /home/login.
/home/proyectos es un sistema de archivos donde residen los directorios propios de los distintos proyectos de cálculo intensivo. Cada responsable de proyecto recibirá desde la RES información con la capacidad máxima que podrá utilizar.
El sistema de archivos /usr/local es donde se almacenan los distintos programas y bases de datos disponibles de forma global.
Finalmente el sistema de ficheros /scratch contiene un subdirectorio por cada login, igual que /home, pero su uso está indicado para almacenar los datos temporales de los trabajos que se ejecuten a través del sistema de colas.
Además cada proyecto de cálculo tendrá acceso a un directorio global en este sistema de ficheros, concretamente con el nombre del proyecto de cálculo asignado en la RES. En este directorio podrán almacenar datos las personas autorizadas por la o el responsable del proyecto siempre que formen parte del mismo.
Este sistema de ficheros no está respaldado por ningún sistemas de backup y los datos contenidos en él pueden eliminarse tras un periodo de no utilización de los ficheros.
De forma adicional cada servidor de cálculo tiene disponible un sistema de archivos llamado
/temporal
También en este sistema de archivos existe un directorio para cada login, donde podrá escribir los datos que necesite para llevar a buen fin los cálculos que se estén ejecutando en dicha máquina porque a diferencia de /scratch este sistema de ficheros es local para cada máquina. Por ejemplo el directorio de login será /temporal/login
Dado que este sistema de archivos es local, es imprescindible que las y los usuarios modifiquen sus scripts de ejecución de aplicaciones con el fin de que los ficheros intermedios de los cálculos se almacenen aquí y no en los sistemas de almacenamiento centralizados. La mejora de rendimiento es sustancial.
Los sistemas de archivos /home, /home/proyectos y /usr/local son respaldados en servidores de backup, pero en ningún caso se respaldará la información almacenada en los sistemas de archivos /scratch y /temporal.
Los directorios /home/login, /scratch/login y /temporal/login son responsabilidad de la persona propietaria de dicho login. Los directorios de proyectos en /home/proyectos y /scratch son responsabilidad de la persona responsable del proyecto.
Transferencia de ficheros.
Para transferir ficheros al CCCUAM debe utilizar scp o sftp, bien utilizando los comandos directamente si utiliza un sistema operativo GNU/Linux o equivalente, o bien a través de aplicaciones gráficas que soporten estos protocolos.
El login y la contraseña que debe utilizar para realizar estas transferencias es el mismo que el utilizado para realizar las conexiones ssh. Asimismo podrá utilizar cualquiera de los tres servidores de acceso para llevar a cabo la transferencia.
Si utiliza, por ejemplo desde un entorno GNU/Linux, el comando scp para realizar una transferencia de un directorio y todo su contenido desde su equipo al CCCUAM, deberá ejecutar en su equipo:
scp -r directorio-a-transferir login2.ccc.uam.es:/home/login
que le transferirá este directorio y todo su contenido a su directorio home, que siempre será
/home/XXX
donde XXX es su login.
Ejecución de trabajos.
El sistema de colas utilizado en el CCCUAM es Slurm, por lo que le recomendamos que visite la guía de uso de Slurm.
Le recomendamos que en las ejecuciones con memoria distribuida, por ejemplo utilizando MPI, no mezcle máquinas del nodo Cibeles3 con máquinas del nodo Cibeles4 dado que utilizan redes de alta velocidad no compatibles.
Para facilitar esta forma de trabajo los equipos del nodo Cibeles3 han sido configurados en Slurm con una feature llamada cibeles3, mientras que los equipos del nodo Cibeles4 han sido configurados en Slurm con una feature llamada cibeles4.
De esta forma si quiere lanzar trabajos al sistema de colas que se ejecuten en el nodo Cibeles3, añada la opción --constraint=cibeles3 a su línea sbatch, y si quiere que se ejecuten en el nodo Cibeles4 añada la opción --constraint=cibeles4 a su línea sbatch.
Utilización indebida.
La utilización indebida de los recursos del CCCUAM supondrá el bloqueo de la cuenta hasta que se determine la causa y el alcance de dicha utilización, pudiéndose entonces anular la cuenta.
Si el uso indebido de la cuenta llega a constituir una actividad delictiva, se pondrá en conocimi ento de las autoridades pertinentes.