Serveur Clafoutis: Créer une grappe de calcul Super-Clafoutis

• Il faut installer MUNGE sur tous les ordinateurs de la grappe:

 
% sudo apt install -y munge libmunge-dev

• À la suite de cette opération, l'usager munge sera créé sur chaque système, le processus munged sera démarré par cet usager et les permissions nécessaires seront données au répertoire /etc/munge et /etc/default/munge

• Dans le fichier /etc/default/munge de chaque ordi de la grappe, insérer la ligne suivante dans le fichier /etc/default/munge (par ex., via nano) ou retirer le dièse (#) pour décommander la ligne si elle est présente:

 
OPTIONS="–syslog –key-file /etc/munge/munge.key" 

• Créer une clé d'encryption sur le contrôleur gru qui sera utilisée pour les communications entre les noeuds. L'installation de munge via apt en crée une mais je suis un tantinet parano…:

 % sudo -u munge mungekey --force --verbose 

• Par défaut, mungekey crée une clé de 1024 bits, bien assez pour un usage de labo, sous /etc/munge De plus, il aura les bonnes permissions.

• Démarrer/re-démarrer le service munge et vérifier qu'il fonctionne (les lignes affichées ne devraient pas contenir le mot ERROR ou FAILED…):

 
% sudo -u munge systemctl start munge && systemctl status munge 

• Il faut maintenant copier la clé d'encryption qui se trouve sur le contrôleur.

 
% for i in `seq 1 4`; do sudo scp /etc/munge/munge.key minion0${i}:/etc/munge/munge.key; done 
# Sur chaque minion:
% sudo chown munge:munge /etc/munge/munge.key
% sudo chmod 400 /etc/munge/munge.key
% sudo systemctl restart munge
# Vous ne devriez pas voir de message d'erreur...
% systemctl status munge

• Il reste à vérifier que les RPi se reconnaissent:

 
# Sur chaque minion 
# A faire pour tous les minions pour s'assurer que ça fonctionne entre tout le monde. 
% ssh minion01 munge -n | unmunge 
# Vous devriez voir une sortie au terminal qui ressemble à ça: 
STATUS: Success (0) 
ENCODE_HOST: minion01 (192.168.1.xy1) 
ENCODE_TIME: 2022-07-02 10:36:24 -0400 (1656772584) 
DECODE_TIME: 2022-07-02 10:36:30 -0400 (1656772590) 
TTL: 10 
CIPHER: aes128 (4) 
MAC: sha256 (5) 
ZIP: none (0) 
UID: bioubuntu (1030) 
GID: users (100) 
LENGTH: 0 

• Pour s'assurer que le service munge soit démarré à chaque redémarrage des serveurs:

 
# Sur chaque RPi de la grappe
% sudo systemctl enable munge 

• Une grappe de calcul est la plupart du temps une ressource partagée par un ensemble. Pour assurer le suivi des opérations et de l'usage fait d'une grappe, il est nécessaire d'avoir des fonctions de journalisation spécifiques aux programmes de la suite SLURM: c'est le programme sacct. Dans une grappe Super-Clafoutis, surtout destinée à une recherche individuelle, sacct est aussi très utile car c'est avec lui qu'il est possible de comprendre pourquoi des tâches ne pourraient avoir été exécutées ou complétées.

• SLURM utilise MySQL (ou sa version libre MariaDB) comme application externe pour stocker et gérer les données sur les tâches exécutées. Une installation Impilo installe le serveur et le client MariaDB mais n'en fait pas l'initialisation… Un tutoriel pour ce faire se trouve ici; essentiellement, il faut suivre les instructions présentées dans l'étape 2 du processus d'installation.

• En exécutant le script mysql_secure_installation, choisissez les paramètres les plus robustes tel que:
  1. Donner un mot de passe robuste pour l'usager root (faire attention: root de MySQL n'est pas le même que root du système);
  2. Effacer l'usager anonymous;
  3. Ne pas permettre de connexion externe pour root;
  4. Effacer la base de données de démonstration appelée test.

• Il faut ajouter quelques paramètres dans le fichier de config /etc/mysql/mariadb.conf.d/50-server.cnf; dans la section InnoDB, mettre ou décommenter les lignes suivantes:

# Sur un RPi 5 16Gb; la moitié si 8Gb
innodb_buffer_pool_size=8192M
innodb_log_file_size=256M
innodb_lock_wait_timeout=900

• Les premières étapes se font dans MariaDB Commençons par créer l'usager slurm, qui effectuera toutes les opérations sur les bases de données de SLURM:

 
# On opère MariaDB comme si c'était MySQL, en tant qu'usager root de MariaDB 
% mysql -u root -p 
# On entre dans MariaDB et le prompt mysql> vous le démontre! 
# Evidemment, le mot de passe est à votre discrétion… Ici, ce n'est que pour 
# des fins de démonstration; vous êtes averti… 
mysql> CREATE USER 'slurm'@'localhost' IDENTIFIED BY 'bioubuntu'; 
Query OK, 0 rows affected (0.16 sec) 

• Ensuite on crée les bases de données nécessaires:

 
# 
mysql> create database slurm_acct_db; 
Query OK, 1 row affected (0.04 sec)
# 
mysql> create database slurm_job_db; 
Query OK, 1 row affected (0.04 sec) 

• On termine la mise en place sur MySQL en donnant les permissions nécessaires à l'usager slurm:

 
#
mysql> grant all privileges on slurm_acct_db.* to 'slurm'@'localhost'; 
Query OK, 0 rows affected (0.02 sec) 
#
mysql> grant all privileges on slurm_job_db.* to 'slurm'@'localhost'; 
Query OK, 0 rows affected (0.03 sec) 

• On installe le package slurmdbd sur gru uniquement:

 
% sudo apt install slurmdbd 

• Il faut créer un fichier de configuration pour slurmdbd, appelé /etc/slurm/slurmdbd.conf avec les infos suivantes:

 
AuthType=auth/munge 
AuthInfo=/var/run/munge/munge.socket.2 
DbdHost=localhost 
DbdAddr=localhost 
StoragePort=3306 
StorageUser=slurm 
# Evidemment, mettre celui que vous aurez choisi ci-dessus 
# Ici, c'est pour l'exemple :-)
StoragePass=bioubuntu 
StorageType=accounting_storage/mysql 
LogFile=/var/log/slurm/slurmdbd.log 
PidFile=/var/run/slurmdbd/slurmdbd.pid 
SlurmUser=slurm 

• Assurez-vous d'avoir les bonnes permissions:

 
% sudo touch /etc/slurm/accounting_password
% sudo echo 'votre_mot_de_passe_mariadb_pour_usager_slurm' > /etc/slurm/accounting_password
% sudo chown slurm:slurm /etc/slurm/accounting_password
% sudo chown slurm:slurm /etc/slurm/slurmdbd.conf
% sudo chmod 600 /etc/slurm/slurmdbd.conf 
% sudo systemctl enable --now slurmdbd
% sudo systemctl status slurmdbd

• Vous ne devriez pas voir de message d'erreur

• On commence par l'installation de SLURM via apt sur tous les RPi:

 % sudo apt install -y slurmctld 

• À la suite de cette opération, tous les RPi auront les bons répertoires avec les bonnes permissions
• Il faut maintenant créer un fichier de configuration slurm.conf sous /etc/slurm.

 
# 
sudo nano /etc/slurm/slurm.conf

• Il vous suffit de l'éditer pour qu'il ressemble à ceci:

 
# Le nom de la grappe
ClusterName=superclafoutis
# Le nom du serveur sur lequel fonctionne le processus slurmctld
SlurmctldHost=gru
AuthType=auth/munge
ProctrackType=proctrack/cgroup
SchedulerType=sched/backfill
SelectType=select/cons_tres
# Le nom de l'usager à qui appartient le processus slurmctld
SlurmUser=slurm
StateSaveLocation=/var/spool/slurmctld
SlurmdSpoolDir=/var/spool/slurmd
SlurmctldPidFile=/var/run/slurm/slurmctld.pid
SlurmdPidFile=/var/run/slurm/slurmd.pid
# L'information pour slurmdbd
AccountingStorageType=accounting_storage/slurmdbd
AccountingStorageHost=gru
AccountingStorageUser=slurm
# Les infos sur les noeuds qui feront les tâches
NodeName=minion01 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=minion02 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=minion03 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
NodeName=minion04 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
# On regroupe tous les noeuds dans une même partition
PartitionName=biobunch Nodes=ALL Default=YES MaxTime=120 State=UP

• Remarquez que gru ne fait pas partie de la liste de noeuds de travail de la grappe. Si il y était, il recevrait des tâches ce qui le ralentirait pour le travail interactif ou bien gérant une interface graphique. Cependant, si gru n'accomplit aucune de ces tâches, vous pourriez l'inclure.
• Il faut terminer la configuration avec les commandes suivantes:

% sudo mkdir -p /var/spool/slurmctld
% sudo chown slurm:slurm /var/spool/slurmctld
% sudo chmod 755 /var/spool/slurmctld
% sudo touch /var/log/slurm/slurmctld.log
% sudo touch /var/log/slurm/slurm_jobacct.log 
% sudo touch /var/log/slurm/slurm_jobcomp.log
% sudo chown -R slurm:slurm /var/log/slurm

• Assurez vous maintenant de copier le fichier slurm.conf sur tous les RPi faisant partie de la liste des noeuds de travail au même endroit sous /etc/slurm.
• Sur gru, faites les commandes suivantes:

 
% sudo systemctl enable slurmctld 
% sudo systemctl restart slurmctld 
% sudo systemctl status slurmctld

• Vous ne devriez pas voir de messages d'erreur après la dernière commande.

• N'oubliez pas de copier le fichier /etc/slurm/slurm.conf sur vos noeuds de travail!! Assurez-vous d'avoir les bonnes permissions:

# Sur chaque RPi de calcul
% sudo clown root:root /etc/slurm/slurm.conf

• Sur chaque noeud de travail, on installe slurmd et on s'assure que ça fonctionne:

 
% sudo apt install -y slurmd libpmix-dev
% sudo systemctl enable slurmd 
% sudo systemctl restart slurmd
% systemctl status slurmd  

• Encore une fois, vous ne devriez pas voir d'erreur Sur chacun des noeuds de calcul, il faut ajuster les paramètres pour le stockage des journaux:

% sudo chown -R slurm:slurm /var/spool/slurmd
% sudo chmod 755 /var/spool/slurmd
% sudo touch /var/log/slurm/slurmd.log
% sudo chown -R slurm:slurm /var/log/slurm/slurmd.log

• Vérifier que le serveur gru voit les machines:

 
% sinfo 
PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
biobunch*    up    2:00:00      4   idle minion[01-04]

• Si l'état (STATE) d'une machine est à drain ou à down, exécuter la commande suivante sur le serveur gru et refaite la commande sinfo pour vérifier le retour à la normale:

 
% Sur minion01 par ex.: 
% sudo scontrol update nodename=minion01 state=idle 

• Note: si à tout moment, un noeud “tombe” et doit être redémarré, il faut refaire cette commande en spécifiant le noeud en défaut.

• Si tout fonctionne, le commande suivante devrait vous retourner les noms de tous les noeuds de travail:

 
% srun --nodelist=minion[01-04] hostname 
minion01 
minion02 
minion03 
minion04