Différences

Ci-dessous, les différences entre deux révisions de la page.

--- fr:install:clafoutis:ubuntu_cluster_install [2025/10/22 07:22] – [Protocole d'installation] foisys
+++ fr:install:clafoutis:ubuntu_cluster_install [2025/10/25 17:27] (Version actuelle) – [Protocole d'installation] foisys
@@ Ligne 39: / Ligne 39: @@
 ===== Protocole d'installation =====
-<accordion> <accordion-item title="Étape 0: Opérations préliminaires" show>
+<accordion>
+<accordion-item title="Étape 0: Opérations préliminaires" show>
   * Si ça n'a pas été encore fait, il faut changer le nom de chaque machine pour que ça corresponde au fichier ''/etc/hosts'':
+<sxh bash>
-<sxh bash> # Sur gru % sudo hostnamectl set-hostname gru # Sinon, sur chaque noeud de calcul: % sudo hostnamectl set-hostname minion0x </sxh>
+# Sur gru
+% sudo hostnamectl set-hostname gru
+# Sinon, sur chaque noeud de calcul:
+% sudo hostnamectl set-hostname minion0x </sxh>
   * Modifiez le fichier ''/etc/hosts''  de tous les ordis qui feront partie de la grappe en inscrivant les infos associant nom de serveur et adresse IP. Par exemple, pour une grappe de 5 ordis où ''gru''  est le contrôleur et les ordis ''minion01''  à ''minion04''  seront les noeuds de calcul, on écrit ceci à la fin du fichier (les valeurs *.a.xy0 à *.a.xy4 sont évidemment spécifiques à votre réseau):
+<sxh bash>
-<sxh bash> # Super Clafoutis 192.168.a.xy0 gru 192.168.a.xy1 minion01 192.168.a.xy2 minion02 192.168.a.xy3 minion03 192.168.a.xy4 minion04 </sxh>
+# Super Clafoutis
+.168.a.xy0 gru
+.168.a.xy1 minion01
+.168.a.xy2 minion02
+.168.a.xy3 minion03
+.168.a.xy4 minion04
+</sxh>
   * Ubuntu a la fâcheuse manie d'effacer tout ce qui se trouve dans le fichier ''/etc/hosts''  pour y mettre ses propres entrées à chaque mise à jour :-( Il faut lui dire de ne pas faire ça! Ouvrer le fichier ''cloud.cfg''  qui se trouve sous ''/etc/cloud'':
+<sxh bash>
-<sxh bash> % sudo nano /etc/cloud/cloud.cfg </sxh>
+% sudo nano /etc/cloud/cloud.cfg
+</sxh>
   * Éditer le fichier en mettant un dièse (''#'') devant cette ligne et sauvegarder le fichier:
-<sxh bash> # Cette ligne… update_etc_hosts: true # …devient: #update_etc_hosts: true </sxh>
+<sxh bash>
+# Cette ligne…
+manage_etc_hosts: true
+# …devient:
+#manage_etc_hosts: true
+</sxh>
   * Pour faciliter l'accès inter-machines, utilisons l'accès SSH sans mot de passe via la création et l'installation d'une clé d'authentification:
+<sxh bash>
-<sxh bash> # Sur gru | Pas besoin d'utiliser de phrase d'accès donc simplement presser enter lorsque demandé % ssh-keygen -t rsa # On copie la clé sur chaque minion % for i in {1..4}; do ssh-copy-id monUsager@minion0$i;done </sxh>
+# Sur gru | Pas besoin d'utiliser de phrase d'accès donc simplement presser enter lorsque demandé
+% ssh-keygen -t rsa
+# On copie la clé sur chaque minion
+% for i in {1..4}; do ssh-copy-id monUsager@minion0$i;done
+</sxh>
   * Pour le bon fonctionnement de ''slurm''  et des scripts exécutés, les identificateurs d'usager (UUID) et de groupe (GUID) **doivent être identiques à ceux du serveur NFS**  pour tous les RPi de la grappe. Si nécessaire, il faudra les modifier dans les fichiers ''/etc/passwd''  et ''/etc/group''  de chaque RPi.
 </accordion-item>
 <accordion-item title="Étape 1: Installation de MUNGE">
   * Il faut installer MUNGE sur tous les ordinateurs de la grappe:
-<sxh bash> % sudo apt install -y munge libmunge-dev </sxh>
+<sxh bash>
+% sudo apt install -y munge libmunge-dev
+</sxh>
   * À la suite de cette opération, l'usager ''munge''  sera créé sur chaque système, le processus ''munged''  sera démarré par cet usager et les permissions nécessaires seront données au répertoire ''/etc/munge''  et ''/etc/default/munge''
@@ Ligne 89: / Ligne 109: @@
   * Il faut maintenant copier la clé d'encryption qui se trouve sur le contrôleur.
-<sxh bash> % for i in `seq 1 4`; do sudo scp /etc/munge/munge.key minion0${i}:/etc/munge/munge.key; done # Sur chaque minion: % sudo chown munge:munge /etc/munge/munge.key % sudo chmod 400 /etc/munge/munge.key % sudo systemctl restart munge # Vous ne devriez pas voir de message d'erreur… % systemctl status munge </sxh>
+<sxh bash>
+% for i in `seq 1 4`; do sudo scp /etc/munge/munge.key minion0${i}:/etc/munge/munge.key; done
+# Sur chaque minion:
+% sudo chown munge:munge /etc/munge/munge.key
+% sudo chmod 400 /etc/munge/munge.key
+% sudo systemctl restart munge
+# Vous ne devriez pas voir de message d'erreur…
+% systemctl status munge
+</sxh>
   * Il reste à vérifier que les RPi se reconnaissent:
-<sxh bash> # Sur chaque minion # A faire pour tous les minions pour s'assurer que ça fonctionne entre tout le monde. % ssh minion01 munge -n | unmunge # Vous devriez voir une sortie au terminal qui ressemble à ça: STATUS: Success (0) ENCODE_HOST: minion01 (192.168.1.xy1) ENCODE_TIME: 2022-07-02 10:36:24 -0400 (1656772584) DECODE_TIME: 2022-07-02 10:36:30 -0400 (1656772590) TTL: 10 CIPHER: aes128 (4) MAC: sha256 (5) ZIP: none (0) UID: bioubuntu (1030) GID: users (100) LENGTH: 0 </sxh>
+<sxh bash>
+# Sur chaque minion
+# A faire pour tous les minions pour s'assurer que ça fonctionne entre tout le monde.
+% ssh minion01 munge -n | unmunge
+# Vous devriez voir une sortie au terminal qui ressemble à ça:
+STATUS: Success (0)
+ENCODE_HOST: minion01 (192.168.1.xy1)
+ENCODE_TIME: 2022-07-02 10:36:24 -0400 (1656772584)
+DECODE_TIME: 2022-07-02 10:36:30 -0400 (1656772590)
+TTL: 10
+CIPHER: aes128 (4)
+MAC: sha256 (5)
+ZIP: none (0)
+UID: bioubuntu (1030)
+GID: users (100)
+LENGTH: 0
+</sxh>
   * Pour s'assurer que le service ''munge''  soit démarré à chaque redémarrage des serveurs:
-<sxh bash> # Sur chaque RPi de la grappe % sudo systemctl enable munge </sxh> </accordion-item>
+<sxh bash>
+# Sur chaque RPi de la grappe
+% sudo systemctl enable munge
+</sxh>
+</accordion-item>
 <accordion-item title="Étape 2: Installation des logiciels MariaDB et SLURMDBD ">
@@ Ligne 113: / Ligne 161: @@
   * Il faut ajouter quelques paramètres dans le fichier de config ''/etc/mysql/mariadb.conf.d/50-server.cnf''; dans la section ''InnoDB'', mettre ou décommenter les lignes suivantes:
-<sxh bash> # Sur un RPi 5 16Gb; la moitié si 8Gb innodb_buffer_pool_size=8192M innodb_log_file_size=256M innodb_lock_wait_timeout=900 </sxh>
+<sxh bash>
+# Sur un RPi 5 16Gb; la moitié si 8Gb
+innodb_buffer_pool_size=8192M
+innodb_log_file_size=256M
+innodb_lock_wait_timeout=900
+</sxh>
   * Les premières étapes se font dans MariaDB ;-) Commençons par créer l'usager ''slurm'', qui effectuera toutes les opérations sur les bases de données de SLURM:
-<sxh bash> # On opère MariaDB comme si c'était MySQL, en tant qu'usager root de MariaDB % mysql -u root -p # On entre dans MariaDB et le prompt mysql> vous le démontre! # Evidemment, le mot de passe est à votre discrétion… Ici, ce n'est que pour # des fins de démonstration; vous êtes averti… mysql> CREATE USER 'slurm'@'localhost' IDENTIFIED BY 'bioubuntu'; Query OK, 0 rows affected (0.16 sec) </sxh>
+<sxh bash>
+# On opère MariaDB comme si c'était MySQL, en tant qu'usager root de MariaDB
+% mysql -u root -p
+# On entre dans MariaDB et le prompt mysql> vous le démontre!
+# Evidemment, le mot de passe est à votre discrétion… Ici, ce n'est que pour
+# des fins de démonstration; vous êtes averti…
+mysql> CREATE USER 'slurm'@'localhost' IDENTIFIED BY 'bioubuntu';
+Query OK, 0 rows affected (0.16 sec) </sxh>
   * Ensuite on crée les bases de données nécessaires:
-<sxh bash> # mysql> create database slurm_acct_db; Query OK, 1 row affected (0.04 sec) </sxh>
+<sxh bash>
+#
+ mysql> create database slurm_acct_db;
+Query OK, 1 row affected (0.04 sec) </sxh>
   * On termine la mise en place sur MySQL en donnant les permissions nécessaires à l'usager ''slurm'':
-<sxh bash> # mysql> grant all privileges on slurm_acct_db.* to 'slurm'@'localhost'; Query OK, 0 rows affected (0.02 sec) </sxh>
+<sxh bash>
+#
+mysql> grant all privileges on slurm_acct_db.* to 'slurm'@'localhost';
+Query OK, 0 rows affected (0.02 sec) </sxh>
   * On installe le package ''slurmdbd''  sur ''gru''  uniquement:
-<sxh> % sudo apt install slurmdbd </sxh>
+<sxh>
+% sudo apt install slurmdbd
+</sxh>
   * Il faut créer un fichier de configuration pour ''slurmdbd'', appelé ''/etc/slurm/slurmdbd.conf''  avec les infos suivantes:
-<sxh bash> AuthType=auth/munge AuthInfo=/var/run/munge/munge.socket.2 DbdHost=localhost DbdAddr=localhost StoragePort=3306 StorageUser=slurm # Evidemment, mettre celui que vous aurez choisi ci-dessus # Ici, c'est pour l'exemple :-) StoragePass=bioubuntu StorageType=accounting_storage/mysql LogFile=/var/log/slurm/slurmdbd.log PidFile=/var/run/slurmdbd/slurmdbd.pid SlurmUser=slurm </sxh>
+<sxh bash>
+AuthType=auth/munge
+AuthInfo=/var/run/munge/munge.socket.2
+DbdHost=localhost
+DbdAddr=localhost
+StoragePort=3306
+StorageUser=slurm
+# Evidemment, mettre celui que vous aurez choisi ci-dessus
+# Ici, c'est pour l'exemple :-)
+StoragePass=bioubuntu
+StorageType=accounting_storage/mysql
+LogFile=/var/log/slurm/slurmdbd.log
+PidFile=/var/run/slurmdbd/slurmdbd.pid
+SlurmUser=slurm </sxh>
   * Assurez-vous d'avoir les bonnes permissions:
-<sxh bash> % sudo touch /etc/slurm/accounting_password % sudo echo 'votre_mot_de_passe_mariadb_pour_usager_slurm' > /etc/slurm/accounting_password % sudo chown slurm:slurm /etc/slurm/accounting_password % sudo chown slurm:slurm /etc/slurm/slurmdbd.conf % sudo chmod 600 /etc/slurm/slurmdbd.conf % sudo systemctl enable –now slurmdbd % sudo systemctl status slurmdbd </sxh>
+<sxh bash>
+% sudo touch /etc/slurm/accounting_password
+% sudo echo 'votre_mot_de_passe_mariadb_pour_usager_slurm' > /etc/slurm/accounting_password
+% sudo chown slurm:slurm /etc/slurm/accounting_password
+% sudo chown slurm:slurm /etc/slurm/slurmdbd.conf
+% sudo chmod 600 /etc/slurm/slurmdbd.conf
+% sudo systemctl enable –now slurmdbd
+% sudo systemctl status slurmdbd </sxh>
   * Vous ne devriez pas voir de message d'erreur :-)
@@ Ligne 147: / Ligne 235: @@
   * On commence par l'installation de ''SLURM''  via ''apt''  sur tous les RPi:
-<sxh bash> % sudo apt install -y slurmctld </sxh>
+<sxh bash>
+% sudo apt install -y slurmctld
+</sxh>
   * À la suite de cette opération, tous les RPi auront les bons répertoires avec les bonnes permissions ;-)
   * Il faut maintenant créer un fichier de configuration ''slurm.conf''  sous ''/etc/slurm''.
-<sxh bash> # sudo nano /etc/slurm/slurm.conf</sxh>
+<sxh bash>
+# sudo nano /etc/slurm/slurm.conf
+</sxh>
   * Il vous suffit de l'éditer pour qu'il ressemble à ceci:
-<sxh bash> # Le nom de la grappe ClusterName=superclafoutis # Le nom du serveur sur lequel fonctionne le processus slurmctld SlurmctldHost=gru AuthType=auth/munge ProctrackType=proctrack/cgroup SchedulerType=sched/backfill SelectType=select/cons_tres # Le nom de l'usager à qui appartient le processus slurmctld SlurmUser=slurm StateSaveLocation=/var/spool/slurmctld SlurmdSpoolDir=/var/spool/slurmd SlurmctldPidFile=/var/run/slurm/slurmctld.pid SlurmdPidFile=/var/run/slurm/slurmd.pid # L'information pour slurmdbd AccountingStorageType=accounting_storage/slurmdbd AccountingStorageHost=gru AccountingStorageUser=slurm # Les infos sur les noeuds qui feront les tâches NodeName=minion01 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN NodeName=minion02 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN NodeName=minion03 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN NodeName=minion04 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN # On regroupe tous les noeuds dans une même partition PartitionName=biobunch Nodes=ALL Default=YES MaxTime=120 State=UP </sxh>
+<sxh bash>
+# Le nom de la grappe
+ClusterName=superclafoutis
+# Le nom du serveur sur lequel fonctionne le processus slurmctld
+SlurmctldHost=gru
+AuthType=auth/munge
+ProctrackType=proctrack/cgroup
+SchedulerType=sched/backfill
+SelectType=select/cons_tres
+# Le nom de l'usager à qui appartient le processus slurmctld
+SlurmUser=slurm
+StateSaveLocation=/var/spool/slurmctld
+SlurmdSpoolDir=/var/spool/slurmd
+SlurmctldPidFile=/var/run/slurm/slurmctld.pid
+SlurmdPidFile=/var/run/slurm/slurmd.pid
+# L'information pour slurmdbd
+AccountingStorageType=accounting_storage/slurmdbd
+AccountingStorageHost=gru
+AccountingStorageUser=slurm
+# Les infos sur les noeuds qui feront les tâches
+NodeName=minion01 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
+NodeName=minion02 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
+NodeName=minion03 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
+NodeName=minion04 Sockets=1 CoresPerSocket=4 ThreadsPerCore=1 State=UNKNOWN
+# On regroupe tous les noeuds dans une même partition
+PartitionName=biobunch
+Nodes=ALL
+Default=YES
+MaxTime=120
+State=UP </sxh>
   * Remarquez que ''gru''  ne fait pas partie de la liste de noeuds de travail de la grappe. Si il y était, il recevrait des tâches ce qui le ralentirait pour le travail interactif ou bien gérant une interface graphique. Cependant, si ''gru''  n'accomplit aucune de ces tâches, vous pourriez l'inclure.
   * Il faut terminer la configuration avec les commandes suivantes:
-<sxh bash> % sudo mkdir -p /var/spool/slurmctld % sudo chown slurm:slurm /var/spool/slurmctld % sudo chmod 755 /var/spool/slurmctld % sudo touch /var/log/slurm/slurmctld.log % sudo touch /var/log/slurm/slurm_jobacct.log % sudo touch /var/log/slurm/slurm_jobcomp.log % sudo chown -R slurm:slurm /var/log/slurm </sxh>
+<sxh bash>
+% sudo mkdir -p /var/spool/slurmctld
+% sudo chown slurm:slurm /var/spool/slurmctld
+% sudo chmod 755 /var/spool/slurmctld
+% sudo touch /var/log/slurm/slurmctld.log
+% sudo touch /var/log/slurm/slurm_jobacct.log
+% sudo touch /var/log/slurm/slurm_jobcomp.log
+% sudo chown -R slurm:slurm /var/log/slurm </sxh>
   * Assurez vous maintenant de copier le fichier ''slurm.conf''  sur tous les RPi faisant partie de la liste des noeuds de travail au même endroit sous ''/etc/slurm''.
   * Sur ''gru'', faites les commandes suivantes:
-<sxh bash> % sudo systemctl enable slurmctld % sudo systemctl restart slurmctld % sudo systemctl status slurmctld </sxh>
+<sxh bash>
+% sudo systemctl enable slurmctld
+% sudo systemctl restart slurmctld
+% sudo systemctl status slurmctld </sxh>
   * Vous ne devriez pas voir de messages d'erreur après la dernière commande.
@@ Ligne 174: / Ligne 305: @@
   * N'oubliez pas de copier le fichier ''/etc/slurm/slurm.conf''  sur vos noeuds de travail!! Assurez-vous d'avoir les bonnes permissions:
-<sxh> # Sur chaque RPi de calcul % sudo clown root:root /etc/slurm/slurm.conf </sxh>
+<sxh>
+# Sur chaque RPi de calcul
+% sudo chown root:root /etc/slurm/slurm.conf
+</sxh>
   * Sur chaque noeud de travail, on installe ''slurmd''  et on s'assure que ça fonctionne:
-<sxh bash> % sudo apt install -y slurmd libpmix-dev % sudo systemctl enable slurmd % sudo systemctl restart slurmd % systemctl status slurmd </sxh>
+<sxh bash>
+% sudo apt install -y slurmd libpmix-dev
+% sudo systemctl enable slurmd
+% sudo systemctl restart slurmd
+% systemctl status slurmd </sxh>
   * Encore une fois, vous ne devriez pas voir d'erreur ;-) Sur chacun des noeuds de calcul, il faut ajuster les paramètres pour le stockage des journaux:
-<sxh> % sudo chown -R slurm:slurm /var/spool/slurmd % sudo chmod 755 /var/spool/slurmd % sudo touch /var/log/slurm/slurmd.log % sudo chown -R slurm:slurm /var/log/slurm/slurmd.log </sxh>
+<sxh>
+% sudo chown -R slurm:slurm /var/spool/slurmd
+% sudo chmod 755 /var/spool/slurmd
+% sudo touch /var/log/slurm/slurmd.log
+% sudo chown -R slurm:slurm /var/log/slurm/slurmd.log </sxh>
   * Vérifier que le serveur ''gru''  voit les machines:
-<sxh bash> % sinfo PARTITION AVAIL TIMELIMIT NODES STATE NODELIST biobunch* up 2:00:00 4 idle minion[01-04] </sxh>
+<sxh bash>
+% sinfo
+PARTITION AVAIL TIMELIMIT NODES STATE NODELIST
+biobunch* up 2:00:00 4 idle minion[01-04] </sxh>
   * Si l'état (''STATE'') d'une machine est à ''drain''  ou à ''down'', exécuter la commande suivante sur le serveur ''gru''  et refaite la commande ''sinfo''  pour vérifier le retour à la normale:
-<sxh bash> # Sur minion01 par ex.: % sudo scontrol update nodename=minion01 state=idle </sxh>
+<sxh bash>
+# Pour minion01 par ex.:
+% sudo scontrol update nodename=minion01 state=idle </sxh>
   * Note: si à tout moment, un noeud "tombe" et doit être redémarré, il faut refaire cette commande en spécifiant le noeud en défaut.
@@ Ligne 196: / Ligne 343: @@
   * Si tout fonctionne, le commande suivante devrait vous retourner les noms de tous les noeuds de travail:
-<sxh bash> % srun –nodelist=minion[01-04] hostname minion01 minion02 minion03 minion04 </sxh> </accordion-item> </accordion>
+<sxh bash>
+% srun –nodelist=minion[01-04] hostname
+minion01
+minion02
+minion03
+minion04
+</sxh> </accordion-item> </accordion>