Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente |
| fr:impilopedia:genex:rnaseq:airway_project:0.tree_structure [2026/02/11 15:15] – [Introduction] foisys | fr:impilopedia:genex:rnaseq:airway_project:0.tree_structure [2026/02/12 10:26] (Version actuelle) – [Introduction] foisys |
|---|
| D'un point de vue matériel, il faut avoir évidemment avoir l'espace nécessaire pour accueillir l'un comme l'autre mais également (et évidemment), il faut que le stockage choisi soit visible en lecture ou en lecture/écriture à tous les ordis qui seront utilisé pour faire le travail. Dans une grappe de calcul, on parle d'un système de fichiers partagés sur le réseau comme NFS (plutôt simple à faire, comme sur SuperClafoutis) ou Lustre (plutôt compliqué à faire, comme sur Rorqual). Ce détail est important car lorsque des tâches distribuées sont exécutées, elles devront lire et écrire de manière concurrente dans les mêmes répertoires. | D'un point de vue matériel, il faut avoir évidemment avoir l'espace nécessaire pour accueillir l'un comme l'autre mais également (et évidemment), il faut que le stockage choisi soit visible en lecture ou en lecture/écriture à tous les ordis qui seront utilisé pour faire le travail. Dans une grappe de calcul, on parle d'un système de fichiers partagés sur le réseau comme NFS (plutôt simple à faire, comme sur SuperClafoutis) ou Lustre (plutôt compliqué à faire, comme sur Rorqual). Ce détail est important car lorsque des tâches distribuées sont exécutées, elles devront lire et écrire de manière concurrente dans les mêmes répertoires. |
| |
| Ok, maintenant, du point de vue logique... | Ok, maintenant, du point de vue logique... Comme mentionné ci-dessus, un projet de transcriptomique utilisant la techno RNASeq part d'un ensemble de fichiers qui doivent être analysés par des outils qui dépendent d'index qui restent relativement statiques. De plus, ces index sont non seulement exigeants en espace mais aussi exigeant dans leur création; on a un avantage à les créés le moins souvent possible en les partageant pour le groupe et non pour les garder pour soi. Donc, comment planifier notre stockage? Une proposition: |
| | |
| | * Les index sont mis à l'extérieur du projet lui-même car ils peuvent être utilisés par plusieurs usagers pour leurs propres projets. Dans la grappe SuperClafoutis, ce répertoire est ''/shares/data/indexes'' et se trouve sur un serveur NFS. |
| | * Chaque outil demandant ses propres index, il faudra alors créer une architecture pour chaque outil. |
| | * Comme un projet est un projet parmi possiblement plusieurs autres, on créera un répertoire dans notre espace personnel que nous appellerons ''analysis''. Évidemment, c'est votre choix mais chercher à rester consistent pour le reste :-) |
| | |
| | La suite: [[index_creation_main|création des index pour les outils d'alignement utilisés pour ce tutoriel.]] |