HPC, les premiers pas…

Cette page vous aidera à comprendre les “bases” en HPC pour bien débuter. Vous trouverez ici des réponses aux questions récurrentes comme “qu’est-ce que c’est l’HPC”, “comment se connecter à Liger”, et “quels types de jobs que vous pouvez faire avec le système.”

Qu’est-ce que le calcul haute performance (HPC) ?

Le calcul haute performance (ou calcul intensif ou HPC pour High Performance Computing en anglais), c’est utiliser des logiciels d’acquisition, de modélisation ou d’analyse sur des superordinateurs de plusieurs milliers de processeurs, capables d’exécuter plusieurs milliards d’opérations à la seconde pour modéliser des phénomènes complexes, traiter ou qualifier des gros volumes de données. C’est aussi un ensemble de serveurs conçus pour exécuter des processus de longue durée pour calculer massivement et intensivement des programmes. Ces superordinateurs peuvent être vus comme un grand nombre de machines (serveurs de calcul) reliées entres elles par des réseaux à très haut débit et capables de pouvoir traiter plus rapidement :

  • une simulation donnée en partageant sur un ensemble de serveurs le travail à réaliser (en parallélisant le calcul) ;
  • un grand nombre de simulations exécutées sur l’ensemble des serveurs de calcul en faisant varier par exemple des paramètres d’entrées (cas d’une étude de sensibilité ou d’incertitudes) comme la température ou la pression d’un fluide, la déformation d’un solide, la volatilité d’un produit dérivé financier…

Par exemple, un calcul qui s’exécute en 24 heures sur un PC classique ne prendrait que quelques minutes sur un superordinateur ; ou il serait possible de lancer en 24 heures une étude de sensibilité sur plus de 5 000 paramètres en traitant un cas 12 500 fois plus grand.

D’autres liens sur l’HPC:

Les spécifications de Liger.

A quoi sert l’HPC ?

L’HPC sera à faire des traitements complexes et massivement intensifs de longue durée qui utilisent beaucoup de ressources de calcul et de bande passante réseau. Les travaux de calcul sont essentiellement non interactifs. Ces derniers peuvent être exécutés en parallèle avec les frameworks connus comme OpenMP ou MPI.

Comment se connecter ?

Pour se faire vous devez d’abord demander une ouverture de compte sur le calculateur pour obtenir votre identifiant LUA (Liger User Account) et ensuite vous devez vous familiariser avec l’utilisation d’un client SSH (pour Windows avec Putty)

Pour se connecter sur Liger par SSH avec votre compte LUA, faites:

ssh -X [login]@liger.ec-nantes.fr

Vous allez être ensuite redirigés sur un des noeuds de login de Liger qui va vous permettre de:

Comment visualiser mes résultats ?

Grâce à l’interface web HPC-as-a-Service de BULL Extreme factory installée sur Liger sur des noeuds de visualisation (14 au total) avec chacun une carte NVIDIA k80 à 2 GPUs, vous pouvez visualiser par une visualisation déportée (VNC ou XRV) depuis un portail web accessible à partir d’un simple browser internet par https, toujours avec votre identifiant LUA, avec l’url suivante:

https://liger.ec-nantes.fr

Technologies utilisées

L’outil Slurm Workload Manager utilisé sur Liger gère les ressources HPC des utilisateurs qui envoyent des jobs de calcul.
Lire la suite…

Limites et Queues

Il y a aujourd’hui sur Liger 6 partitions (queues) disponibles pour accepter à tout type de batch selon leurs besoins en ressources (mémoire, cpu ou encore réseau). La gestion de priorité des travaux est essentiellement basée sur la notion de fairshare et QoS de SLURM.

Partition
name max nodes PU max walltime default walltime min nodes PU max jobs PU
compute 100 QoS 1h 1 QoS
visu 2 72h 1h 1 QoS
quick 50 2h 30min 1 QoS
long 100 6days 1h 1 QoS
large nolimit QoS 1h 100 QoS
gpus 4 24h 1h 1 QoS

Il y a en plus 3 QoS applicables à chaque partition comme limite de 1er niveau par group et utilisateur:

  • normal: par défaut, limité par utilisateur 32 jobs et 100 noeuds
  • highprio: limité à 2h de walltime et une priorité plus haute
  • lowprio: limité à 6h de walltime, 8 jobs par utilisateur et une priorité plus basse que les 2 autres

Applications de visualization

Applications sur XCS
Nom Description
xTerm Gives a terminal
ParaView for OpenFOAM Paraview (Scientific Visualization Tool)
Visit Visit
Allinea DDT Debugger
GMSH A three-dimensional finite element mesh generator
Matlab Matlab avec les licences du GeM
Abaqus Abaqus software
Comsol GeM Comsol avec les licences du GeM
FineMarine IRTJV FineMarine pour IRTJV
StarCCM+ StarCCM+
Matlab GPU Matlab GPU
ParaFoam Paraview for OpenFOAM
ParaView Paraview (Scientific Visualization Tool)
Matlab LS2N Matlab avec les licences du GeM
Gnuplot A three-dimensional finite element mesh generator
Nsight Nsight

Modules

  • Paraview (4.3.1)
  • Visit (2.7.3, 2.9.2, 2.10.2)
  • Intel Suite (2015.3.187)
  • DDT Debugger (6.0.6)
  • GMSH (2.12.0)
  • Modules availables: gcc (4.9.3), hdf5 (1.8.15), petsc (3.1), python (2.7.10, 3.4.4), intelmpi (5.0.3), lapack (3.5.0), bupc (2.20.2)

De nouvelles applications/modules sont en-cours de déploiement, n’hésitez pas à nous contacter pour plus d’information.

Documentations

High Performance Computing at Centrale Nantes