Changes between Version 2 and Version 3 of SoftWare/SignalCheckpoint/OAR

Timestamp:

Oct 15, 2012, 11:09:55 AM (13 years ago)

Author:

g7moreau

Comment:

Asynchrone case

SoftWare/SignalCheckpoint/OAR

@@ -29 +29 @@
 A lui de les gérer.
 
+On remarque donc sur cet exemple que le script de soumission
+n'a donc pas à gérer les signaux.
+L'optimisation via {{{exec}}} permet en plus de récupérer un peu de mémoire vive pour le code !
+
 {{{
 #!/bin/bash
@@ -49 +53 @@
 exec ./mycode
 }}}
+
+
+== Cas asynchrone - avec post-traitement ==
+
+Il y a de nombreux cas ou le script de soumission doit reprendre la main après l'exécution du code de calcul.
+Cependant, il faut savoir que le shell ne gère les signaux qu'entre deux instructions,
+ou lors d'instruction bloquante interne au shell (par exemple {{{wait}}}).
+
+L'exemple suivant par exemple ne fonctionne pas
+car le script exécutera le code dans {{{trap}}} qu'une fois le code {{{mycode}}} finit,
+donc en pratique jamais car le code dure plus de 24h.
+Au final, au bout de 24, {{{OAR}}} fera un {{{kill}}} violent du code...
+{{{
+#!/bin/bash
+
+#OAR -n MYCODE
+#OAR -t idempotent
+#OAR --checkpoint 600
+#OAR -l /core=1,walltime=24:00:00
+
+# Signal child retransmit
+trap 'kill -USR2 $(jobs -p)' USR2
+
+
+# Load environment
+. /etc/profile
+
+module load intel/2011.7
+
+
+# Pretreatment possible here
+
+
+# Start / give the hand to the code
+./mycode
+
+
+# Post-treatment possible here
+
+}}}
+
+Une solution est de lancer le code en asynchrone
+afin que le script de soumission reprenne le plus vite possible la main.
+Cependant, il doit quand même attendre la fin du code avant de faire l'étape de post-traitement.
+Voici une solution fonctionnelle à ces impératifs
+
+{{{
+#!/bin/bash
+
+#OAR -n MYCODE
+#OAR -t idempotent
+#OAR --checkpoint 600
+#OAR -l /core=1,walltime=24:00:00
+
+# Signal child retransmit
+trap 'kill -USR2 $(jobs -p)' USR2
+
+
+# Load environment
+. /etc/profile
+
+module load intel/2011.7
+
+
+# Pretreatment possible here
+
+
+# Launch the code and take back the hand (asynchrone)
+./mycode &
+
+# Wait for the end of the code
+while [ $(jobs -p | wc -l) -gt 0 ]
+do
+   wait
+done
+
+# Post-treatment possible here
+
+}}}
+
+La boucle while est très importante
+car le code peux finir suite à la réception d'un signal
+mais aussi naturellement lorsqu'il a enfin finit son traitement global.
+Les deux cas doivent être géré.
+Or la commande interne '''{{{wait}}}''' attends la '''fin du calcul'''
+ou la '''réception d'un signal'''.
+
+Une fois le signal reçu, la commande {{{trap}}} retransmet le signal au code,
+et le script de soumission repars dans la boucle {{{while}}}
+afin d'attendre la fin réelle du code.
+Sans cette boucle,
+il passerait de suite sur la phase de post-traitement
+et se terminerait en laissant {{{OAR}}} tuer sauvagement le code dans sa phase terminale...