Il est rare de devoir utiliser des traitements en t\u00e2che de fond dans un script shell. \u00c0 moins, bien entendu, qu’il s’agisse d’un script de d\u00e9marrage servant justement \u00e0 lancer plusieurs traitements en parall\u00e8le.<\/p>\n
Il peut n\u00e9anmoins \u00eatre parfois n\u00e9cessaire de g\u00e9rer des lancements en arri\u00e8re-plan, comme cela m’est arriv\u00e9 une fois.<\/p>\n
\n\n<\/p>\n
Un syst\u00e8me a\u00e9roportuaire de traitement de plots radar m’envoyait des informations en continu sur un port r\u00e9seau UDP\/IP. Je devais les enregistrer dans des fichiers horodat\u00e9s. Chaque fichier contenait une heure d’enregistrement environ. Je devais \u00e9galement, \u00e0 l’issue de chaque enregistrement, effectuer une analyse des donn\u00e9es qui durait environ cinq minutes.<\/p>\n
Deux logiciels, \u00e9crits en C, \u00e9taient disponibles.<\/p>\n
Le premier, appelons-le Le second logiciel, que nous appellerons Ces deux logiciels fonctionnaient tr\u00e8s bien, et je devais les encha\u00eener dans un script shell afin qu’ils tournent 24H\/24H.<\/p>\n Tout d’abord il fallait g\u00e9n\u00e9rer le nom du fichier en incluant un horodatage lisible. Pour cela le plus simple est souvent de s’appuyer sur la commande La variable Le second probl\u00e8me \u00e9tait plus g\u00eanant. Si l’on pouvait tol\u00e9rer la perte d’une seconde de messages entre deux enregistrements, il n’\u00e9tait pas envisageable d’avoir un \u00ab\u00a0trou\u00a0\u00bb de cinq minutes (dur\u00e9e du programme Il fallait donc parall\u00e9liser le traitement statistique et l’enregistrement des donn\u00e9es.<\/p>\n On peut tout d’abord imaginer un sch\u00e9ma o\u00f9 le traitement statistique fonctionne en arri\u00e8re-plan, la boucle principale \u00e9tant cadenc\u00e9e par l’enregistreur. En voici un exemple.<\/p>\n On remarquera, \u00e0 la fin de la ligne de la commande Cette m\u00e9thode fonctionnait, mais elle pr\u00e9sentait n\u00e9anmoins un petit inconv\u00e9nient. A l’issue du traitement statistique, le fichier de r\u00e9sultats devait \u00eatre renomm\u00e9 en utilisant un num\u00e9ro d’ordre s\u00e9quentiel et copi\u00e9 dans un r\u00e9pertoire ind\u00e9pendant ; ceci seulement dans le cas o\u00f9 le fichier n’\u00e9tait pas vide. Il devenait compliqu\u00e9 de r\u00e9aliser ces op\u00e9rations dans une ex\u00e9cution en arri\u00e8re-plan.<\/p>\n L’id\u00e9e fut donc d’inverser le principe pr\u00e9c\u00e9dent, en effectuant l’enregistrement en arri\u00e8re-plan et le traitement statistique dans la boucle principale.<\/p>\n Voici un premier aper\u00e7u de la nouvelle solution.<\/p>\n Si cette id\u00e9e semble s\u00e9duisante au premier abord, elle ne fonctionne pas du tout en r\u00e9alit\u00e9. Lorsqu’on lance l’enregistreur en arri\u00e8re-plan, le traitement statistique s’ex\u00e9cute en quelques minutes et relance un nouvel enregistreur alors que le pr\u00e9c\u00e9dent n’est pas termin\u00e9, et ainsi de suite.<\/p>\n Pour que cette m\u00e9thode soit utilisable, il faudrait s’assurer avant de d\u00e9marrer un enregistrement que le pr\u00e9c\u00e9dent soit fini. Pour cela, nous allons noter apr\u00e8s le lancement en arri\u00e8re-plan de l’enregistreur son num\u00e9ro de processus (PID<\/em>), et avant le lancement nous attendrons que le processus enregistreur pr\u00e9c\u00e9dent soit termin\u00e9.<\/p>\n Le shell nous fournit dans la variable Pour attendre la fin d’un processus lanc\u00e9 par le shell, celui-ci nous propose la commande Nous devons bien s\u00fbr prendre en consid\u00e9ration le d\u00e9marrage de notre script, o\u00f9 aucun enregistreur ne tourne encore. Pour cela, il suffit d’initialiser la variable Notre code devient :<\/p>\n Pourtant, en observant le script, on peut s’apercevoir d’un gros d\u00e9faut : le traitement statistique d\u00e9marre sur le m\u00eame fichier que l’enregistreur en cours ! Il faut bien s\u00fbr qu’il travaille sur l’enregistrement pr\u00e9c\u00e9dent. Modifions encore notre script.<\/p>\n Cette fois le script est correct et fonctionne.<\/p>\n Nous voyons que l’encadrement par un script shell de programmes existants n’est pas toujours \u00e9vident surtout lorsqu’il existe une d\u00e9pendance temporelle entre eux (synchronisation). Ici, certains points du script ont \u00e9t\u00e9 ignor\u00e9s (gestion des erreurs d’ex\u00e9cution comme la saturation du disque par exemple), mais il nous a quand m\u00eame fallu quatre versions pour obtenir enfin un programme correct. On retiendra \u00e9gtalement que le soin apport\u00e9 \u00e0 la lisibilit\u00e9 et \u00e0 la clart\u00e9 du script est un gage de facilit\u00e9 de maintenance ult\u00e9rieure, surtout lorsque l’algorithme global sort quelque peu de l’ordinaire (parall\u00e9lisme par exemple).<\/p>","protected":false},"excerpt":{"rendered":" Il est rare de devoir utiliser des traitements en tâche de fond dans un script shell. À moins, bien entendu, qu’il s’agisse d’un script de démarrage servant justement à lancer plusieurs traitements en parallèle. Il peut néanmoins être parfois nécessaire de gérer des lancements en arrière-plan, comme cela m’est arrivé une fois.<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8,13],"tags":[],"class_list":["post-1967","post","type-post","status-publish","format-standard","hentry","category-linux-2","category-shell"],"_links":{"self":[{"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/posts\/1967","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/comments?post=1967"}],"version-history":[{"count":0,"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/posts\/1967\/revisions"}],"wp:attachment":[{"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/media?parent=1967"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/categories?post=1967"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blaess.fr\/christophe\/wp-json\/wp\/v2\/tags?post=1967"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}enregistreur<\/code> prenait plusieurs arguments sur sa ligne de commande<\/p>\n\n
3600<\/code>.<\/li>\nstatistiques<\/code> \u00e9tait un outil \u00e9tudiant les donn\u00e9es re\u00e7ues (qu’il lisait depuis un fichier), et sortant des \u00e9l\u00e9ments d’information sur sa sortie standard. Ce programme prenait uniquement en argument le nom du fichier d’enregistrement \u00e0 traiter.<\/p>\nProbl\u00e8me<\/h1>\n
date<\/code> dont les options permettent facilement de construire une cha\u00eene de caract\u00e8res en ins\u00e9rant des \u00e9l\u00e9ments de date et d’heure.<\/p>\nNOM_FICHIER=$(date +\"enregistrement-LFPG-%Y-%m-%d-%H-%M.dat\")<\/pre>\n
NOM_FICHIER<\/code> contiendra une cha\u00eene de caract\u00e8res comme enregistrement-LFPG-2012-04-21-09-00.dat<\/code>.<\/p>\nstatistiques<\/code>). Je ne pouvais donc pas utiliser le sh\u00e9ma \u00e9vident suivant.<\/p>\n#! \/bin\/sh\nADRESSE_IP=224.10.10.10\nPORT_UDP=2012\nwhile true\ndo\n # Generer le nom du fichier d'enregistrement\n FICHIER=$(date +\"enregistrement-LFPG-%Y-%m-%d-%H-%M.dat\")\n\n # Declencher l'enregistrement\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER}\"\n\n # Traiter l'heure ecoulee\n statistiques \"${FICHIER}\" > fichier-resultat.txt\ndone<\/pre>\nPremi\u00e8re id\u00e9e<\/h1>\n
#! \/bin\/sh\n[...]\nwhile true\ndo\n # Generer le nom du fichier d'enregistrement\n FICHIER=$(date +\"enregistrement-LFPG-%Y-%m-%d-%H-%M.dat\")\n\n # Declencher l'enregistrement\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER}\"\n\n # Traiter l'heure ecoulee\n statistiques \"${FICHIER}\" > fichier-resultat.txt &<\/strong>\ndone<\/pre>\nstatistiques<\/code>, le &<\/code> qui provoque le passage \u00e0 l’arri\u00e8re-plan. Ceci permet au shell de reprendre imm\u00e9diatement son ex\u00e9cution en d\u00e9but de boucle et donc de d\u00e9marrer un nouvel enregistrement.<\/p>\nSeconde id\u00e9e<\/h1>\n
#! \/bin\/sh\n[...]\nNUMERO_RESULTAT=1\n\nwhile true\ndo\n # Generer le nom du fichier d'enregistrement\n FICHIER=$(date +\"enregistrement-LFPG-%Y-%m-%d-%H-%M.dat\")\n\n # Declencher l'enregistrement\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER}\" &<\/strong>\n\n # Traiter l'heure ecoulee\n statistiques \"${FICHIER}\" > fichier-resultat.txt\n\n # si le fichier n'est pas vide\n if [ -s fichier-resultat.txt ]\n\n # Le renommer et le d\u00e9placer\n mv fichier-resultat.txt \"resultat-${NUMERO_RESULTAT}.txt\"\n mv \"resultat-${NUMERO_RESULTAT}.txt\" ~\/resultats-statistiques\/\n\n # Incr\u00e9menter le num\u00e9ro d'ordre\n NUMERO_RESULTAT=$(( NUMERO_RESULTAT + 1 ))\n fi\ndone<\/pre>\n$!<\/code><\/strong> le PID du dernier processus lanc\u00e9 en arri\u00e8re-plan. Ajoutons donc la ligne suivante dans notre code.<\/p>\n[...]\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER}\" &\n PID_ENREGISTREUR=$!<\/strong>\n # Traiter l'heure ecoulee\n [...]<\/pre>\nwait<\/code><\/strong> que l’on peut faire suivre du num\u00e9ro de PID. Ajoutons cette attente avant le lancement.<\/p>\n[...]\n wait ${PID_ENREGISTREUR}<\/strong>\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER}\" &\n [...]<\/pre>\nPID_ENREGISTREUR<\/code> \u00e0 un num\u00e9ro impossible de processus (les PID sont toujours sup\u00e9rieurs \u00e0 z\u00e9ro) et de la tester avant d’appeler wait<\/code>.<\/p>\nTroisi\u00e8me essai<\/h1>\n
#! \/bin\/sh\nADRESSE_IP=224.10.10.10\nPORT_UDP=2012\nREPERTOIRE_STATISTIQUES=\"~\/resultats-statistiques\/\"\nPID_ENREGISTREUR=0\nwhile true\ndo\n # Generer le nom du fichier d'enregistrement\n FICHIER=$(date +\"enregistrement-LFPG-%Y-%m-%d-%H-%M.dat\")\n\n # Attendre la fin de l'enregistreur precedent\n if [ $PID_ENREGISTREUR -gt 0 ]\n then\n wait $PID_ENREGISTREUR\n fi\n # Declencher l'enregistrement\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER}\" &\n PID_ENREGISTREUR=$!\n\n # Traiter l'heure ecoulee\n statistiques \"${FICHIER}\" > fichier-resultat.txt\n\n # si le fichier n'est pas vide\n if [ -s fichier-resultat.txt ]\n # Le renommer et le deplacer\n mv \"fichier-resultat.txt\" \"resultat-${NUMERO_RESULTAT}.txt\"\n mv \"resultat-${NUMERO_RESULTAT}.txt\" \"${REPERTOIRE_STATISTIQUES}\"\n\n # Incrementer le numero d'ordre\n NUMERO_RESULTAT=$(( NUMERO_RESULTAT + 1 ))\n fi\ndone<\/pre>\nSolution<\/h1>\n
#! \/bin\/sh\nADRESSE_IP=224.10.10.10\nPORT_UDP=2012\nREPERTOIRE_STATISTIQUES=\"~\/resultats-statistiques\/\"\nPID_ENREGISTREUR=0\nFICHIER_COURANT=\"\"\nFICHIER_PRECEDENT=\"\"\n\nwhile true\ndo\n # Attendre la fin de l'enregistreur precedent\n if [ ${PID_ENREGISTREUR} -gt 0 ]\n then\n wait ${PID_ENREGISTREUR}\n FICHIER_PRECEDENT=\"${FICHIER_COURANT}\"\n fi\n\n # Generer le nom du nouvel enregistrement\n FICHIER_COURANT=$(date +\"enregistrement-LFPG-%Y-%m-%d-%H-%M.dat\")\n\n # Lancer l'enregistreur en arriere-plan\n enregistreur ${ADRESSE_IP} ${PORT_UDP} 3600 \"${FICHIER_COURANT}\" &\n PID_ENREGISTREUR=$!\n\n # Traiter l'enregistrement de l'heure ecoulee\n statistiques \"${FICHIER_PRECEDENT}\" > fichier-resultat.txt\n\n # si le resultat n'est pas vide\n if [ -s fichier-resultat.txt ]\n # Le renommer et le deplacer\n mv \"fichier-resultat.txt\" \"resultat-${NUMERO_RESULTAT}.txt\"\n mv \"resultat-${NUMERO_RESULTAT}.txt\" \"${REPERTOIRE_STATISTIQUES}\"\n\n # Incrementer le numero d'ordre\n NUMERO_RESULTAT=$(( NUMERO_RESULTAT + 1 ))\n fi\ndone<\/pre>\nConclusion<\/h1>\n