{"id":1395,"date":"2012-01-14T10:05:49","date_gmt":"2012-01-14T09:05:49","guid":{"rendered":"http:\/\/www.blaess.fr\/christophe\/?p=1395"},"modified":"2012-01-14T10:05:49","modified_gmt":"2012-01-14T09:05:49","slug":"parallelisation-de-compilations","status":"publish","type":"post","link":"https:\/\/www.blaess.fr\/christophe\/2012\/01\/14\/parallelisation-de-compilations\/","title":{"rendered":"Parall\u00e9lisation de compilations"},"content":{"rendered":"

(English translation here<\/a>)<\/p>\n

Il m’arrive tr\u00e8s fr\u00e9quemment de compiler des noyaux Linux, souvent durant des sessions de formation ou des prestations d’ing\u00e9nierie (principalement dans le domaine de l’embarqu\u00e9 ou le d\u00e9veloppement de drivers), et parfois \u00e0 titre exp\u00e9rimental ou par simple curiosit\u00e9 pour r\u00e9diger des articles ou mon prochain livre.<\/p>\n

La dur\u00e9e de compilation varie beaucoup en fonction de la quantit\u00e9 de code (de drivers, syst\u00e8mes de fichiers, protocoles, etc.) et de la puissance de la machine h\u00f4te. Sur un PC de milieu de gamme, la compilation d’un kernel ajust\u00e9 pour un syst\u00e8me embarqu\u00e9 dure environ trois minutes. Sur une machine d’entr\u00e9e de gamme (ou un peu ancienne), la compilation d’un noyau g\u00e9n\u00e9rique pour PC (disposant donc de centaines de drivers sous forme de modules) peut durer une heure.<\/p>\n

\n\n<\/p>\n

Pour tirer parti du parall\u00e9lisme propos\u00e9 par les processeurs actuels (syst\u00e8mes multiprocesseurs, multicoeurs ou avec hyper-threading), la commande make<\/code> nous permet de lancer simultan\u00e9ment plusieurs jobs. Ainsi<\/p>\n

$ make -j 4<\/strong><\/pre>\n
s’arrangera pour qu’il y ait toujours quatre jobs de compilation actifs.<\/p>\n
J’ai longtemps r\u00e9p\u00e9t\u00e9 que \u00ab\u00a0si vous avez N processeurs (ou coeurs, ou CPU virtuels) disponibles, vous gagnerez du temps de compilation en lan\u00e7ant 2N jobs en parall\u00e8le<\/em>\u00ab\u00a0. Ceci repose sur l’id\u00e9e que pour chaque processeur nous avons un job qui effectue de la compilation (en consommant du temps CPU) et tandis qu’un autre job peut terminer de sauvegarder les r\u00e9sultats de la compilation pr\u00e9c\u00e9dente ou charger le fichier source du traitement suivant. Mais… est-ce vrai ?<\/p>\n
Script de test<\/h1>\n
Pour en avoir le coeur net, j’ai \u00e9crit le petit script suivant, qui t\u00e9l\u00e9charge au besoin les sources d’un noyau et les d\u00e9compresse, puis r\u00e9alise plusieurs compilations en d\u00e9marrant un nombre variable de jobs.<\/p>\n
Par exemple si on lance<\/p>\n
$ .\/test-make-j.sh 3 5 8<\/strong><\/pre>\n
Il effectue trois compilations compl\u00e8tes : l’une avec trois t\u00e2ches en parall\u00e8le, la suivante avec cinq jobs et la derni\u00e8re avec huit, les r\u00e9sultats \u00e9tant cumul\u00e9s dans un fichier de texte. Le script est le suivant.<\/p>\n
test-make-j.sh <\/strong><\/a>\n#! \/bin\/sh\n\nKERNEL_VERSION=\"linux-3.2\"\nKERNEL_URL_PATH=\"www.kernel.org\/pub\/linux\/kernel\/v3.0\/\"\nRESULT_FILE=\"compilation-timing.txt\"\n\nif [ \"$#\" -eq 0 ]\nthen\n  echo \"usage: $@ jobs_number...\" >& 2\n  exit 0\nfi\n\nif [ ! -d \"${KERNEL_VERSION}\" ]\nthen\n  if [ ! -f \"${KERNEL_VERSION}.tar.bz2\" ]\n  then\n    wget \"${KERNEL_URL_PATH}\/${KERNEL_VERSION}.tar.bz2\"\n    if [ $? -ne 0 ] || [ ! -f \"${KERNEL_VERSION}.tar.bz2\" ]\n    then\n      echo \"unable to obtain ${KERNEL_VERSION} archive\" >&2\n      exit 1\n    fi\n  fi\n  tar xjf \"${KERNEL_VERSION}.tar.bz2\"\n  if [ $? -ne 0 ]\n  then\n    echo \"Error while uncompressing kernel archive\" >&2\n    exit 1\n  fi\nfi\n\ncd \"${KERNEL_VERSION}\"\n\necho \"# Timings of ${KERNEL_VERSION} compilations\" >> \"${RESULT_FILE}\"\nnb_cpu=$(grep \"^processor\" \/proc\/cpuinfo | wc -l)\n\necho \"# Processors: ${nb_cpu}\" >> \"${RESULT_FILE}\"\naffinity=$(taskset -p $$ | sed -e 's\/^.*:\/\/') >> \"${RESULT_FILE}\"\n\necho \"# Affinity mask: ${affinity}\" >> \"${RESULT_FILE}\"\nfor nb in \"$@\"\ndo\n  echo \"# Compiling with $nb simultaneous jobs\" >> \"${RESULT_FILE}\"\n  make mrproper<\/strong>\n  make i386_defconfig<\/strong>\n  sync\n  sleep 10 # Let's all calm down\n  start=$(date \"+%s\")\n  make -j $nb<\/strong>\n  sync\n  end=$(date \"+%s\")\n  # This script will fail during february 2038 ;-)\n  echo \"$nb     $((end - start))\" >> \"${RESULT_FILE}\"\ndone<\/pre>\n
R\u00e9sultats<\/h1>\n
Voici les r\u00e9sultats d’une ex\u00e9cution sur un processeur Intel Q6600 Quad-Core (fichier Intel-Q6600-1.txt<\/a>)<\/p>\n
# Timings of linux-3.2 compilations\n# Processors: 4\n# Affinity mask:  f\n# Compiling with 1 simultaneous jobs\n1     675\n# Compiling with 2 simultaneous jobs\n2     346\n# Compiling with 3 simultaneous jobs\n3     241\n# Compiling with 4 simultaneous jobs\n4     197\n# Compiling with 5 simultaneous jobs\n5     198\n# Compiling with 6 simultaneous jobs\n6     194\n# Compiling with 7 simultaneous jobs\n7     195\n# Compiling with 8 simultaneous jobs\n8     196\n# Compiling with 9 simultaneous jobs\n9     197\n# Compiling with 10 simultaneous jobs\n10     198\n# Compiling with 11 simultaneous jobs\n11     198\n# Compiling with 12 simultaneous jobs\n12     198\n# Compiling with 13 simultaneous jobs\n13     200\n# Compiling with 14 simultaneous jobs\n14     201\n# Compiling with 15 simultaneous jobs\n15     201\n# Compiling with 16 simultaneous jobs\n16     200<\/pre>\n
Observons-les graphiquement avec cette petite ligne de commande pour Gnuplot. Horizontalement, nous voyons le nombre de jobs simultan\u00e9s et verticalement le temps de compilation en secondes.<\/p>\n
$ echo \"set terminal png size 640,480 ; set output '.\/Intel-Q6600-1.png'; plot 'Intel-Q6600-1.txt' with linespoints\" | gnuplot<\/strong><\/pre>\n
 <\/p>\n
\"Compilations<\/a>
Compilations parall\u00e8les sur quatre CPU<\/p><\/div>\n
Visiblement, les meilleurs r\u00e9sultats sont atteints (\u00e0 quelques fluctuations pr\u00e8s) d\u00e8s make -j 4<\/code>. Essayons de confirmer ceci. Avant de lancer le script, nous le limitons sur deux processeurs avec la commande suivante qui fixe les jobs lanc\u00e9s \u00e0 partir du shell courant sur les processeurs 2 et 3.<\/p>\n
$ taskset -pc 2-3 $$<\/strong><\/pre>\n
Voici le r\u00e9sultat (fichier Intel-QL6600-2.txt<\/a>).<\/p>\n
# Timings of linux-3.2 compilations\n# Processors: 4\n# Affinity mask:  c\n# Compiling with 1 simultaneous jobs\n1     684\n# Compiling with 2 simultaneous jobs\n2     360\n# Compiling with 3 simultaneous jobs\n3     362\n# Compiling with 4 simultaneous jobs\n4     366\n# Compiling with 8 simultaneous jobs\n8     370\n# Compiling with 16 simultaneous jobs\n16     376\n# Compiling with 32 simultaneous jobs\n32     377\n# Compiling with 64 simultaneous jobs\n64     378<\/pre>\n
\"Compilations<\/a>
Compilations parall\u00e8les sur deux CPU<\/p><\/div>\n
Cette fois, il est visible que le minimum de temps est obtenu avec make -j 2. Si nous r\u00e9p\u00e9tons l’exp\u00e9rience sur un seul CPU, on obtient les valeurs suivantes (fichier Intel-Q6600-3.txt<\/a>).<\/p>\n
# Timings of linux-3.2 compilations\n# Processors: 4\n# Affinity mask:  8\n# Compiling with 1 simultaneous jobs\n1     683\n# Compiling with 2 simultaneous jobs\n2     698\n# Compiling with 3 simultaneous jobs\n3     708\n# Compiling with 4 simultaneous jobs\n4     709\n# Compiling with 5 simultaneous jobs\n5     719\n# Compiling with 6 simultaneous jobs\n6     719\n# Compiling with 7 simultaneous jobs\n7     720\n# Compiling with 8 simultaneous jobs\n8     724<\/pre>\n
Ce qui se repr\u00e9sente sur le graphique suivant.<\/p>\n
\"Compilations<\/a>
Compilations parall\u00e8les sur un seul CPU<\/p><\/div>\n
Nous pouvons regrouper ces trois courbes sur un m\u00eame graphique pour mieux visualiser leurs \u00e9chelles (je n’ai pas prolong\u00e9 la courbe de la compilation sur un seul CPU, mais on peut imaginer qu’elle se poursuit avec une l\u00e9g\u00e8re croissance).<\/p>\n
\"Compilations<\/a>
Compilations parall\u00e8les sur processeur Q6600<\/p><\/div>\n
Pour en avoir le coeur net, nous pouvons recommencer l’exp\u00e9rience sur un autre processeur avec deux coeurs (AMD QL66). Les r\u00e9sultats sont les suivants (fichier AMD-QL66-1.txt<\/a>).<\/p>\n
# Timings of linux-3.2 compilations\n# Processors: 2\n# Affinity mask:  3\n# Compiling with 1 simultaneous jobs\n1     1113\n# Compiling with 2 simultaneous jobs\n2     844\n# Compiling with 3 simultaneous jobs\n3     875\n# Compiling with 4 simultaneous jobs\n4     863\n# Compiling with 5 simultaneous jobs\n5     840\n# Compiling with 6 simultaneous jobs\n6     844\n# Compiling with 7 simultaneous jobs\n7     844\n# Compiling with 8 simultaneous jobs\n8     851<\/pre>\n
\"Compilations<\/a>
Compilations parall\u00e8les sur deux CPU<\/p><\/div>\n
Essayons une derni\u00e8re exp\u00e9rience, sur la m\u00eame machine (deux CPU), en d\u00e9sactivant deux \u00e9l\u00e9ments :<\/p>\n