File d’attente des travaux
En 2009 (MediaWiki 1.6), la file d'attente des travaux a été introduite pour exécuter les tâches longues de manière asynchrone. La file d’attente des tâches est conçue pour contenir beaucoup de tâches courtes en utilisant le traitement par lots (batch).
Installation
A la place, il est recommandé de programmer le traitement des tâches complètement en arrière plan, via l'invite de commande.
Par défaut, les tâches sont exécutées à la fin de chaque requête web. Vous pouvez désactiver ce comportement par défaut en mettant $wgJobRunRate à 0.
runJobs.php en utilisant le même utilisateur que celui qui exécute le serveur web, pour être sur que les permissions sur le système de fichiers soient valides dans la cas où les tâches gèrent des fichiers téléversés.Cron
Vous pouvez utiliser cron pour lancer l'exécution des tâches toutes les heures. Ajoutez ceci à la fin de votre fichier crontab :
0 * * * * /usr/bin/php /var/www/wiki/maintenance/runJobs.php --maxtime=3600 > /var/log/runJobs.log 2>&1
Utiliser Cron vous permet de commencer facilement, mais peut rendre les notifications courriel et les modèles en cascade plus lents (l'attente pouvant aller jusqu'à une heure). Au lieu de cela, utilisez plutôt l'une des approches ci-dessous pour définir des tâches s'éxécutant de manière continue.
Service continu
Si vous avez accès au shell et que vous pouvez également créer des scripts d'initialisation, vous pouvez mettre en place un service simple qui exécute les tâches dès qu'elles apparaissent, et aussi les limite afin d'éviter que l'exécuteur de tâches ne monopolise les ressources de l'unité de traitement du serveur :
Créez un script bash, par exemple dans /usr/local/bin/mwjobrunner :
Créer le script
#!/bin/bash
# Ecrivez le chemin d'installation de MediaWiki sur la ligne ci-dessous
MW_INSTALL_PATH="/home/www/www.mywikisite.example/mediawiki"
RUN_JOBS="$MW_INSTALL_PATH/maintenance/runJobs.php --maxtime=3600"
echo Démarrage du service des tâches...
# Attendez une minute après le démarrage du serveur afin que les autres processus aient le temps de se lancer
sleep 60
echo Commencé.
while true; do
# Types de tâches à exécuter le plus tôt possible quelque soit leur nombre dans la file
# Ces tâches ne devraient rien coûter a executer.
php $RUN_JOBS --type="enotifNotify"
# Pour tout autre chose, limitez le nombre de tâches à chaque traitement par lot.
# Le paramètre --wait va suspendre l'exécution ici jusqu'à ce que de nouvelles tâches soient ajoutées,
# afin d'éviter d'exécuter la boucle quand il n'y a rien à faire
php $RUN_JOBS --wait --maxjobs=20
# Attendez quelques secondes pour permettre au processeur de faire autre chose, comme prendre en compte les requêtes web, etc
echo Attente de 10 secondes...
sleep 10
done
En fonction de la vitesse du serveur et de la charge, vous pouvez adapter le nombre de tâches à exécuter par cycle, ainsi que le nombre de secondes à attendre entre chaque cycle.
Rendre le script exécutable (chmod 755).
Créer le service
Si vous utilisez systemd, déclarez une nouvelle unité de service en créant le fichier /etc/systemd/system/mw-jobqueue.service.
Modifiez le paramètre User au profit de l'utilisateur qui exécute le PHP sur votre serveur web :
[Unit]
Description=MediaWiki Job runner
[Service]
ExecStart=/usr/local/bin/mwjobrunner
Nice=10
ProtectSystem=full
User=php-fpm
OOMScoreAdjust=200
StandardOutput=journal
[Install]
WantedBy=multi-user.target
Activez-le et exécutez-le avec ces commandes :
sudo systemctl enable mw-jobqueue
sudo systemctl start mw-jobqueue
sudo systemctl status mw-jobqueue
Exécution de tâches lors des requêtes de pages
Par défaut, à la fin de chaque requête web, une tâche est retirée de la file d'attente des tâches et exécutée.
Ce comportement est contrôlé par la variable de configuration $JogRunRate.
Si vous mettez cette variable à 1, une tâche sera exécutée à chaque requête.
Mettre cette variable à 0 désactivera complètement le traitement des tâches lors des requêtes web, ainsi vous pourrez à la place exécuter manuellement ou périodiquement runJobs.php depuis l'invite de commandes.
| Version de MediaWiki : | ≥ 1.23 |
Lorsqu’elles sont activées, les tâches sont exécutées en ouvrant une socket et en faisant une requête HTTP interne à une page spéciale non-listée: Special:RunJobs. Voir aussi la section asynchrone.
Problèmes de performance
Si la charge des tâches à chaque requête web prend trop de ressources et que vous ne pouvez pas lancer les tâches depuis l'invite de commande, vous pouvez réduire $wgJobRunRate à un nombre entre 1 et 0.
Cela signifie qu'une tâche sera exécutée en moyenne toutes les 1 / $wgJobRunRate requêtes.
$wgJobRunRate = 0.01;
Utilisation manuelle
Il y a aussi un moyen de vider manuellement le planificateur de tâches, par exemple après avoir changé un modèle présent sur de nombreuses pages.
Exécutez simplement le script de maintenance maintenance/runJobs.php.
Par exemple :
/path-to-my-wiki/maintenance$ php ./runJobs.php
Tâches abandonnées
Un tâche peut échouer pour plusieurs raisons. Pour comprendre pourquoi, il faut regarder le fichier journal associé.
Dans tous les cas, si une tâche échoue 3 fois (et donc que le système a fait ce nombre de tentatives), la tâche est considérée comme abandonnée et n'est plus jamais réexécutée.
Code source associé :
https://doc.wikimedia.org/mediawiki-core/master/php/JobQueue_8php_source.html#l00085
Une tâche abandonnée :
- n'est plus jamais exécutée de runJobs.php
- n'est pas comptée dans Manuel:showJobs.php
- n'est pas retirée automatiqument de la base de données
- mais elles est incluse dans les compteurs de Special:Statistics.
Historique
Mode asynchrone
La variable de configuration $wgRunJobsAsync a été ajoutée pour forcer l'exécution des tâches de manière synchrone, dans les scénarii où il n'était pas souhaité de faire une requête HTTP interne pour exécution de ces tâches.
L'exécution de tâches en asynchrone ouvrira une connexion HTTP interne pour gérer leur exécution, et retournera immédiatement au client le contenu de la page, sans attendre la fin de la tâche. Sinon, la tâche s'exécutera dans le même processus et le client devra attendre qu'elle se termine. Quand la tâche ne s'exécute pas en asynchrone, si une erreur fatale arrive pendant son exécution, elle va se propager jusqu'au client, ce qui fera échouer le chargement de la page.
Notez que même si $wgRunJobsAsync est mis à true, si PHP ne peut pas ouvrir de socket pour faire la requête interne HTTP, il se repliera vers l'exécution synchrone de la tâche. Néanmoins, il existe une variété de cas où cette requête interne peut échouer, et que les tâches ne soient pas exécutées, sans qu'il y ait un repli vers l'exécution synchrone. Au début avec MediaWiki 1.28.1 et 1.27.2, $wgRunJobsAsync maintenant la valeur par défaut est « false ».
Mises à jour différées
Le mécanisme des mises à jour différées permet d'exécuter du code à la fin de la requête, après que le contenu entier ait été envoyé au navigateur. Ceci est similaire à la mise en file d'attente d'une tâche sauf que l'exécution est immédiate au lieu de se faire dans plusieurs minutes ou heures.
DeferredUpdates a été introduit dans MediaWiki 1.23 et a reçu des changements majeurs dans MediaWiki 1.27 et 1.28.
Le but de ce mécanisme alternatif est d’accélérer les réponses web en effectuant moins de travail et en priorisant certains travaux qui auparavent auraient fait l'objet de tâches à exécuter le plus tôt possible après la fin de la réponse.
Une mise à jour retardable peut implémenter EnqueueableDataUpdate pour pouvoir être mise en file d'attente tout comme une tâche.
Ceci est utilisé par RefreshSecondaryDataUpdate dans le noyau par exemple, ce qui signifie que si la mise à jour échoue pour une raison quelconque, MediaWiki va se replier sur la mise en file d'attente en tant que tâche et essayer à nouveau ultérieurement de sorte à remplir le contrat en question.
Modifications introduites en MediaWiki 1.22
Dans MediaWiki 1.22, l'exécution de la file d'attente des tâches à chaque demande de page a été modifiée ainsi (Gerrit change 59797), au lieu d'exécuter la tâche à l'intérieur du même processus PHP qui est en train d'en faire la génération, une nouvelle commande PHP cli est démarrée pour exécuter runJobs.php en tâche de fond. Cela ne fonctionnera que si $wgPhpCli est initialisé avec un chemin actuel ou si le mode sécurisé est à off, sinon l'ancienne méthode sera utilisée.
Cette nouvelle manière d'exécuter pourrait causer certains problèmes :
- Si $wgPhpCli est initialisé avec une version incompatible de PHP (par exemple, une version obsolète) les tâches peuvent voir leur exécution échouer (corrigé en 1.23).
open_basediren PHP possède des restrictions, et $wgPhpCli est désactivé (corrigé dans la 1.23, voir tâche T62208)- Performance: même si la file des tâches est vide, le nouveau processus PHP est démarré dans tous les cas (tâche T62210, corrigé en 1.23).
- Quelquefois le processus PHP de création de tâches fait que le serveur ou seulement le processus CLI se bloque parce que les descripteurs stdout et stderr n'ont pas été redirigés correctement (tâche T60719, corrigé en 1.22)
- Cela ne fonctionne pas pour le code partagé (les fermes wiki) parce que qu'il ne passe pas les paramètres requis additionnels à runJobs.php pour identifier le wiki qui est en train d'exécuter la tâche (tâche T62698, corrigé en 1.23)
- les limites normales du shell telles que $wgMaxShellMemory, $wgMaxShellTime, $wgMaxShellFileSize sont appliquées sur le processus runJobs.php qui s'exécute en tâche de fond.
Il est impossible de revenir à l'ancien système traitant les tâches lors des requêtes web (à part en modifiant $wgPhpCli à false, par exemple), ce qui peut causer d'autres problèmes (tâche T63387).
Ceci peut être complètement désactivé en positionnant par exemple $wgJobRunRate = 0;, mais les tâches ne se lanceront plus lors des demandes de pages, et vous devez explicitement exécuter runJobs.php pour exécuter périodiquement les tâches en attente.
Modifications introduites en MediaWiki 1.23
Pour MediaWiki 1.23, la méthode d'exécution de 1.22 est abandonnée, et les tâches sont gérées par MediaWiki qui se génére une connection HTTP à lui-même.
Il a d'abord été implémenté comme un point d'accès d'API (Gerrit change 113038) mais il est ensuite devenu la page spéciale non listée Special:RunJobs (Gerrit change 118336).
Alors qu'il corrige divers bogues introduits en 1.22, il nécessite encore le chargement de nombreuses classes PHP en mémoire sur un nouveau processus pour exécuter une tâche, et fait également une nouvelle requête HTTP que le serveur doit gérer.
Modifications introduites en MediaWiki 1.27
Dans MediaWiki 1.25 et MediaWiki 1.26, l'usage de $wgRunJobsAsync fait que les tâches quelques fois ne se lancent pas lorsque le wiki a une configuration $wgServerName personnalisée. Ceci est corrigé dans MediaWiki 1.27. tâche T107290
Modifications introduites en MediaWiki 1.28
Entre MediaWiki 1.23 et MediaWiki 1.27, l'usage de $wgRunJobsAsync fait que quelques fois les tâches ne se lancent pas si les requêtes MediaWiki concernent un serveur ou un protocole qui ne correspond pas au nom de celui qui est configuré actuellement (c'est à dire lorque HTTP and HTTPS sont tous deux supportés, ou quand MediaWiki est derrière un proxy inverse qui redirige vers HTTPS). Ceci est corrigé dans MediaWiki 1.28. tâche T68485
Modifications introduites en MediaWiki 1.29
Dans MediaWiki 1.27.0 à 1.27.3 et de 1.28.0 à 1.28.2, lorsque $wgJobRunRate est configuré à une valeur supérieure à 0, une erreur similaire à la suivante peut apparaître dans les journaux d’erreur ou sur la page :
PHP Notice: JobQueueGroup::__destruct: 1 buffered job(s) never inserted
Comme conséquence de cette erreur, certaines mises à jour peuvent échouer dans certains cas, comme les membres des catégories qui n'ont pas été rafraîchis sur les pages de catégorie, ou les modifications récentes qui affichent les éditions de pages supprimées - même si vous exécutez manuellement $runjobs pour nettoyer la file des tâches. Ce bogue a été rapporté (tâche T100085) et corrigé dans 1.27.4 et 1.28.3.
Exemples de tâches
Mettre à jour la table des liens quand un modèle est modifié
Quand un modèle est modifié, MediaWiki ajoute une tâche dans la file pour chaque article qui inclut ce modèle. Chaque tâche est une commande qui va lire un article, substituer les modèles et modifier la table des liens en conséquence. Auparavent, les articles hôte restent obsolètes jusqu'au moment où soit le cache de leur analyseur expire ou bien qu'un utilisateur modifie l'article.
Invalidation du cache HTML
Une classe plus large d'opérations peut résulter dans l'invalidation du cache HTML pour un grand nombre de pages :
- Modifier une image (toutes les miniatures seront remises à jour, et leur taille recalculée)
- Suppression d'une page (tous les liens vers cette page à partir des autres pages passeront du bleu au rouge)
- Création ou restauration d'une page (comme ci-dessus, mais en passant du rouge au bleu)
- Modifier un modèle (toutes les pages contenant ce modèle devront être mises à jour)
À l'exception des modifications de modèles, toutes ces opérations n'invalident pas la table des liens, mais elles invalident le cache HTML de toutes les pages liées à cette page, ou qui utilisent cette image. Invalider le cache d'une page est une opération rapide; elle ne requiert que la modification d'un champ dans la base de données et l'envoi de paquets multicast pour vider les caches. Mais s'il y a ainsi plus de 1 000 pages, cela prend un certain temps. Par défaut, un tâche est ajoutée toutes les 300 opérations (voir $wgUpdateRowsPerJob)
Notez, néanmoins, que même si la purge du cache d'une page est une opération brève, la réanalyse d'une page complexe qui ne se trouve pas dans le cache, peut être coûteuse, et particulièrement s'il s'agit de la modification d'un modèle souvent utilisé qui fait que beaucoup de pages sont purgées pendant un cours laps de temps, et si votre wiki possède beaucoup de visiteurs concurrents chargeant une grande variété de pages.
Ceci peut être mitigé en réduisant le nombre de pages purgées dans un bref laps de temps, en réduisant $wgUpdateRowsPerJob à un nombre petit (20, par exemple) et aussi mettre $wgJobBackoffThrottling pour htmlCacheUpdate à une valeur basse (5, par exemple).
Transcodage audio et vidéo
Si on utilise TimedMediaHandler pour gérer des téléversements locaux de fichiers audio ou vidéo, la file des tâches est utilisée pour exécuter la création éventuellement très lente des transcodages dérivés pour les différentes résolutions/formats.
Ces requêtes ne conviennent pas si elles sont faites à partir du web -- vous aurez besoin de lancer une tâche de fond.
Il est recommandé, si possible, de définir des lanceurs séparés pour les tâches de types webVideoTranscode et webVideoTranscodePrioritized. Ces deux files d'attente gèrent des sous-ensemble de fichiers différents (la première est pour les vidéos en haute définition (HD), la seconde pour les vidéos en plus basse qualité et les fichiers audios, qui s'exécutent plus rapidement).
Valeurs typiques
Pendant les périodes de faible affluence, la file des tâches peut être vide. Chez Wikimedia, la file n'est en pratique jamais vide. Pendant les heures creuses, elle peut contenir entre une centaine et quelques milliers de tâches. Pendant une journée chargée, elle peut atteindre plusieurs millions de tâches mais peut varier rapidement de 10% ou plus. [1]
Special:Statistics
Jusque MediaWiki 1.16, la valeur de la file d'attente des tâches était affichée sur Special:Statistics . Néanmoins, depuis la version 1.17 (rev:75272), cela a été supprimé, et peut être vu dorénavant avec API:Siteinfo :
Le nombre de tâches retourné dans les résultats de l'API peut être un peu biaisé si on utilise MySQL qui lui, évalue le nombre de tâches dans la base de données. Ce nombre peut changer en fonction du nombre de tâches qui ont été récemment ajoutées ou supprimées. Pour les autres bases de données qui ne supportent pas l'estimation rapide de la taille des résultats, le nombre actuel de tâches est donné.
Pour les développeurs
Gestion du code
- Maintenu par MediaWiki Interfaces Team.
- Discussion en direct (IRC): #mediawiki-core connecter
- Suivi des problèmes : Phabricator MediaWiki-Core-JobQueue (rapporter un problème)