Traduction de contenu/Définition du produit/analyse

L'extension ContentTranslation est développée par la Fondation Wikimedia pour aider les contributeurs des Wikipedia multilingues à créer leurs pages. Pour comprendre l'impact de la Traduction du contenu, certaines métriques sont définies.

Ces mesures peuvent être collectées en utilisant EventLogging et d'autres méthodes : analyse des vidages Wikipedia, requêtes directes de données aux serveurs de stockage, etc.

Le but de ce document est de donner une idée générale de ce qui doit être réellement mesuré, et pour cela chaque utilisation de fonctionnalité doit avoir planifié son schéma EventLogging et écrit les fonctions de journalisation correspondantes ainsi que les requêtes associées.

Métriques du noyau pour la Traduction de contenu

Métriques actuelles

Tableaux de bord Limn

Les tableaux Limn fournissent une vue a 90 jours de certains événements.

• Limn Dashboard: CX Beta Feature Enablements — Nombre total de fonctionnalités bêta possibles pour CX y compris les activations de participation automatique.
• Limn Dashboard: CX Manual Beta Feature Enablements — Nombre total de fonctionnalités bêta possibles pour CX sans prendre en compte les activations de participation automatique.

Special:ContentTranslationStats

Chaque wiki où CX est déployé possède une page Special:ContentTranslationStats qui affiche les statistiques de ce wiki avec également les statistiques communes à toutes les autres langues.

Par exemple pour la Wikipedia française : Special:ContentTranslationStats.

• Les Traductions publiées — ce sont les traductions d'articles complets publiées dans l'espace de noms principal. L'accroissement du nombre d'articles publiés sur une période de temps est visualisé également sous forme de graphe.
• Les traductions en cours — ce sont les traductions qui ont été commencées et qui ont été enregistrées avec la mention 'en cours'.
• Le nombre de traducteurs — c'est le nombre d'utilisateurs qui ont publié au moins une traduction. Certains traducteurs peuvent traduire dans plusieurs langues. Dorénavant elles sont comptabilisées à part dans le total du tableau.

Autres métriques à ajouter ou à corriger; elles sont suivies dans Phabricator :

• Affiche dans Special:CXStats les informations concernant de compte local de l'utilisateur ainsi que le nombre d'articles.
• Special:CXStats doit afficher les informations concernant les pages supprimées.
• lien rapide vers las statistiques générales en anglais

Aussi :

• Evolution dans le temps de ce qui est décrit ci-avant.

D'autres requêtes et données brutes

Vous pouvez consulter les autres requêtes définies et les données qu'elles fournissent en temps réel pour différentes informations y compris les pages supprimées et les pages créées quotidiennement. Il n'existe pas de représentation graphique pour cela mais, si vous êtes intéressé par les données brutes, il vous faudra analyser beaucoup de nombres.

Rapports basés sur les requêtes :

• Comparaison des ratios de suppression
• Pourcentage des traductions dans les créations de pages

Priorités hautes pour la gestion du produit

• A quelle fréquence les langues de la cible et de la source sont-elles utilisées. Ceci n'est pas immédiatement activable car la fonctionnalité au début ne sera pas développée pour toutes les langue, mais sera très utile pour nous afin d'avoir une idée de ce que sont les principales paires de langues. En analysant cela par langue on peut aussi identifier les langues qui ont le plus développé le nombre de leur articles grâce à l'outil.
  1. Techniquement : pour l'ensemble de la grappe et pas mois, quelles sont les langues source et cible le plus souvent utilisées.
• Combien d'utilisateurs ont sauvegardé au moins une ébauche de traduction. Considérez cela dans l'ensemble et :
  1. décrivez leur activité CX : nombre d'ébauches créées via CX.
  2. A quelle fréquence l'ébauche est-elle modifiée par les utilisateurs avant de passer dans l'espace de noms principal, et qui a réalisé la traduction - le traducteur ou les autres utilisateurs.
  3. Décrire l'activité globale d'édition des créateurs d'ébauches de traduction durant la même période de temps.
  4. Décrire le comportement inter-projets des créateurs d'ébauches de traduction.
• Combien d'ébauches de traductions sont créées dans chaque langues.
• Combien de pages sont éventuellement renommées vers l'espace de noms principal en tant que vrais articles.
  1. Quel type d'édition était réalisé avant que l'article ne soit renommé vers l'espace de noms principal.
• Combien de personnes cliquent sur le lien en rouge.
  1. Parmi les personnes qui ont cliqué sur le lien, combien d'entre-elles ont accepté l'invitation et ont continué pour traduire.

Autres métriques pour les articles créés

Le but principal de la Traduction de contenu est d'accroître le contenu disponible dans toutes les langues. Les nouveaux articles créés par l'outil seront l'élément principal à observer.

Quantité de contenu

• Nombre d'articles créés. Articles créés par semaine, par utilisateur, par langue.
• Longueur des articles. Cela donne une idée du type d'articles produits. Il peut être utile de le comparer à la longueur de l'article original (par exemple, les utilisateurs ne traduisent en moyenne que 30% de l'article original).
• Liens vers ou à partir des articles. Les articles qui incluent des liens vers d'autres articles peuvent cibler des articles plus aboutis. Les nouveau articles liés par là même, deviennent de fait, des articles utilisables.
• Temps passé pour créer une traduction (par paragraphe). A quelle vitesse les traducteurs produisent-ils le contenu ?

Impact et qualité

• Nombre de lecteurs de l'article original. Est-ce que le fait qu'un article soit disponible dans d'autres langues diminue de nombre de lecteurs de l'article original ?
• Nombre de lecteurs des nouveaux articles. Combien de personnes accèdent au nouveau contenu.
• Quantité de traduction automatique.
• Traductions et modifications régulières par utilisateur. Combien d'utilisateurs ne contribuent qu'en tant que traducteurs ? Est-ce que les contributeurs prolifiques sont ceux qui adoptent les traductions, ou bien des utilisateurs avec moins de modifications mais régulières ?
• Nombre de traducteurs (utilisateurs ayant créé une traduction).
• Nombre d'articles qui traduisent un article existant (éventuellement en essayant d'ajouter un nouveau paragraphe à une traduction existante).

Evolution dans le temps

Taux de suppression. Combien d'articles produits par l'outil sont supprimés par la communauté. Il serait utile de corréler les articles supprimés aux autres métriques (longueur des articles, nombre de traductions automatiques, niveau d'expertise de l'utilisateur pour les modifications).

Principes généraux et techniques

• N'enregistrez pas n'importe quoi dans le journal. N'y mettez que ce qui est utile aux métriques du produit.
• Essayez de faire plusieurs schémas, un par fonctionnalité ou à peu près. Ceci serait plus facile à interroger et cela pourrait aider aussi à éviter les modifications qui apportent des ruptures de compatibilité (une nouvelle table est créée à chaque fois que la version du schéma est modifiée).
• La journalisation côté serveur ne reflète pas directement les actions de l'utilisateur car nous faisons beaucoup de mises en cache et de pré-chargements.
• Nous sommes intéressés par les déplacements entre paragraphes et segments car ceci impacte la gestion du cache.
• Si nous utilisons l'Editeur Visuel alors les modifications du modèle de document (dans le navigateur) peuvent être tracées facilement (elles sont déjà enregistrées pour pouvoir revenir en arrière). Cela inclut généralement les événements de sélection utilisateur. Le modèle de document (DM) contient une représentation de la sélection du curseur.

Le balisage

Pour appliquer les métriques ci-dessus il faut que les articles créés par la traduction de contenu soient marqués. Les balises vont permettre d'identifier directement ou indirectement les informations de contexte suivantes :

• L'article a été créé par la Traduction de contenu.
• Langue dans laquelle est faite la traduction.
• L'article source utilisé pour la traduction.

Autres sujets à suivre - priorité basse

Centre de traduction

• Utilisation du tableau de bord : revenir pour terminer des articles, quitter les articles à moitié terminés etc.

Interface utilisateur de modification des traductions

• Boutons et liens dans l'affichage de traduction
  • Traduction claire.
  • Coller le texte source.
  • « afficher l'article » (trivial, mais il peut arriver que personne ne l'utilise)
• Quels sont les types de segments interactifs auxquels accèdent les utilisateurs (suggestions, liens, segments à plat, modèles, etc.).
• Temps passé sur la page : nombre de secondes par paragraphe, par mot, par article.
  • Ceci pourra être utilisé ultérieurement pour annoncer aux utilisateurs « Il vous faudra 20 minutes pour traduire cet article. »
• Il est facile de suivre les clics, mais nous souhaiterions quelque chose de plus difficile comme journaliser toute sélection avec suppression.

Abus dans la traduction automatique

• Est-ce que le comportement de l'utilisateur a changé après qu'il ait reçu l'avertissement concernant un nombre trop important de traductions automatiques ?
• Combien d'utilisateurs ont affiché l'avertissement anti-abus de la traduction automatique ?
• Quel était dans l'article, le pourcentage de traduction automatique quand l'avertissement s'est affiché ? Quel est le pourcentage de traduction automatique présent dans l'article une fois qu'il a été publié ?

Insertion automatique des liens

• A quelle fréquence chaque source est choisie automatiquement comme cible de lien suggérée :
  • liens de site Wikidata
  • étiquettes Wikidata
  • alias Wikidata
  • liens manuels interlangues
  • traduction automatique
  • Dictionnaire
• A quelle fréquence les utilisateurs choisissent manuellement une autre source
• De quelle manière la disponibilité (ou la non-disponibilité) de certaines sources influe-t-elle sur ce choix
• A quelle fréquence les utilisateurs les suppriment-ils (similaire à la mesure des modifications du contenu, ci-dessus)

Dictionnaires

• Fréquence d'utilisation de chaque dictionnaire dans chaque langue

Points d'accès

• Quelle est la fréquence d'utilisation de chaque point ?
• Quel est le pourcentage d'articles créés à partir de rien par rapport à ceux que l'on a traduit avec CX ?

Autres

• Quel est le type des articles traduits ? Par catégorie, par type (par exemple : géographie, mathématiques, biographie, histoire) (ref: http://lists.wikimedia.org/pipermail/wiki-research-l/2014-March/003335.html )