Wikimedia-Apps/Team/Android/Maschinenunterstützte Artikelbeschreibungen
Hintergrund des Projekts
Seit 2017 bietet die Wikipedia-Android-App Möglihckeiten, Kurzbeschreibungen hinzuzufügen. 2019 hat das Team ein Werkzeug zum Hinzufügen von Kurzbeschreibungen für angemeldete Benutzer:innen der App veröffentlicht. Du kannst hier mehr über den aktuellen Stand des Werkzeugs für Bearbeitungsvorschläge zum Hinzufügen von Kurzbeschreibungen erfahren.
Im März 2022 hat das Android-Team eine Möglichkeit für Beitragende geschaffen und ausgebaut, Kurzbeschreibungen zu bearbeiten. Dies folgte auf Rückmeldungen von Benutzer:innen der englischsprachigen Wikipedia, dass besonders Neulinge sich wünschten, die Qualität der Artikel-Kurzbeschreibungen zu verbessern.
Im Mai 2022 hat der Forschungsbereich des Schweizer Instituts, auch bekannt als EPFL, ein maschinelles Modell namens Descartes erstellt, um Kurzbeschreibungen für Wikipedia-Artikel vorzuschlagen. Nach unabhängigen Tests des Descartes-Modells hat sich EPFL an die Wikimedia Foundation gewandt, um das Modell Wikipedianer:innen zur Verfügung zu stellen, damit Beitragende bei der Erstellung von Artikel-Kurzbeschreibungen unterstützt werden können. Angesichts der Wünsche, die Qualität von Kurzbeschreibungen zu verbessern, insbesondere vonseiten der Neulinge, hat das Android-Team beschlossen, dass es zur Unterstützung von Benutzer:innen maschinelle Vorschläge auf der Grundlage des Descartes-Modells anbieten kann, allerdings nur, wenn das Descartes-Werkzeug auch mit Wikipedianer:innen ähnlich vielversprechende Ergebnisse liefern würde wie in den ersten Tests der EPFL.
Von Januar bis April 2023 entwickelte das Team die Oberfläche und die clientseitigen Änderungen des Descartes-Modells, während es Schutzmaßnahmen gegen Risiken einbaute. Von Mitte Mai bis Mitte Juni 2023 stellte es eine angepasste Version des Modells bereit. Die Version des Modells, die Benutzer:innen in der Android-App zu Gesicht bekamen, beinhaltete Qualitätskontrollen. Zusätzlich wurden Vorschläge als Angebot verpackt, bei dem die Benutzer:innen aktiv klicken mussten, um die maschinellen Vorschläge zu sehen, und dann zu beschließen, einen Vorschlag zu nutzen oder manuell eine Kurzbeschreibung einzugeben.
Ende Juni wurde die Funktion aus der App entfernt. Mitte Juni bis Ende Juli hat das Android-Team verschiedene Sprachcommunitys kontaktiert, um sie einzuladen, die durch das Werkzeug erzeugten Bearbeitungen während der Dauer des Experiments zu prüfen und zu bewerten. Freiwillige, die sich über Wikimail auf den Aufruf zur Unterstützung meldeten, haben als Auswerter:innen am Experiment teilgenommen. Erfahrene Benutzer:innen haben ausgewertet, was Benutzer:innen der App während des Experiments auf der Grundlage maschineller Vorschläge veröffentlichten, gegenüber von Menschen erstellten Kurzbeschreibungen. Freiwillige sollten Fehler zurücksetzen. Die Bewertungsphase durch Freiwillige endete Anfang August 2023.
Nach einer ersten Prüfung der Daten konnte das Team genügend Erkenntnisse gewinnen, um zu empfehlen, das Descartes-Modell vom temporären Speicherort in den Cloud VPS nach LiftWing zu migrieren. Nach einer tiefergehenden Datenanalyse durch den Datenanalysten unseres Teams, unser Forschungsteam und das EPFL-Forschungsteam hatten wir genug Vertrauen in die Ergebnisse, um in der App dauerhaft eine angepasste Version des Modells für Vorschläge an menschliche Beitragende anzubieten; allerdings erst, nachdem die Sprachcommunitys dem zustimmen und Austausch darüber stattfindet, ob weitere Änderungen vorgenommen werden können, um das Modell so zu verbessern, dass es seinen beabsichtigten Zweck, Beitragenden beim Erstellen qualitativ höherwertiger Kurzbeschreibungen zu helfen, tatsächlich erfüllt.
Aktueller Stand
Stand August 2024 haben wir die Ergebnisse des Experiments veröffentlicht, angegeben, welche appseitigen Änderungen wir an der Cloud-Version des Modells für Qualitätszwecke vorgenommen haben, und Vorschläge gemacht, ob eine Sprachcommunity die Aktivierung der Funktion in Betracht ziehen sollte. Wir werden von September bis November 2024 weiter kommunizieren, um das Android-Produktteam darüber zu informieren, welche weiteren Verbesserungen vorgenommen werden können, und ob die Communitys die Funktion aktivieren möchten. Auch wenn wir Empfehlungen angeben, ob die Funktion auf der Grundlage der vorliegenden Daten nützlich sein könnte, ist die Aktivierung eine Entscheidung, die ausschließlich den Mitgliedern der Sprachcommunity überlassen wird. Wir verstehen, dass Kurzbeschreibungen in verschiedenen Sprachcommunitys unterschiedlich behandelt werden und dass sich die Vorgehensweise zur Pflege der Artikel-Kurzbeschreibungen im Laufe der Jahre entwickelt hat, weshalb wir jede Community individuell ansprechen.