ウィキメディア アプリ/チーム/Android/機械支援の記事まとめ

This page is a translated version of the page Wikimedia Apps/Team/Android/Machine Assisted Article Descriptions and the translation is 100% complete.

プロジェクトの背景

2017年以降 、 ウィキペディア・アプリの Android 版は記事に短いまとめ(説明=Short Descriptions)を追加する手段を提供してきました。チームは2019年にログイン利用者対象に同アプリに短いまとめ用の追加ツール をリリースしました。編集提案ツール(Suggested Edits)の現在の状態と短い説明を追加するツールに関して、詳しくはこちら を参照してください。

Android チームは2022年3月段階で、短い説明を編集する練習用の入り口を作成して増やしており、これは英語版 ウィキペディアの利用者が記事の短い説明をもっとうまく書きたいと言う要望、特に新規ユーザーから上がったフィードバックに対応したものです。

2022年5月時点でスイス研究所(Swiss Institute)の研究部門EPFLは機械処理モデルを発表、そのDescartes(デカルト)はウィキペディアの記事に短い説明を提案するモデルです。独自にこのモデルを試験したEPFL からウィキメディア財団に同モデル提供の打診があり、ウィキペディアンの編集者の皆さんを対象に、記事の短い説明作成を支援してはどうかとのことでした。そこで Android チームは先方のEPFL の初期実験成果を検討し、特に新人編集者から短い説明をもっとうまく書きたいという要望を考慮するなら、ツールの出力結果がウィキペディアンの書く内容と比べて有望な場合に限り、このデカルト・モデルが示す生成案を利用者支援に提供できると判断しました。

当チームでは2023年1月-同年4月の期間に、リスク対応のガードレールを導入しながらデカルト・モデル用のクライアント側の変更と UI (ユーザー・インターフェース)とを構築し、それを受けて2023年5月中旬-同年6月中旬には同モデルの修正版を展開しました。この段階で Android アプリの利用者に開示したバージョンでは、品質管理が含まれていました。またこの段階では同モデルをアフォーダンスの背後に隠しておき、利用者が積極的にクリックして機械の生成案を表示させてからでないと、その短い説明を使うか手動で自作するか決められないようにしてありました。

この機能は6月末にはアプリから削除。Android チームは6月中旬から7月末に、さまざまな言語コミュニティに呼びかけて、このツールを介して実験期間中に作成された編集の採点係と巡回係を募集しました(graders and patrollers)。 サポートの呼びかけにオンウィキのメールで返信されたボランティアの皆さんには、評価者として実験に参加してもらいました。経験豊富な編集者は人が書いた短い説明と対照して、実験期間中にアプリ編集者が機械生成案を使って保存した内容を評価しました。ボランティアにはエラーの差し戻しを奨励。2023年8月初旬にボランティアの採点過程を終了しました。

当該データの初期レビューを済ませたチームは十分な洞察を得て、デカルト・モデルを Cloud VPS 上の一時保持空間から LiftWing に移行、永続的なホスト空間とする提案に至りました。さらに詳細なデータ分析を当チームのデータ・アナリストや研究チーム、先方のEPFL研究チームから受けた私たちはその結果を十分に信頼し、人間の編集者には自信をもって修正版モデルをアプリ内で永続的に提案できるようになりましたが、あくまでも実施は条件付きであり、編集者を支援して短くて質の高い説明を書いてもらうという本来の目的達成に向けて、モデルの改善準備に関するセッション(打ち合わせ)を実施してさらに変更を加えるべきかどうか判断すること、そして各言語コミュニティの承認を得ることが求められます。

現在の進捗状況

2024年8月時点では実験結果と共に、品質向上を目指してアプリ側でどんな変更点を同モデルのクラウド・ホスト版に加えたか投稿し、言語コミュニティへの提案として、この機能の採用を検討すべき点は何か示しました。 当チームはアウトリーチ期間を2024年9月から同年11月に設定、この機能の採用をコミュニティは希望しているかどうか、どのような改善がさらに可能か調べてから、Android 製品チームに伝える予定です。この機能が役に立つかどうか、データに基づく推奨はできるとしても、採用の決定は言語コミュニティの皆さんにのみ委ねるべきだと当チームでは承知しています。 私たちの認識としては、短い説明の扱いは言語コミュニティごとに異なり、また記事に短い説明を必ず添えようと長年にわたる手順の進化がありました。それらを考慮し、コミュニティ単位のアウトリーチという取り組み方で進めようとしています。