Growth/コミュニティ更新
このページではGrowthチームが新規参加者用ホームページに新規モジュールを追加する作業を説明します。コミュニティがこの新モジュールを使うと、コミュニティ内の重要なニュースやキャンペーン、イベントあるいは、ウィキプロジェクト類を共有できます。このモジュールはカスタム化も簡単にできるよう、各コミュニティ単位の設定対象です。
|
Community Updates
 新規参加者用ホームページの新しいモジュールでは、コミュニティからキャンペーンやプロジェクト、イベント類を示すことができます。
|
現状
- : プロジェクト・ページを新しく作成
- : ベータウィキ群で初期テスト
- : Initial version testable at Pilot Wikipedias (Arabic, Spanish, French)
- 2024年12月: Publish experiment results
- 次の段階: Release the Community Updates module to all Wikipedias
要約
The Growth チームでは新規参加者ホームページ用に新しいモジュールを開発し（Newcomer homepage）、コミュニティはそれを使って重要なコミュニティのイベント告知や取り組みの紹介ができます。このコミュニティ更新モジュールはコミュニティ設定の対象であり、各コミュニティで着目してもらうイベントやプロジェクト、キャンペーンや取り組みを選んでもらい管理者がコミュニティ設定で指定します（Community Updates、Community Configuration）。
参加して間もない編集者がウィキへの関与を進める道のりでは各人の新規参加者用ホームページ（Newcomer homepage）も進化して、より複雑なタスクを出題したり新人編集者がもっと有意義に関与したいと感じる機会を設ける必要があります。新規参加者にコミュニティの重要なイベントや取り組みを紹介し、その人たちがもしかしたらウィキ活動に自分の時間をもっと注ぐようになり、参加を増やして他のウィキメディアンの皆さんとの繋がりが増えるよう期待しています。
さらに加えるなら、この新モジュールは、波及効果の高い主題にコンテンツ格差があるという点に注目を集めるという役割も果たし、これは2030ウィキメディア運動戦略のかかげる「波及効果のあるトピック」という推奨事項にマッチしています。
仮説
新規利用者ホームページにコミュニティが設定可能なモジュールを実装し、それに文章やアイコン、行動の呼びかけやターゲットとする観衆設定を含めた場合、バナーを使って知識格差に焦点を当てて、より多くの編集者を波及効果が高めのテーマに関する記事改版に導けないかどうか。
この仮説を評価する上で、重要な質問をいくつか検討し対応する指標を追跡する予定です。
- コミュニティはこの新モジュールを利用するかどうか？
- 指標：コミュニティ更新の新モジュール導入後、2ヵ月以内に採用したウィキの件数。
- このモジュールは新規参加者ホームページに有効かどうか?
- 指標：新規参加者ホームページを開いた人でもっと学ぼうとクリックした人の百分率。
- このモジュールはコミュニティが重要なイベントやキャンペーン、プロジェクトに焦点を当てる役に立つかどうか？
- 指標：新規参加者ホームページを開いた人で、コミュニティのテスト用に選んだイベント／キャンペーン／プロジェクトに参加登録した人数と、対象グループとの比較（新モジュールの表示なし）。
- このモジュールは知識の格差を減らす役に立つかどうか？
- 計測対象の指標はこの実験とは切り離すこと：波及効果が高めのトピックに関連してある程度の品質に達した新規記事の立項や既存記事の改版率が増えたかどうか、記事の編集もしくは作成の場はウィキペディアであること、品質の判断は「グローバルな品質スコア」に照らすこと、声の届きにくい地理的な地域とジェンダーから取り掛かった（underrepresented geographic regions）場合であること。（これ自体はウィキメディア財団製品&技術部門の目標と主な成果にかかげた2023-2024年ウィキ体験1.3の主要な成果の一つ（WikiExperiences）。）
ターゲット層
このプロジェクトの対象の主体は学習者：アカウント登録した編集者のうち体験値が新規参加者（編集回数10回未満もしくは活動を初めて4日以内）と経験を積んだ編集者（編集回数500回超、活動を始めて30日超）の中間の人（Learners）。
対象はモバイル版とデスクトップ版の両方の新規参加者ホームページです。
主なウィキの観衆として中規模のウィキペディアを想定していますが、この機能はコミュニティが設定可能なため、どの言語版のウィキペディアでも調整次第で有効に使えるはずです。
研究
このプロジェクトに先立って、これまで多数の研究プロジェクトや実験がありました。
- Research:Wikipedia Knowledge Graph with DeepDive (2015)
- Research:Wikipedia Knowledge Integrity Risk observatory (2021)
- Research:Prioritization of Wikipedia Articles (2020)
- Research:Automatically labeling low quality content (2020)
- Research:Knowledge Gaps Index/Taxonomy (2020)
- Research:Cross-lingual article quality assessment (2022)
- Thinking about the impact of the Wikimedia movement
- Wikimap: A map of Wikipedia
コミュニティ協議
The Growth team will initiate a discussion on our current Pilot wikis (Arabic Wikipedia and Spanish Wikipedia), along with a conversation in English on the associated MediaWiki talk page.
Questions for Community Discussion:
- Do you have any feedback or concerns about this project idea?
- Do you have any suggestions for making this feature more impactful or meaningful to your community?
- This feature will be designed to be Community Configurable by Admins. Do you think this feature will be used on your wiki?
設計
以下はモバイル版の新規参加者ホームページの初期設計のダミーで、新モジュール2件を足してあります。コミュニティ更新モジュール、コンテンツ翻訳タスク。
-
English mockup -
Spanish mockup -
アラビア語版のモックアップ
コミュニティ更新モジュールはコミュニティによる構成が可能。 管理者は新モジュールの有効無効を切り替えでき、編集者の習熟度がどのくらいならこのモジュールを表示するか決めてもらうようにする予定です（基準は編集回数）。 このモジュールは内容も設定でき、モジュール名、画像、文章、行動のきっかけも全て対象です。
計測と成果
What we will measure as part of the A/B テストの一環で計測する点（T365889）：
| 設問 | 評価指標 | 追跡するイベント |
|---|---|---|
| 認知度 - この機能が見えた期間に、各人のホームページを開いたアカウント登録者の人数は？ | 実験期間中にホームページを開いた利用者の人数 | ホームページのページ閲覧 |
| 検討課題 - モジュールのクリック操作率（CTR＝click-through-rate）って何？ | コミュニティ更新の実施回数（impressions） | モジュールの印象 |
| コミュニティ更新モジュールとクリック操作率（CTR） | Module click | |
| 会話の時間 - 同ホームページでコミュニティ更新が行動呼びかけ（CTA※）をした時、新規利用者でウィキプロジェクトやキャンペーンに登録する人は増えるか?（Call To Action） | 実験期間中にキャンペーンに参加した利用者の人数 | キャンペーンに登録 |
規格化： これには指標プラットフォームの規格化（Metrics Platform Instrumentation）を採用する予定でコアなスキーマに依存することから、新規のスキーマは作らない予定です。 新規参加者用ホームページの閲覧はHomepageVisit スキーマを使って追跡。
We also plan to mirror the Community Updates module instrumentation using the existing HomepageModule schema, as that enables us to learn about possible differences between the two approaches.
データ保持の計画： 計画で取得したデータ類は標準の保持方針である90日を超えて保存しない予定です。
Experiment Results
The Community Updates module experiment ran on four wikis: the Arabic, Czech, French, and Spanish Wikipedias. For the purposes of analysis, we consider 2024-11-01 (at midnight) as the deployment time and examine activity on those wikis during the month of November. During that time, two of the wikis ran updates that had limitations on who could see the update: the Arabic and French Wikipedia required at least 10 edits. On Czech and Spanish Wikipedia there was no limitation.
Another limiting factor in understanding the effect of the module is that the purpose of the updates were different from wiki to wiki. For example, on Spanish Wikipedia that Community Updates module linked to Wikipedia Asia Month 2024, while on Czech Wikipedia it linked to information about their weekly online wiki advice sessions.
The analysis was limited to the Spanish Wikipedia because of the time available to perform this analysis, the wiki's size, that there was no limit who could see the module, and that the module linked to a campaign that required users to sign up (meaning that we could track who signed up).
During the experiment period, the module was shown to about 3,500 users who created Wikipedia accounts during the experiment, and about 1,000 users who had registered previously. We limited our analysis to the former group as the Growth team focuses on the newcomer experience, and also because the impression and click-through counts for that group were substantially higher.
The per-user click-through rate of the module during the campaign was 1.7%. There was very little difference between the desktop and mobile web platforms when it comes to this rate. This rate is low but similar to baselines we gathered prior to the experiment for the "banner module", a previous feature on the Newcomer Homepage that worked similarly to the Community Updates module.
The sign-up rate for users after they clicked on the link in the Community Updates module, less than 5%, was substantially lower than baselines from other experiments. This led to an overall Campaign Sign-Up Rate, the key metric of the experiment that was also substantially lower than expected. When combined with the fact that the sign-up rate in the control group was also small but not zero, we end up with overall results that are not statistically significant.
改善に向けたアイデア類
Growth チームでは実験版を迅速にリリースしようとしており、この機能の最初のバージョンでは機能を制限してあるかもしれません。初期の実験を終え、この機能が使えると証明できた段階で多くの改善点に取り組んでいこうとしており、詳細は右のとおりです。Community updates module - second iteration improvement ideas（コミュニティ更新モジュール - 第2回試験に向けた改善案）
Deployment
Although the initial experiment did not produce statistically significant results, the data suggests that newcomers who saw the Community Updates module may have been more likely to sign up for a campaign. Additionally, we’ve received encouraging feedback from communities and affiliates, who view the module as a valuable tool for sharing local initiatives and onboarding newcomers. In response to this feedback, we will make the Community Updates module available to all Wikipedias in a disabled state. This enables local administrators to decide how and whether to use the feature, as it can be fully configured by communities via: Special:CommunityConfiguration/CommunityUpdates.