Growth/Analytics updates/ヘルプパネルの試験計画

This page is a translated version of the page Growth/Analytics updates/Help Panel experiment plan and the translation is 70% complete.
Outdated translations are marked like this.
Other languages:
English • ‎Tiếng Việt • ‎Türkçe • ‎čeština • ‎日本語 • ‎한국어

ヘルプパネルの目標はユーザーがページの編集作業を離れずに、もっと楽にヘルプを求める方法を提供することです。その効果としてタスクを完了できる上、コミュニティのヘルプデスクに投稿して答えを得る過程で、ウィキペディアのコミュニティとの出会いのチャンスが訪れます。ユーザーのタスク完了に手を貸すと、活発な編集者 (新人ユーザーに占める編集作業をする人の割合) の増加に結びつき、さらには編集者の定着 (新人ユーザーで2回目以降の編集作業をしにウィキペディアを再訪した人の割合) を促進する可能性があり、後者は Growth チームの包括的なゴールでもあります。 This can then enable them to complete their tasks while potentially also meeting the Wikipedia community through questions and answers at the community’s help desk. Helping users complete their tasks can lead to an increase editor activation (the proportion of new users who make edits), and potentially also editor retention (the proportion of new users who return to edit a second time), the latter being the Growth Team's overarching goal.

ヘルプパネルが編集者の活動ならびに定着率に与える影響を理解するには、6カ月をかけた A/B 試験の実施を提案します。試験中に対象ウィキ群の新規登録者の 50% は既定でヘルプパネルが利用できるようにして、残り 50% には利用できなくします。対象のウィキ群では新人歓迎アンケートの複数案比較など、同時に複数の実験を行う場合を想定しています。それらの実験で層化抽出法を採用する場合は、標本の抽出法の調整に留意します。

このチームがヘルプパネルを使って明らかにしたい質問の詳細は、 プロジェクトページのこちらの節を参照してください。実際に記録するデータの詳細はこちらの EventLogging スキーマで説明しています。

バリエーション

試験期間の6カ月には、ヘルプを求めるワークフローにおいて個別のインターフェース要素が行動にどのようなよい影響を与えるか理解するため、ヘルプパネルのいくつかのバリエーションを試験したいと考えています。インターフェース次第で (編集者の) 活発さや定着率が左右されるという仮説にこだわりすぎると特定のインターフェースばかり試験してしまい、長い目で見た活発さと定着率の試験を誤った結果に導きかねない点には気をつけます。

試験は1件ずつ進めるため、まず最初に試験するバリエーションを選ぶ必要があります。また、大規模な試験の開始からおよそ1カ月はバリエーションの試験を見送り、小規模な試験を内包しない状態でまったく問題が起きないかどうか確認します。そうすると新人編集者の活動の活発さの割合が実際にヘルプパネルそのものの効果であったと明確に把握できます。

先行指標と対策案

中規模のウィキ群で新人編集者の定着率の変遷を把握するA/B 試験には、最低でもこの長さが必要なことから、6カ月を費やします (もしも定着率が劇的に影響を受けるなら前提が異なりますが、可能性は低いと見なしています 。) 結果を待つ間に、何か不都合があると感知した場合には対処できるように、準備しておくつもりです。上記の実行戦略でご説明したデータに基づいてシナリオを想定し、以下に概略を示します。シナリオにはそれぞれの状態に用いる対策案を提案してあります。 While we wait for our results we want to be able to take action if we suspect that something is amiss. Below, we sketch out a set of scenarios based on the data described in the instrumentation strategy above.

For each scenario, we propose a plan of action to take to remedy the situation.

指標 対策案
ヘルプパネルを開かない 対象ウィキ群でヘルプパネルを見た (つまり編集機能を開いた) のに開かなかったユーザーが75% 以上の場合、見つけやすさを増やしたバリエーションの試験を優先。
  • 代替案:ガイドツアーを作成してパネルに誘導。
パネルを使わない 50% 以上のユーザーがパネルを開いたのに何も操作をせずに閉じた場合は、ガイドツアーの作成とパネルを開いたときに表示して案内する方法を検討します。
  • 代替案:利用しなかった理由を調べるアンケート要素を追加 (パネルを開いたのが単に2回目だったから閉じただけという可能性あり。)
パネルを非表示にする 10% 以上のユーザーがパネルを非表示にした場合は「歓迎アンケート」と相互参照し、当該のユーザーに編集経験があると記入したか、アンケートそのものを受けなかったか調べます。どちらでもない場合は設計変更。
ヘルプリンクを押さない もしリンクのクリック数が1件でも (全ヘルプリンクのクリック総数に対して) 10% 以下だった場合、コミュニティの大使と協議してリンクを除去するか交換するか検討します。
質問をしない 25% 以上のユーザーがヘルプパネルを開き (ヘルプリンクを押さないまま) 質問投稿の過程に進まなかった場合、ガイドツアーを作成し質問投稿に誘導するかどうか検討します。


15% 以上のユーザーが質問を書き始めたのに投稿しなかった場合、質問と回答のワークフローを見直して別の設定を試みます。

質問の質が低い 50% 以上の質問が文字数にして半角30文字 (もしくはその言語の文字数換算で同等の数値) 以下だった場合は、聞きたい内容をもっと詳しく書けるようにデザインを見直します。
未回答の質問 10% 以上の質問がヘルプパネルで未回答だった場合は、大使に連絡して理由を調べ、編集者に対応をお願いする通知システムを検討します。あるいはヘルプデスクの人手が足りないかどうか検討します。

質問への回答までの所要時間が平均 24 時間を超過した場合は、大使に理由を問い合わせます。

再訪せず答えも読まない 再訪して自分の質問に寄せられた答えを読むユーザーが35% 以下の場合、ユーザーに通知できるよう、メールアドレスを獲得する方法の改善を協議します。
答えを読んだのにページをさらに編集しない 25% 以上の利用者がヘルプパネルの操作後に質問を投稿、回答を得た後にサイトを再訪したのに、その後、編集活動をしなかった場合は、そのユーザー群から対象を無作為抽出して質問の内容を調査し、再訪して編集活動を続けるだろうという予測が妥当だったかどうか研究します。

導入1カ月後の先行指標の状態

ヘルプパネルの実装はチェコ語版と朝鮮語版ウィキペディアで2019年1月11日に行いました。1カ月後、両方のウィキにおけるその時点までの登録者全員のデータを収集、先行指標を評価し、特定の機能の挙動に問題がないかどうか検討しています。概要としていくつか改善すべき分野が示唆されたものの、ヘルプパネルの挙動はおおむね健全であり、両方のウィキに対して悪い影響は与えていないと考えます。

テスト用アカウントが判明した場合は除去しており、テストパネルの設定を有効・無効のどちらかに変更したユーザーも削除対象にしました。理由は自己選択で被験者群への追加または削除を操作することは、群への無作為な割り当てに依拠する「平等な期待」に反するためです。ただし以下に示すように、自分の設定を変更したユーザーはごく少数でした。

指標 閾値 チェコ語版ウィキペディア 朝鮮語版ウィキペディア
ヘルプパネルを開かない 75%以上の対象ウィキ群のユーザーがヘルプパネルを見た (つまり編集機能を開いた) のに、パネルを開かなかった。 84.7% 77.4%
パネルを使わない 50%以上のユーザーが、パネルを開いたのに何も操作をせずに閉じた。 36.8% 39.4%
パネルを非表示にする 10%以上のユーザーがパネルを非表示にした。 0.5% 0.3%
ヘルプリンクを押さない 特定のリンクをクリックした率は全体の 10% 以下 (さまざまなヘルプリンク全体に占める割合。) 3 links None
質問をしない 25% 以上のユーザーが (ヘルプリンクを押さないまま) ヘルプパネルを開いたのに、質問を投稿する過程へも進まなかった。 69.2% 93.7%
15% 以上のユーザーが質問を書き始めたのに投稿しなかった。 21.7% 37.5%
質問の質が低い 50% 以上の質問が文字数にして半角30文字 (もしくはその言語の文字数換算で同等の数値) 以下だった。 30.0% 16.7%
ユーザーが再訪せず答えも読まない 35% 以下のユーザーが自分の質問に対する投稿を読むために再訪した。 36.8% 50.0%

上記の閾値のうち、4件は懸念材料であり、その考察を以下の一覧にまとめてあります。

  • ヘルプパネルを開かなかった場合:どちらの言語版でもある程度の件数を認めたものの、閾値と比べてそれほど目立った差異はありません。これは問題解決として健全な数値であり、改善の余地があると感じます。その状況ですでにヘルプパネルをもっと多くの場所に表示し始め、ユーザーがそれを開く機会を増やしました。現状で読み取りモードで表示される場所とは、ヘルプ、ウィキペディアおよびユーザーの名前空間です。この作業は経過をT215664で追跡、2019年3月6日に完了。

This makes us feel like we have healthy open rates that have room for improvement. In that vein, we have started to display the help panel in more places, so that users have more opportunities to open it up. The help panel is now being displayed in reading mode in the Help, Wikipedia, and User namespaces. This work was tracked in T215664 and completed by March 6, 2019.

  • ヘルプリンクを押さない場合:分析の結果、チェコ語版ではリンク3件の流量が低かったため、特筆性に関する補足情報のリンクを除去して、画像を追加する方法と交換しました。後者はチェコ語版ヘルプデスクに投稿された質問のうち最多で、また朝鮮語版のヘルプリンクで最も閲覧されたからです。さらにガイドへのリンクボタンは「Quick tutorial」に改名、理由は朝鮮語版ウィキペディアで利用数第2位だからです。この作業はT217391で追跡、2019年3月6日に完了。

We also relabelled the link to the guide to be labelled "Quick tutorial", because that is what is used in the Korean Wikipedia, where that is the second most frequently clicked link. This work was tracked in T217391 and completed by March 6, 2019.

  • 質問を投稿しない場合:そもそも事前の予測として (ヘルプリンクをクリックしないで) ヘルプパネルを開いたユーザーが質問をする率は 75% という数字は野心的すぎたようです。チェコ語版の質問投稿率の実績は妥当と評価され、また朝鮮語版で質問投稿率が低い背景として、公開の質問をするという行動そのものが合わないとわかりました。そこでヘルプパネルに「検索」ボタンを追加、ユーザーの答え探しに好ましい別の方法を提供しようとしました。この作業はT209301で追跡し、2019年2月25日に完了。

We feel comfortable with the rate of questions being asked in Czech, and we are learning that perhaps the paradigm of asking public questions is not a great fit for Korean Wikipedia, given the low rate of questions there. This is one of the reasons we added "search" to the help panel, so that users would have different ways to find help that might fit their own preferences of how to find it. This work was tracked in T209301 and completed by February 25, 2019.

  • 質問を書き始めたのに投稿しなかった場合:この評価指数の元となる実数はまだ低く、閾値を大きく上回ったと確信するには至りません。この項目の分析時点で、質問の投稿を完了しなかったユーザーはわずか25人でした。そこで後日、この指数を再検討する予定です。

At the time of this analysis, only about 25 people had attempted asking a question. We will therefore revisit this indicator at a later stage.