Growth/Analytics updates/ヘルプパネルの試験計画

ヘルプパネルの目標はユーザーがページの編集作業を離れずに、もっと楽にヘルプを求める方法を提供することです。 その効果としてタスクを完了できる上、コミュニティのヘルプデスクに投稿して答えを得る過程で、ウィキペディアのコミュニティとの出会いのチャンスが訪れます。 ユーザーのタスク完了に手を貸すと、活発な編集者 (新人ユーザーに占める編集作業をする人の割合) の増加に結びつき、さらには編集者の定着 (新人ユーザーで2回目以降の編集作業をしにウィキペディアを再訪した人の割合) を促進する可能性があり、後者は Growth チームの包括的なゴールでもあります。

ヘルプパネルが編集者の活動ならびに定着率に与える影響を理解するには、6カ月をかけた A/B 試験の実施を提案します。試験中に対象ウィキ群の新規登録者の 50% は既定でヘルプパネルが利用できるようにして、残り 50% には利用できなくします。対象のウィキ群では新人歓迎アンケートの複数案比較など、同時に複数の実験を行う場合を想定しています。それらの実験で層化抽出法を採用する場合は、標本の抽出法の調整に留意します。

このチームがヘルプパネルを使って明らかにしたい質問の詳細は、 プロジェクトページのこちらの節を参照してください。実際に記録するデータの詳細はこちらの EventLogging スキーマで説明しています。

バリエーション

試験期間の6カ月には、ヘルプを求めるワークフローにおいて個別のインターフェース要素が行動にどのようなよい影響を与えるか理解するため、ヘルプパネルのいくつかのバリエーションを試験したいと考えています。インターフェース次第で (編集者の) 活発さや定着率が左右されるという仮説にこだわりすぎると特定のインターフェースばかり試験してしまい、長い目で見た活発さと定着率の試験を誤った結果に導きかねない点には気をつけます。

試験は1件ずつ進めるため、まず最初に試験するバリエーションを選ぶ必要があります。また、大規模な試験の開始からおよそ1カ月はバリエーションの試験を見送り、小規模な試験を内包しない状態でまったく問題が起きないかどうか確認します。そうすると新人編集者の活動の活発さの割合が実際にヘルプパネルそのものの効果であったと明確に把握できます。

先行指標と対策案

中規模のウィキ群で新人編集者の定着率の変遷を把握するA/B 試験には、最低でもこの長さが必要なことから、6カ月を費やします (もしも定着率が劇的に影響を受けるなら前提が異なりますが、可能性は低いと見なしています。) 結果を待つ間に、何か不都合があると感知した場合には対処できるように、準備しておくつもりです。 上記の実行戦略でご説明したデータに基づいてシナリオを想定し、以下に概略を示します。 シナリオにはそれぞれの状態に用いる対策案を提案してあります。

指標	対策案
ヘルプパネルを開かない	対象ウィキ群でヘルプパネルを見た (つまり編集機能を開いた) のに開かなかったユーザーが75% 以上の場合、見つけやすさを増やしたバリエーションの試験を優先。 代替案：ガイドツアーを作成してパネルに誘導。
パネルを使わない	50% 以上のユーザーがパネルを開いたのに何も操作をせずに閉じた場合は、ガイドツアーの作成とパネルを開いたときに表示して案内する方法を検討します。 代替案：利用しなかった理由を調べるアンケート要素を追加 (パネルを開いたのが単に2回目だったから閉じただけという可能性あり。)
パネルを非表示にする	10% 以上のユーザーがパネルを非表示にした場合は「歓迎アンケート」と相互参照し、当該のユーザーに編集経験があると記入したか、アンケートそのものを受けなかったか調べます。どちらでもない場合は設計変更。
ヘルプリンクを押さない	もしリンクのクリック数が1件でも (全ヘルプリンクのクリック総数に対して) 10% 以下だった場合、コミュニティの大使と協議してリンクを除去するか交換するか検討します。
質問をしない	25% 以上のユーザーがヘルプパネルを開き (ヘルプリンクを押さないまま) 質問投稿の過程に進まなかった場合、ガイドツアーを作成し質問投稿に誘導するかどうか検討します。 15% 以上のユーザーが質問を書き始めたのに投稿しなかった場合、質問と回答のワークフローを見直して別の設定を試みます。
質問の質が低い	50% 以上の質問が文字数にして半角30文字 (もしくはその言語の文字数換算で同等の数値) 以下だった場合は、聞きたい内容をもっと詳しく書けるようにデザインを見直します。
未回答の質問	10% 以上の質問がヘルプパネルで未回答だった場合は、大使に連絡して理由を調べ、編集者に対応をお願いする通知システムを検討します。あるいはヘルプデスクの人手が足りないかどうか検討します。 質問への回答までの所要時間が平均 24 時間を超過した場合は、大使に理由を問い合わせます。
再訪せず答えも読まない	再訪して自分の質問に寄せられた答えを読むユーザーが35% 以下の場合、ユーザーに通知できるよう、メールアドレスを獲得する方法の改善を協議します。
答えを読んだのにページをさらに編集しない	25% 以上の利用者がヘルプ パネルの操作後に質問を投稿、回答を得た後にサイトを再訪したのに、その後、編集活動をしなかった場合は、その利用者群から対象を無作為抽出して質問の内容を調査し、再訪して2回めの編集をするだろうという予測が妥当だったかどうか研究します。

導入1カ月後の先行指標の状態

ヘルプパネルの実装はチェコ語版と朝鮮語版ウィキペディアで2019年1月11日に行いました。1カ月後、両方のウィキにおけるその時点までの登録者全員のデータを収集、先行指標を評価し、特定の機能の挙動に問題がないかどうか検討しています。概要としていくつか改善すべき分野が示唆されたものの、ヘルプパネルの挙動はおおむね健全であり、両方のウィキに対して悪い影響は与えていないと考えます。

テスト用アカウントが判明した場合は除去しており、テストパネルの設定を有効・無効のどちらかに変更したユーザーも削除対象にしました。理由は自己選択で被験者群への追加または削除を操作することは、群への無作為な割り当てに依拠する「平等な期待」に反するためです。ただし以下に示すように、自分の設定を変更したユーザーはごく少数でした。

指標	閾値	チェコ語版ウィキペディア	朝鮮語版ウィキペディア
ヘルプパネルを開かない	75%以上の対象ウィキ群のユーザーがヘルプパネルを見た (つまり編集機能を開いた) のに、パネルを開かなかった。	84.7%	77.4%
パネルを使わない	50%以上のユーザーが、パネルを開いたのに何も操作をせずに閉じた。	36.8%	39.4%
パネルを非表示にする	10%以上のユーザーがパネルを非表示にした。	0.5%	0.3%
ヘルプリンクを押さない	特定のリンクをクリックした率は全体の 10% 以下 (さまざまなヘルプリンク全体に占める割合。)	3 links	None
質問をしない	25% 以上のユーザーが (ヘルプリンクを押さないまま) ヘルプパネルを開いたのに、質問を投稿する過程へも進まなかった。	69.2%	93.7%
	15% 以上のユーザーが質問を書き始めたのに投稿しなかった。	21.7%	37.5%
質問の質が低い	50% 以上の質問が文字数にして半角30文字 (もしくはその言語の文字数換算で同等の数値) 以下だった。	30.0%	16.7%
ユーザーが再訪せず答えも読まない	35% 以下のユーザーが自分の質問に対する投稿を読むために再訪した。	36.8%	50.0%

上記の閾値のうち、4件は懸念材料であり、その考察を以下の一覧にまとめてあります。

• ヘルプパネルを開かなかった場合：どちらの言語版でもある程度の件数を認めたものの、閾値と比べてそれほど目立った差異はありません。 これは問題解決として健全な数値であり、改善の余地があると感じます。 その状況ですでにヘルプパネルをもっと多くの場所に表示し始め、ユーザーがそれを開く機会を増やしました。 現状で読み取りモードで表示される場所とは、ヘルプ、ウィキペディアおよびユーザーの名前空間です。 この作業は経過をT215664で追跡、2019年3月6日に完了。
• ヘルプリンクを押さない場合：分析の結果、チェコ語版ではリンク3件の流量が低かったため、特筆性に関する補足情報のリンクを除去して、画像を追加する方法と交換しました。後者はチェコ語版ヘルプデスクに投稿された質問のうち最多で、また朝鮮語版のヘルプリンクで最も閲覧されたからです。 さらにガイドへのリンクボタンは「Quick tutorial」に改名、理由は朝鮮語版ウィキペディアで利用数第2位だからです。 この作業はT217391で追跡、2019年3月6日に完了。
• 質問を投稿しない場合：そもそも事前の予測として (ヘルプリンクをクリックしないで) ヘルプパネルを開いたユーザーが質問をする率は 75% という数字は野心的すぎたようです。 チェコ語版の質問投稿率の実績は妥当と評価され、また朝鮮語版で質問投稿率が低い背景として、公開の質問をするという行動そのものが合わないとわかりました。 そこでヘルプパネルに「検索」ボタンを追加、ユーザーの答え探しに好ましい別の方法を提供しようとしました。 この作業はT209301で追跡し、2019年2月25日に完了。
• 質問を書き始めたのに投稿しなかった場合：この評価指数の元となる実数はまだ低く、閾値を大きく上回ったと確信するには至りません。 この項目の分析時点で、質問の投稿を完了しなかったユーザーはわずか25人でした。 そこで後日、この指数を再検討する予定です。