Growth/初日を理解する
このページではGrowth チームが担当する「それぞれの初日を理解する」プロジェクト(別称「EditorJourneyGrowth」) を説明し、目標や計画、意思決定、結果を載せてあります。進捗状況に関する定期的な更新情報は主にGrowth チームの更新ページにあり、このページには大がかりな、あるいは詳細な更新情報があります。
|
Understanding first day
 Gather information about new editors' first 24 hours to understand how they prepare to edit
|
このプロジェクトは計装と効果測定そのものであるためウィキメディア財団の多くのチームが形成に関わり、法務、セキュリティ、分析工学および製品分析の各チームが含まれます。私たち全員にユーザーの経験向上を目指し、ユーザーのプライバシーを尊重しながら見落としてきたことを学ぶという共通の重要課題があります。このページに記載の計画は目的達成の最善手法を求めるために繰り返し変更を加えていき、最終案ではありません。
現状
- 2018年11月19日: EditorJourney スキーマをチェコ語版と韓国語版ウィキペディアに展開。
- 2019年 1月15日：EditorJourney データの初回報告書をこちらに発表。
- 2019年1月16日: EditorJourney スキーマをチェコ語版と韓国語版ウィキペディアに展開。
- 2019年 7月 1日: EditorJourney スキーマをアラビア語版ウィキペディアに実装。
- 2020年7月16日: EditorJourney をほかのウィキに実装する計画は中止、理由はこれから発生するデータの分析が終わり、必要以上の利用者情報の蓄積を避けるためです。
要約
ほとんどの新人編集者はアカウント登録後、まったく編集をしていません -- している場合は通常、登録の当日に実行しています。 アカウント登録者が実際に初日にどんな行動を取るか、ほとんどわかっていません -- ヘルプページを読む、試しに編集してみるが公開しない、あるいはその他か。 これらごく初期のセッションをもっと知ればより良い経験をするように手助けができ、新しいアカウント登録者で登録初日から編集を始める人をもっと増やせるかもしれません。 そこで初めてアカウント登録をした人の初日の行動を理解する目的で、チェコ語版と朝鮮語版ウィキペディアに新規の利用者体験を組み込み、以下の課題解決を試みています。
- チェコ語版と朝鮮語版ウィキペディアの新規のアカウント登録者は、登録後24時間のワークフローでどんな典型を示すか？
その新規登録者のうち、それぞれのワークフローを通過するのは何パーセントか？
- 実際にどのワークフローから編集に至るか？ あるいは至らないか？
Growth チームはこれら課題の解決に向け、ターゲットのウィキペディア群 (チェコ語、朝鮮語、ベトナム語) の新規アカウント登録者を対象に、登録後24時間にわたりEventLogging実装を追加します。 新利用者の経験をきちんと明確に理解するには、EchoやVisual Editor、Guided Tourなどと連携して既存のデータを活用する計画です。 この性能は2018年11月、最初にチェコ語版と朝鮮語版ウィキペディアに展開、初回レポートを2019年1月に発表しました。
コミュニティの協議で、このプロジェクトの下敷きになったものはこちらで参照できます。
この案を優先する根拠
調査を行った結果、新人編集者の参加の動機や必ニーズを多く学ぶことができ、とりわけ重要な点のひとつは、編集体験のいちばん最初にどんな思いをしたかによって、その後も活動を続けるかどうか決定因子になるという点でした。ウィキペディアにアカウント登録をしても大半の人は編集をしないままですが、実際に始める人の場合は、アカウント作成の当日に初回の編集をしてみる傾向があります。そこでこのプロジェクトは「一人ひとりの初日」プロジェクトとも連係し、初めて編集にチャレンジする体験についてもっと学ぶ上で非常に大切になります。新人編集者はどのようにして、いちばん最初の編集作業へとつながるのか、もっと知ることで私たちがどこで役に立てるかわかるはずです。 一例として、ヘルプページを読む新人編集者は多いのに、実際に編集をしていないとすると、ヘルプのコンテンツは重要なのに現状の記述と見せ方では「助けになっていない」と結論づけることもできます。あるいはたくさんの新人編集者がまずエディタを開いたが編集を試みても保存せずに閉じたなら、ヘルプを置くのに最適な場所は編集体験の「なか」という結論も導けます。
このプロジェクトを優先させる理由は次のとおりです。
- 新人編集者に関する企画において、この初期の段階で多くのことを学ぶことができます。
- コミュニティの皆さんからこの案に対して肯定的なフィードバックを受けました。
- それにより、私たちが新人編集者の体験を変えると、その人たちの行動が変わるかどうか、知識を増やす基盤を整えてくれます。
- これを現地化して他のウィキに応用することはそんなに難しいことではないと考えます。
仕様
この節には計測に関する発展中の計画案を列記します。
すべてのパラメーター
- Will apply to all new accounts created in Czech and Korean Wikipedias, but will exclude auto-created accounts from other wikis.
- Will be active for the first 24 hours of the existence of a new account.
- At the user level, will record visits to pages in namespaces where new editors might be seeking help, such as the Help, Wikipedia, or User namespaces (and their associated Talk spaces).
- For pages in more sensitive namespaces, such as Article, Draft, or Portal, will record only that the namespace was visited, not the specific page title.
- Data will only be available to people with NDA access.
- Data will be anonymized, deleted, and/or aggregated after 90 days.
特定の質問
以下に概要において、この測定の設計や趣旨、使い方の努力に役立てるため、答えを出すべき特定の質問をまとめております。 Most of these questions will be answered with the new EditorJourney EventLogging schema being built for this project. 質問によっては、特に第14番（「編集体験が始まってから」）のように既存の機能を測定する EventLogging というスケマとの連動によって、答えが出そうなものもあります。
- Context: How often do accounts get created from the different possible account creation contexts?
- Homepage
- Reading experience
- Editing experience
- Survey: When shown the “Personalized first day” survey right after account registration, do users respond to one or more questions in the survey, or skip the survey altogether and go back to what they were doing prior to account registration?
- After account creation, what are the various common workflows that new account holders go through before making an edit (or before never making an edit)? We want to count the frequency of workflows such as, but not limited to, the following. The reason it’s “not limited to” is that we don’t yet know which workflows we will discover.
- Reading articles first: reading many pages in the Article namespace and then either leaving or editing.
- Learning first: Consuming some sort of learning content and then either leaving or editing. This content is found in namespaces other than Article namespace, or through certain actions that may not be captured in page views or existing schemas:
- Viewing content in the Help, Wikipedia, or User namespaces (among others), including help desks
- Clicking on a link in a welcome message on their own user talk page
- Opening and reading notifications
- Opening and updating account settings/preferences
- Verifying or adding/updating email address.
- Straight to editing: going straight to editing without reading many articles or any learning content
- This can either happen because the account was created from the editing experience, or the reader opened the editor from the reading experience soon after account creation.
- Is this the creation of a new page?
- When opening the editor, some wikis display a GuidedTour or GettingStarted. Did the user click on anything in GuidedTour or GettingStarted?
- Any combination of the above, such as a workflow in which users read some articles, followed by reading a help page, followed by starting and abandoning an edits, followed by a successful edit.
- After the editing experience begins, what percent of users successfully save an edit? And for those who abort their edits, what do they do in the editor before aborting?
- On what page is the attempted edit happening?
- How often do users quickly exit the editor without actually interacting with the page?
- How often do users do a substantial amount of interaction with the page before aborting?
- How often do users switch the type of editor?
- If the edit was saved, how many bytes changed in the edit?
- Was the resulting edit reverted or thanked?
- After saving or aborting an edit, what happens next? (Return to Step 3).
Other schemas
This is a list of some of the other EventLogging schemas we may use to enrich the picture of what new account holders do in their first hours on the wiki:
- ServerSideAccountCreation
- Echo
- EchoInteraction
- PrefUpdate
- EditAttemptStep
- VisualEditorFeatureUse
- Page creation
- GettingStartedRedirectImpression
- GuidedTourButtonClick
- GuidedTourExited
- GuidedTourExternalLinkActivation
- GuidedTourGuiderHidden
- GuidedTourGuiderImpression
- GuidedTourInternalLinkActivation
利用者体験の流れ図
In このプロジェクトの指標の設計ならびに分析の必要度を見積もる段階で、私たちのチームの設計者は利用者の作業の流れずを図式化して、新規利用者がウィキに到着して数時間のうちにどんな旅程 をたどるのか、当チームが道順をつけるのに役立てました。 下記にあるスライド集のリンクを開くと、以下を述べています。
"The following user flows document the various pathways newly created Wikipedia accounts can take to become a newly 'activated' editor (after making a first edit), to being retained (2nd edit), through to 'survival' (3rd edit within first 6 weeks). The diagrams note the desired data to be captured at each user interaction, with the intention to both help the Growth team identify the various points for instrumentation, as well as helping visualize the funnel of New Editor retention."
流れ図は参加利用者のたどる旅程を想定した当チームの視野を押し広げ、複数回の編集を対象にした方がよいだろうと考えを改めましたが、指標は初日に限定することに決めました。
The full slide deck is here, and also linked on this Phabricator task. At right is the image of the full user flow, which is the main slide from the slide deck. Please note that these are presented as an artifact of our team's thinking, but are no longer being updated as our approach continues to evolve. The Specifications section above reflects the current approach.
Analysis
Because the EditorJourney data records much detail on what newcomers do on their first day, we'll be able to ask and answer many questions using the dataset. In this sense, our analysis will never be complete, and we can always use the dataset to answer additional questions about newcomers. This section lists the analyses that have been completed. Community members should feel free to translate any of these reports into their languages. Future analyses will continue to address the list of questions in the "Specifications" section above.
- EditorJourney initial report: the first report using the EditorJourney dataset, addressing the questions of what context newcomers create their accounts from, and how many newcomers do which activities at some point on their first day. Some important toplines:
- This data substantially clarifies our understanding of newcomers: many of them notice outreach, look for help content, and a majority of them open an editor. It's good news that so many are engaged and trying to succeed, and the clarity gives us opportunities to meet them where they are, so that when they go looking for something helpful, they find it.
- Large numbers of users view help or policy pages on their first day: 41.5% in Czech and 27.8% in Korean.
- Large numbers of users view their own User or User Talk page on their first day: 33.8% in Czech and 39.3% in Korean.
- A majority of new users open an editor on their first day – but about a quarter of them do not go on to save an edit during that time.