Tăng trưởng/Hiểu ngày đầu tiên

Nhóm:	Tăng trưởng
Khởi đầu:	2018-10-01
Kết thúc:	2020-07-16
Thành viên nhóm:	Stephane Bisson (software engineer), Benoît Evellin (community relations specialist), Elena Tonkovidova (QA engineer), Kosta Harlan (software engineer), Morten Warncke-Wang (data analyst), Rita Ho (senior user experience designer)
Trưởng nhóm:	Roan Kattouw
Quản lý:	Ryan Kaldari (engineering), Marshall Miller (product), Jazmin Tanner (program)
Cập nhật:	Most updates posted here.

This page is a translated version of the page Growth/Understanding first day and the translation is 66% complete.

Theo dõi trên Phabricator
Việc T205754

Trang này mô tả công việc của nhóm Tăng trưởng trong dự án "trang chủ người mới", đây là một dự án cụ thể theo sáng kiến "ngày đầu tiên được cá nhân hóa". Trang này chứa các tài sản, thiết kế và quyết định chính. Hầu hết các cập nhật gia tăng về tiến trình sẽ được đăng trên Trang cập nhật nhóm Tăng trưởng, với một số cập nhật lớn hoặc chi tiết được đăng ở đây.

Vì dự án này hoàn toàn là về thiết bị và đo lường, nhiều nhóm tại WMF đã tham gia vào việc định hình nó, bao gồm Pháp lý, Bảo mật, Kỹ thuật phân tích và Phân tích sản phẩm. Điều quan trọng đối với tất cả chúng ta là chúng ta tôn trọng quyền riêng tư của người dùng trong khi vẫn học những gì chúng ta cần học để cải thiện trải nghiệm của họ. Khi chúng tôi lặp lại cách tốt nhất để làm điều đó, các kế hoạch được mô tả trên trang này sẽ thay đổi.

Tình hình hiện tại

19/11/2018: Lược đồ EditorJourney được triển khai trên Wikipedia Tiếng Séc và Tiếng Hàn Quốc.
15/01/2019: Báo cáo ban đầu về dữ liệu EditorJourney được xuất bản tại đây.
16/01/2019: Lược đồ EditorJourney được triển khai trên Wikipedia Tiếng Việt.
01/7/2019: Lược đồ Editor được triển khai trên Wikipedia Tiếng Ả Rập.
2020-07-16: chúng tôi đã quyết định dừng EditorJourney cho các wiki mới bởi vì chúng tôi đã hoàn thiện với việc phân tích dữ liệu mà nó tạo ra, và chúng tôi không muốn giữ dữ liệu người dùng nhiều hơn chúng tôi cần.

Tóm tắt

Hầu hết người dùng mới tạo tài khoản không bao giờ thực hiện chỉnh sửa - nhưng những người 'thực hiện' chỉnh sửa thường thực hiện chúng trong ngày đầu tiên có tài khoản. Chúng tôi có ít kiến thức về những gì chủ tài khoản mới làm vào ngày đầu tiên sau khi họ tạo tài khoản - cho dù họ đọc nội dung trợ giúp, cố gắng chỉnh sửa mà họ không xuất bản hoặc điều gì khác. Biết thêm về các phiên ban đầu này có thể giúp chúng tôi cải thiện trải nghiệm và dẫn đến nhiều chủ tài khoản mới thực hiện các chỉnh sửa trong ngày đầu tiên. Để hiểu những gì chủ tài khoản mới làm trong ngày đầu tiên của họ, chúng tôi đã đưa ra trải nghiệm người dùng mới bằng Wikipedias của Séc và Hàn Quốc để trả lời những câu hỏi sau:

Quy trình công việc phổ biến nhất mà chủ tài khoản mới của Séc và Hàn Quốc trải qua trong 24 giờ đầu tiên là gì?
Bao nhiêu phần trăm của những chủ tài khoản mới trải qua từng quy trình công việc đó?
Quy trình công việc nào có và không có xu hướng dẫn đến chỉnh sửa?

Nhóm Phát triển đang nỗ lực tìm câu trả lời cho những câu hỏi này bằng cách thêm công cụ EventLogging cho tất cả người dùng mới trong Wikipedias (Séc, Hàn Quốc và Việt Nam) trong 24 giờ đầu tiên tồn tại trong tài khoản của họ. Để phát triển một cái nhìn rõ ràng về trải nghiệm người dùng mới, chúng tôi cũng có kế hoạch kết nối và sử dụng dữ liệu từ các nỗ lực EventLogging hiện có khác xung quanh các tính năng như Echo, Visual Editor và Guided Tour. Khả năng này lần đầu tiên được triển khai vào tháng 11 năm 2018 tới Wikipedias của Séc và Hàn Quốc và báo cáo ban đầu đã được xuất bản vào tháng 1 năm 2019.

Các cuộc thảo luận cộng đồng ban đầu xung quanh dự án này có thể được tìm thấy ở đây.

Tại sao dự án này lại được ưu tiên

Our research has taught us a lot about the motivations and needs of new editors, and one of the most important things we learned is that a new editor's very first experiences with editing can be the deciding factor for whether they continue to edit. Most people who create accounts in Wikipedia never make an edit, but of those who do, that edit tends to happen on the day they create their account. In conjunction with the "Personalized first day" project, this project is critical for continuing our learning on those first moments of attempting to edit. We need to know more about how new editors approach their first edits, so we know where to plug in and help. For instance, if we see a lot of new editors reading help content, but then not attempting an edit, we might conclude that help content is important but not helpful as currently written and presented. Or if we see a lot of new editors going straight to opening the editor, but then leaving before saving an edit, we might conclude that the most important place to provide help is inside the editing experience.

Chúng tôi ưu tiên dự án này bởi vì:

It helps us increase our learning at this early stage of our team's work with new editors.
Community members were positive in their feedback on the idea.
It lays the groundwork for learning whether changes we make to the new editor's experience change their behavior.
Nó sẽ rất dễ dàng để dịch và áp dụng tới các wiki khác trong tương lai.

Các phần dưới đây có thể được thay đổi đáng kể trong những tuần tới, hoặc quá kỹ thuật hoặc ít liên quan đến sự hiểu biết về dự án. Chúng tôi đã quyết định không dịch chúng.

Specifications

This section contains the evolving plans for measurement.

Các tham số tổng quan

Will apply to all new accounts created in Czech and Korean Wikipedias, but will exclude auto-created accounts from other wikis.
Will be active for the first 24 hours of the existence of a new account.
At the user level, will record visits to pages in namespaces where new editors might be seeking help, such as the Help, Wikipedia, or User namespaces (and their associated Talk spaces).
For pages in more sensitive namespaces, such as Article, Draft, or Portal, will record only that the namespace was visited, not the specific page title.
Data will only be available to people with NDA access.
Data will be anonymized, deleted, and/or aggregated after 90 days.

Các câu hỏi đặc trưng

The outline below lays out the specific questions we want to answer with this instrumentation effort. Most of these questions will be answered with the new EditorJourney EventLogging schema being built for this project. Some questions, especially those under #4 ("After the editing experience begins") will be answered by connecting with existing EventLogging schemas built to measure existing features.

Context: How often do accounts get created from the different possible account creation contexts?
- Homepage
- Reading experience
- Editing experience
Survey: When shown the “Personalized first day” survey right after account registration, do users respond to one or more questions in the survey, or skip the survey altogether and go back to what they were doing prior to account registration?
After account creation, what are the various common workflows that new account holders go through before making an edit (or before never making an edit)? We want to count the frequency of workflows such as, but not limited to, the following. The reason it’s “not limited to” is that we don’t yet know which workflows we will discover.
- Reading articles first: reading many pages in the Article namespace and then either leaving or editing.
- Learning first: Consuming some sort of learning content and then either leaving or editing. This content is found in namespaces other than Article namespace, or through certain actions that may not be captured in page views or existing schemas:
  - Viewing content in the Help, Wikipedia, or User namespaces (among others), including help desks
  - Clicking on a link in a welcome message on their own user talk page
  - Opening and reading notifications
  - Opening and updating account settings/preferences
  - Verifying or adding/updating email address.
- Straight to editing: going straight to editing without reading many articles or any learning content
  - This can either happen because the account was created from the editing experience, or the reader opened the editor from the reading experience soon after account creation.
  - Is this the creation of a new page?
  - When opening the editor, some wikis display a GuidedTour or GettingStarted. Did the user click on anything in GuidedTour or GettingStarted?
- Any combination of the above, such as a workflow in which users read some articles, followed by reading a help page, followed by starting and abandoning an edits, followed by a successful edit.
After the editing experience begins, what percent of users successfully save an edit? And for those who abort their edits, what do they do in the editor before aborting?
- On what page is the attempted edit happening?
- How often do users quickly exit the editor without actually interacting with the page?
- How often do users do a substantial amount of interaction with the page before aborting?
- How often do users switch the type of editor?
- If the edit was saved, how many bytes changed in the edit?
- Was the resulting edit reverted or thanked?
After saving or aborting an edit, what happens next? (Return to Step 3).

Other schemas

This is a list of some of the other EventLogging schemas we may use to enrich the picture of what new account holders do in their first hours on the wiki:

Dòng chuyển người dùng

Full user workflow from the planning of this project

In planning out this project's measurement and analysis needs, our team's designer assembled some visual user flows that help us chart out the journey of new users during their first hours in the wiki. Như nó được ghi trong các slide ở dưới:

"The following user flows document the various pathways newly created Wikipedia accounts can take to become a newly 'activated' editor (after making a first edit), to being retained (2nd edit), through to 'survival' (3rd edit within first 6 weeks). The diagrams note the desired data to be captured at each user interaction, with the intention to both help the Growth team identify the various points for instrumentation, as well as helping visualize the funnel of New Editor retention."

Though the flows extend our thinking to multiple edits in a new user's journey, we have since decided to constrain our measurement to just their first day.

The full slide deck is here, and also linked on this Phabricator task. At right is the image of the full user flow, which is the main slide from the slide deck. Please note that these are presented as an artifact of our team's thinking, but are no longer being updated as our approach continues to evolve. The Specifications section above reflects the current approach.

Analysis

Because the EditorJourney data records much detail on what newcomers do on their first day, we'll be able to ask and answer many questions using the dataset. In this sense, our analysis will never be complete, and we can always use the dataset to answer additional questions about newcomers. This section lists the analyses that have been completed. Community members should feel free to translate any of these reports into their languages. Future analyses will continue to address the list of questions in the "Specifications" section above.

EditorJourney initial report: the first report using the EditorJourney dataset, addressing the questions of what context newcomers create their accounts from, and how many newcomers do which activities at some point on their first day. Some important toplines:
- This data substantially clarifies our understanding of newcomers: many of them notice outreach, look for help content, and a majority of them open an editor. It's good news that so many are engaged and trying to succeed, and the clarity gives us opportunities to meet them where they are, so that when they go looking for something helpful, they find it.
- Large numbers of users view help or policy pages on their first day: 41.5% in Czech and 27.8% in Korean.
- Large numbers of users view their own User or User Talk page on their first day: 33.8% in Czech and 39.3% in Korean.
- A majority of new users open an editor on their first day – but about a quarter of them do not go on to save an edit during that time.