Tăng trưởng/Cá nhân hóa ngày đầu tiên/Trang nhà người mới

Nhóm:	Growth
Khởi đầu:	2018-07-24
Thành viên nhóm:	Gergő Tisza (software engineer), Benoît Evellin (community relations specialist), Elena Tonkovidova (QA engineer), Kosta Harlan (software engineer), Morten Warncke-Wang (data analyst), Rita Ho (senior user experience designer)
Trưởng nhóm:	Roan Kattouw
Quản lý:	Marcella Florence (engineering), Marshall Miller (product), Jazmin Tanner (program)
Cập nhật:	Most updates posted here.

This page is a translated version of the page Growth/Personalized first day/Newcomer tasks and the translation is 96% complete.

Theo dõi trên Phabricator
Việc T227728

Trang này mô tả công việc của Nhóm Tăng trưởng đối với dự án "nhiệm vụ dành cho người mới", một dự án cụ thể nằm trong chuỗi sáng kiến "Cá nhân hóa ngày đầu tiên". Trang này chứa các sản phẩm, thiết kế và quyết định chính. Hầu hết các cập nhật thêm vào sẽ được đăng trên trang cập nhật của Nhóm tăng trưởng nói chung, còn các cập nhật chi tiết hoặc lớn hơn sẽ được đăng ở đây.

Bạn có thể nhanh chóng xem những gì nhóm đã xây dựng bằng cách ghé thăm các bản nháp này (dùng phím mũi tên để di chuyển):

Thiết kế và kế hoạch cho dự án này bắt đầu vào ngày 24 tháng 7 năm 2019. Phiên bản đầu tiên được triển khai trên bốn wiki vào ngày 20/11/2019.

Vào tháng 12 năm 2020, chúng tôi đã công bố kết quả cho thấy những tác động tích cực mà nhiệm vụ người mới mang lại. Xem trang này để biết thêm chi tiết.

Tình hình hiện tại

2019-07-24: Cuộc họp nhóm đầu tiên để bàn luận về các nhiệm vụ dành cho người mới
2019-08-27: Họp nhóm để bàn về các ý tưởng thiết kế.
2019-09-09: Tạo các nhiệm vụ Phabricator cho công tác kỹ thuật
2019-09-23: Hoàn thiệt bản thử cho người dùng máy tính để bàn
2019-09-30: Hoàn thành bản thử cho người dùng điện thoại di động
2019-11-20: V1.0 được triển khai tại Wikipedia Tiếng Séc, Tiếng Hàn, Tiếng Ả Rập và Tiếng Việt
2019-12-13: thử nghiệm biến thể đầu tiên được triển khai tại Wikipedia Tiếng Séc, Tiếng Hàn, Tiếng Ả Rập và Tiếng Việt
2020-01-14: thử nghiệm việc bổ sung tính năng khớp chủ đề, sẽ được triển khai vào tuần 20/01/2020.
2020-01-21: lựa chọn có thể chọn chủ đề quan tâm được thêm vào mô-đun sửa đổi gợi ý
2020-03-05: khớp chủ đề được nâng cấp sử dụng mô hình ORES
2020-04-03: kết quả từ lần kiểm tra biến thể đầu tiên
2020-06-08: chuyển tất cả người dùng mới sang Biến thể A
2020-06-15: triển khai hướng dẫn
2020-10-19: triển khai Biến thể C và D
2020-11-20: công bố Phân tích thử nghiệm nhiệm vụ người mới
Tiếp theo: Tiếp tục cải tiến các nhiệm vụ Người mới đến và có thể phát triển các Nhiệm vụ có cấu trúc mới

Tóm tắt

Bộ lọc độ khó cho nhiệm vụ người mới.

Chúng tôi nghĩ rằng những người mới đến nên có mọi cơ hội để thành công khi lần đầu tiên đến với wiki. Tuy nhiên, những người mới đến thường cố gắng thực hiện một nhiệm vụ quá khó đối với họ, hoặc không thể tìm thấy nhiệm vụ họ muốn làm hoặc không thể tìm thấy ý tưởng để tiếp tục duy trì sự tham gia sau sửa đổi đầu tiên của họ. Điều này dẫn đến nhiều người trong số họ đã rời đi và không quay trở lại. Đã có những nỗ lực thành công trong quá khứ trong việc giới thiệu nhiệm vụ cho các biên tập viên, và vì vậy chúng tôi tin rằng trang nhà người mới là một nơi tiềm năng để đề xuất các nhiệm vụ có liên quan cho người mới.

Chúng tôi sẽ cần phải lưu ý một số điều:

Nhiều người dùng mới đến wiki trong khi trong đầu họ đang có sẵn một công việc cụ thể mà họ muốn làm, ví dụ như thêm một hình ảnh vào một bài viết nhất định. Chúng tôi không muốn làm ngáng đường việc đó.
Người dùng mới bồi đắp kĩ năng của họ qua thời gian bằng cách tiến từ các sửa đổi dễ lên những cái khó hơn.
Khi người dùng mới thành công ngay từ sớm thì họ sẽ có nhiều động lực để tiếp tục sửa đổi hơn.

Sau khi cân nhắc những điều trên, chúng tôi muốn gợi ý các nhiệm vụ cho người mới đến vào đúng lúc và đúng thời điểm, dạy họ các kĩ năng mà họ cần để thành công, và có liên hệ nhất định tới mối quan tâm của họ.

Một công cụ đáng giá mà chúng tôi có cho việc giúp các nhiệm vụ có mối liên quan tới người dùng hơn chính là khảo sát chào mừng, thứ ngay từ đầu được xây dựng để dành riêng cho mục đích: cá nhân hóa trải nghiệm người dùng mới. Chúng tôi dự tính sự dụng các thông tin tùy chọn mà người dùng mới cung cấp về mục tiêu và sở thích của họ để gợi ý các nhiệm vụ phù hợp cho họ.

Một trong những thách thức to lớn nhất chính là việc tìm ra cách để thu thập các nhiệm vụ mà phù hợp cho người dùng mới. Đã có sẵn nhiều nguồn, ví dụ như các bản mẫu kêu gọi cải thiện bài viết, các gợi ý trong công cụ Biên dịch nội dung, hoặc các gợi ý từ những công cụ như là Tìm kiếm trích dẫn. Câu hỏi đặt ra là lựa chọn nào sẽ giúp người dùng mới đạt được mục tiêu của mình.

Đầu tiên, chúng tôi tập trung vào việc sử dụng trang nhà người dùng mới làm nơi để đưa ra gợi ý nhiệm vụ, nhưng về lâu dài, chúng tôi có thể sẽ xây dựng một tính năng mở rộng thành trải nghiệm sửa đổi để gợi ý và giúp người dùng mới hoàn thành các nhiệm vụ được khuyến nghị.

Vào xa hơn nữa, chúng tôi sẽ nghĩ ra những cách để ràng buộc việc gợi ý nhiệm vụ với các phần khác của trải nghiệm người dùng mới, ví dụ như là mô-đun ảnh hưởng trên trang nhà, hoặc là vào Bảng giúp đỡ.

Tại sao ý tưởng này lại được ưu tiên

Từ các nghiên cứu và kinh nghiệm, chúng tôi biết được rằng nhiều người mới đến thất bại trong con đường sửa đổi của họ vì một trong những lý do sau đây:

Họ đến Wikipedia mà trong đầu có một mục tiêu sửa đổi đầy thách thức như viết một bài mới hoặc thêm hình ảnh. Những nhiệm vụ đó rõ ràng là khó đủ để họ có khả năng thất bại và không quay trở lại.
Họ đến mà không biết phải sửa đổi cái gì, và không thể tìm thấy bất cứ thứ gì để sửa đổi.

We also know that on the newcomer homepage, the most frequently clicked-on module is the "user page" module -- the only thing on the page that encourages users to start editing. This makes us think that many users are looking for a clear way to get started with editing.

And from past Wikimedia endeavors, we've seen that task recommendations can be valuable. SuggestBot is a project that sends personalized recommendations to experienced users, and is a well-received service. The Content Translation tool also serves personalized recommendations based on past translations, and has been shown to increase the volume of editing.

For all these reasons, we think that recommending specific editing tasks for newcomers will give them a clear way to get started. For those newcomers that have an edit in mind that we want to do, we'll encourage them to try some easy edits first to build up their skills. For those newcomers who do not have a specific preference on what to edit, they'll hopefully find some good edits from this feature.

Thuật ngữ

There are many terms that sound similar and can be confusing. This section defines each of them.

"Newcomer tasks": The entire workflow that recommends edits for newcomers and guides them through the edits.
"Suggested edits": The name of the specific module that the newcomer tasks workflow adds to the newcomer homepage.
"Task recommendations" or "Task suggestions": Lists of articles that need editing work, suggested automatically to users.
"Personalized": Software that adapts automatically to each user to fit their needs.
"Customized": Software that the user adapts to fit their needs.
"Topic": A content subject, such as "Art", "Music", or "Economics".
"Topic matching": The ability to find tasks for newcomers that match their topics of interest.
"Guidance": Features that help the newcomer complete the suggested task while they are working on it.
"Maintenance template": Templates that are put on articles indicating that work needs to be done on them.

Khuyến nghị nhiệm vụ

The core challenge to this project is: Where will the tasks come from and how will we give the right ones to the right newcomers?

The graphic below shows our priorities when recommending tasks to newcomers.

As shown in the graphic above, we would give newcomers tasks that...

...arrive at the right time and place for a newcomer's journey.
...teach relevant conceptual and technical skills.
...gradually guide users to build up their editing abilities.
...be personalized to their interests.
...show them the value and impact of editing.
...motivate them to participate continually.

For instance, we do not want to give newcomers tasks that are irrelevant to what they hope to accomplish. If a newcomer wants to write a new article, then asking them to add a title description will not teach them skills they need to be successful.

We're splitting this challenge into two parts: the sourcing the tasks and topic matching.

Nguồn của nhiệm vụ

There are many different places we could find tasks for newcomers to do. Our team listed as many as we could think of and evaluated them for whether they seem to be achievable for the first version of the feature. Below is a table showing the many sources of tasks that we evaluated in coming to the decision to start by using maintenance templates.


Source of task	Explanation	Evaluation
Maintenance templates	Most wikis use templates or categories to indicate articles that need copyediting, references, or other modifications. These are placed manually by experienced users.	Easily accessible. Already used in SuggestBot and GettingStarted .
Work on newest articles	New articles may be good candidates for work because they likely could be improved or expanded. They are also more likely to be about current topics.	Easily accessible, but most new articles are created by experienced users, and may not need help from newcomers.
Add images from Commons	There are articles that have images in some language Wikipedias but not in others. This could be a good task for a newcomer who created their account in order to add an image of their own.	An idea with high potential, but would require a lot of work to build interfaces. There are also questions about how to identify whether an article needs an image, and which one to recommend.
Expand short articles	Many articles are stubs that could be expanded.	This task is probably too open-ended and difficult for a newcomer.
Link to orphan articles	Many articles have no incoming links from any other articles. Users could find articles to link to the orphan articles.	Easy to identify orphans, but may be confusing for a newcomer to have to go find other articles in order to do the task.
Add references	Many articles are in need of additional references or citations.	Probably a challenging task for a newcomer. Frequently covered by maintenance templates.
Add categories	Categories are used for many purposes on the wikis, and adding them to articles that don't have them could be a low-pressure way to contribute.	Newcomers may not have good judgment when it comes to adding categories. This also does not teach editing skills that they need for other tasks.
Content translation	The Content Translation tool could be a good way to structure the editing experience and help newcomers write new articles without having to generate all the content on their own.	An integration here could be great -- we may want to use the welcome survey to distinguish which newcomers are multilingual.
Add sections	There are algorithms in development that can recommend additional section headers based on similar articles.	Writing a new section from scratch may be too challenging a task for a newcomer.
Specific link recommendation	Adding wikilinks is one of the best tasks for newcomers. It would be powerful if we could not only tell a newcomer that an article needs more links, but indicate which specific words or phrases should become an link (internal and/or external, depending on local policies).	Some research has been done on this idea that the team will be looking into, as this idea could be a perfect first edit for a newcomer.
Copy editing	Many articles need copyediting, but it would be a better experience for newcomers if we could suggest specific changes to make in article, such as words that are likely misspelled or sentences that likely need to be rephrased.	While this would be an excellent experience for the newcomer, we don't have a way to approach this. Perhaps experienced could flag specific copy edit changes instead of fixing them.
External link cleanup	Help ensure articles follow external link policies.	Could be populated by the external links cleanup maintenance category.
Neutral point of view	Offer people suggestions for how they can "neutralize" subjective text (T376213)	Previous research indicates that algorithms could be used to recommend edits that enhance the neutrality of articles.

Version 1.0: basic workflow

In version 1.0, we will deploy the basic parts of the newcomer tasks workflow. It will recommend articles to newcomers that require different types of edits, but it will not match the articles to the newcomers' topics of interest (version 1.1), and it will also not guide the newcomers in completing the task (version 1.2).

Maintenance templates

We're going to be starting by using maintenance templates and categories to identify articles that need work. All of our target wikis use some set of maintenance templates or categories on thousands of articles, tagging them as needing copyediting, references, images, links, or expanded sections. And previous task recommendations software, such as SuggestBot, have used them successfully. These are some examples of maintenance categories:

Example of maintenance template on English Wikipedia

In this Phabricator task, we investigated exactly which templates are present and in what quantities, to get a sense of whether there will be enough tasks for newcomers. There seem to be sufficient numbers for the initial version of this project. We are likely to incorporate other task sources from the table below in future versions.

It's also worth noting that it could be possible to supplement many of these maintenance templates with automation. For instance, it is possible to automatically identify articles that have no internal links, or articles that have no references. This is an area for future exploration.

During the week of October 21, 2019, the members of the Growth team did a hands-on exercise in which we attempted to edit articles with maintenance templates. This helped us understand what challenges we can expect newcomers to face, and gave us ideas for addressing them. Our notes and ideas are published here.

Design

Comparative review

Our team's designer reviewed the way that other platforms (e.g. TripAdvisor, Foursquare, Amazon Mechanical Turk, Google Crowdsource, Reddit) offer task recommendations to newcomers. We also reviewed Wikimedia projects that incorporate task recommendations, such as the Wikipedia Android app and SuggestBot. We think there are best practices we can learn from other software, especially when we see the same patterns across many different types of software. Even as we incorporate ideas from other software, we will still make sure to preserve Wikipedia's unique values of openness, clarity, and transparency. The main takeaways are below, and the full set of takeaways is on this page:

Task types – bucket into 4 types: Rating content, Creating content, Moderating/Verifying content, Translating content
Incentives – Most products offered intangible incentives mainly bucketed into the form of: Awards and ranking (badges), Personal pride and gratification (stats), or Unlocking features (access rights)
Reward incentives – promote badges or attainments of specific milestones (e.g., a badge for adding 50 citations)
Personalization/Customization – Most have at least one facet of personalization/customization. Most common customization is user input on surveys upon account creation or before a task, most common system-based personalization type is geolocalization
Visual design & layout – incentivizing features (stats, leaderboards, etc) and onboarding is visually rich compared to pared back, simple forms to complete short edits.
Guidance – Almost all products reviewed had at least basic guidance prior to task completion, most commonly introductory ‘tours’. In-context help was also provided in the form of instructional copy, tooltips, step-by-step flows, as well as offering feedback mechanisms (ask questions, submit feedback)

Mockups

Our evolving designs can always be found in two sets of interactive mockups (use arrow keys to navigate):

Desktop
Mobile

Those mockups contain explorations of all the difference parts of the user journey, which we have broken down into several parts:

Gathering information from the newcomer: learning what we need in order to recommend relevant tasks.
Feature discovery: the way the newcomer first encounters task recommendations.
Task recommendations: the interface for filtering and choosing tasks.
Guidance during editing: once the newcomer is doing a task, the guidance that helps them understand what to do.
User feedback: ways in which the newcomer can indicate that they are not satisfied with the recommended task.
Next edit: how we continue the user's momentum after the save an edit.

Below are some of the original draft design concepts as the team continues to refine our approach.

Mockup of possible location for newcomer tasks module
Mockup of initial state of module
Mockup of possible design for module
Mockup of guidance while doing a task using the help panel
Mockup of feedback element if a user does not complete a task

Thử nghiệm người dùng

Máy tính để bàn

Trong tuần 16/9/2019, chúng tôi đã sử dụng usertesting.com để tiến hành sáu bài kiểm tra đối với nguyên mẫu nhiệm vụ người dùng mới trên máy tính để bàn với những người dùng internet không tham gia vào các hoạt động của Wikimedia. Trong các bài kiểm tra này, những người trả lời sẽ thử các bản thử, nói lên những gì họ quan sát thấy và trả lời các câu hỏi về trải nghiệm. Các bạn có thể xem kết quả đầy đủ tại nhiệm vụ Phabricator này. Mục tiêu của cuộc kiểm tra này là:

Đánh giá khả năng phát hiện của mô-đun nhiệm vụ cho người mới
Xác định những cải tiến đối với khả năng sử dụng của mô-đun nhiệm vụ:
1. Người dùng có hiểu cách để lựa chọn và xem lại các gợi ý bài viết?
2. Người dùng có hiểu cách lọc theo mối quan tâm và độ khó nhiệm vụ?
3. Họ có biết cách bắt đầu sửa đổi một bài viết gợi ý?
Đánh giá phản ứng người dùng đối với các gợi ý và kì vọng về việc được hướng dẫn làm các nhiệm vụ.

Tóm tắt các phát hiện

Tất cả người dùng nghĩ rằng việc có được gợi ý dựa trên chủ đề mà họ quan tâm là một việc có lý và sáng tạo.
Tương tự, những độ khó nhiệm vụ khác nhau cũng được đón nhận một cách tích cực từ mọi người tham gia.
Khả năng sử dụng chung của mô-đun sửa đổi gợi ý là cực kỳ cao. Mọi người biết cách click để xem thêm bài viết, sử dụng bộ lọc để thay đổi chủ đề và mức độ nhiệm vụ, và biết cách click vào các thẻ để mở một gợi ý sửa đổi.
4/6 người tham gia ban đầu không nhận ra rằng họ nên click vào "Xem sửa đổi gợi ý" như là một cách để giúp họ đạt được mục tiêu viết một bài viết. Đây có vẻ như là một lối suy nghĩ phổ biến khi người dùng tách bạch "sửa đổi" và "tạo trang mới", coi chúng là khác nhau.
Mô-đun bắt đầu rõ ràng là điểm khởi đầu cho mọi người tham gia. Hơn nữa nhiều người sẽ bị thu hút bởi nút "Xem các sửa đổi gợi ý" như là một cách để theo dõi tiến trình hoạt động trong mô-đun bắt đầu.
Người dùng hiểu rõ và có kì vọng rằng họ sẽ được cho xem các bài viết gợi ý sửa đổi dựa trên các hộp thoại giới thiệu để thêm chủ đề và giới thiệu các cấp độ nhiệm vụ.
Ai cũng có thể lựa chọn các chủ đề phổ biến và thêm chủ đề của chính họ một cách dễ dàng.
Ai cũng hiểu mục đích của mô-đun sửa đổi gợi ý.
Hai người bị nhầm lẫn/cho rằng họ không thể tạo bài viết mới cho đến khi hoàn thành các nhiệm vụ dễ và vừa.
5 trên 6 người tham gia biết click vào nút bảng trợ giúp để tìm kiếm sự hướng dẫn sau khi đã bước vào chế độ sửa đổi.
Bốn người kì vọng rằng họ có thể liên lạc với người hướng dẫn của mình trong bảng trợ giúp.
Các mẹo nhiệm vụ thiếu mức độ hướng dẫn đầy đủ đối với một số người tham gia.

Các khuyến nghị

Cải thiện copy và nhiều hơn nữa về việc cho người dùng biết rằng tạo nội dung mới là một dạng sửa đổi.
Cập nhật mô-đun Ảnh hưởng như đã được thử nghiệm ở đây để giúp người dùng hiểu hơn về các sửa đổi gợi ý.
Cung cấp những trợ giúp khi đang sửa đổi thật tốt. Điều đó rất quan trọng đối với những người dùng đang thử sửa đổi.
- Thêm một "checklist" để người dùng xem lại trong mẹo nhiệm vụ của bảng trợ giúp.
- Cung cấp các ví dụ ngắn của những việc nên làm.
- Chỉ cho người dùng biết họ không cần phải biên tập lại toàn bộ bài viết.
Bao gồm các kết quả lọc thời gian thực để giúp người dùng biết được các gợi ý có mối liên hệ với việc sửa đổi bài viết và khuyến khích việc sử dụng bộ lọc để tìm các bài viết phù hợp.

Điện thoại di động

Trong tuần của ngày 30 tháng 9 năm 2019, chúng tôi đã sử dụng usertesting.com để tiến hành sáu thử nghiệm đối với nguyên mẫu nhiệm vụ dành cho người mới trên thiết bị di động. Có thể xem toàn bộ kết quả tại tác vụ Phabricator này. Mục tiêu của thử nghiệm này giống như thử nghiệm với máy tính để bàn, nhưng với một mục tiêu khác nữa là hiểu được trải nghiệm trên thiết bị di động sẽ khác với trải nghiệm trên máy tính để bàn như thế nào. Mobile user testers were prompted with the scenario of intending to add an image to Wikipedia (whereas desktop respondents were prompted with the scenario of intending to create a new article).

Tóm tắt các phát hiện

Nhìn chung người dùng nhận thấy mô-đun bắt đầu (đã được thiết kế lại) đã trình bày rõ ràng các bước được hướng dẫn để bắt đầu.
Mô-đun extra "Sửa đổi gợi ý" bên dưới, dù không đặc biệt gây nhầm lẫn, thì vẫn không đến gần được với những gfi mà người dùng kì vọng sẽ giúp họ với nhiệm vụ thêm một hình ảnh.
Sửa đổi gợi ý khá là trực quan để sử dụng, người tham gia hiểu cách hoạt động của yếu tố khác nhau của nó (bộ lọc, xem thêm bài viết, vân vân). Tuy nhiên, người dùng không nhìn ra được giá trị của việc thực hiện các sửa đổi gợi ý ngoài việc học thêm hay buồn chán.
Một số người muốn muốn có nhiều chủ đề cụ thể hơn thay vì các chủ đề rộng đã được liệt kê.
Có các cấp độ khó chi tiết thì mang tính giáo dục nhưng lại có khả năng gây nản lỏng. Tất cả đều ngạc nhiên khi "thêm hình ảnh" được phân loại là khó và đã có những cấp độ khó chịu khác nhau về sự thật này.
Lọc theo mối quan tâm là một điểm cộng lớn.
Cho tới tận cuối bài kiểm tra có 3 người cho rằng sẽ có một kiểu "thẩm tra" hoặc yêu cầu nào đó đối với các nhiệm vụ dễ trước khi có thể chuyển sang nhiệm vụ Vừa/Khó.
Mọi người đều hiểu mục đích của Sửa đổi gợi ý là đưa ra những sửa đổi mà sẽ giúp người dùng học cách sửa đổi, và cũng nhấn mạnh rằng nó sẽ cho họ thấy rằng một số sửa đổi khó thực hiện hơn.
Mọi người dùng đều chật vật khi sử dụng những hướng dẫn mà chúng tôi cung cấp tại bảng hướng dẫn mà họ đang sửa đổi. Đây là một vấn đề lớn mà chúng tôi cần phải suy nghĩ kĩ về việc thiết kế trước khi chúng tôi bắt đầu xây dựng nó.

Các khuyến nghị

Yêu cầu thực hiện sửa đổi gợi ý thì nằm bên trong mô-đun bắt đầu chứ không có riêng thẻ.
Cải thiện copy và hình tượng giáo dục người dùng để truyền tải một cách tốt hơn rằng có một giá trị thế giới thực trong việc thử sửa đổi gợi ý ngoài việc học hỏi và rằng mức độ khó nhiệm vụ chỉ là một sự hướng dẫn và các nhiệm vụ có thể được thực hiện không theo thứ tự.
Thêm một overlay chuyên cho việc giới thiệu các lời giới thiệu đã được cá nhân hóa về sửa đổi gợi ý.
Bao gồm cả đếm kết quả lọc thời gian thực ở cả bộ lọc chủ đề và nhiệm vụ.
Bổ sung tìm kiếm chi tiết chủ đề mối quan tâm bởi người dùng.
Lặp lại khi một người dùng mở một gợi ý mà là một sửa đổi thật sự, có tác động lớn.
Cập nhật thiết kế của bảng trợ giúp bên trong nhiệm vụ để mọi nội dung giúp đỡ có thể dễ dàng tiếp cận được.

Phiên bản 1.1: khớp chủ đề

Những sự phát triển và nghiên cứu trong quá khứ cho thấy người dùng có khả năng thực hiện nhiệm vụ được đề nghị cao hơn nếu như nhiệm vụ đó khớp với chủ đề mà họ quan tâm. SuggestBot sử dụng lịch sử sửa đổi trong quá khứ của một biên tập viên để tìm kiếm những bài viết tương tự, và các kết quả thông minh đó được thể hiện trong bài viết này là được thực hiện nhiều hơn so với kết quả ngẫu nhiên. Công cụ Biên dịch Nội dung cũng gợi ý bài viết dựa trên lịch sử biên dịch trước đây của người dùng, và những gợi ý đó đã giúp tăng số lượng bài dịch.

Khi nhìn vào việc sử dụng phiên bản 1.0 của nhiệm vụ người mới, thứ không có tính năng khớp chủ đề, chúng tôi nhận thấy có những người dùng di chuyển qua nhiều bài viết gợi ý nhưng sau cùng lại không click vào bài nào. Cũng có người dùng di chuyển qua nhiều bài nhưng sau cùng chỉ sửa đổi những bài mà họ tình cờ tìm thấy thuộc một chủ đề nhất định, ví dụ như y học. Đây cũng là những dấu hiệu chỉ ra rằng chủ đề là một thứ đáng giá giúp người dùng mới tìm kiếm những bài viết họ muốn sửa đổi.

Thách thức của chúng tôi với người mới là một "vấn đề khởi đầu lạnh", theo đó người dùng mới không có bất cứ lịch sử sửa đổi nào để sử dụng khi cố gắng tìm kiếm những bài viết liên quan cho họ sửa đổi. Chúng tôi muốn một thuật toán có thể đọc lên chủ đề của mỗi bài viết, và sử dụng nó để lọc các bài viết mà có bản mẫu bảo trì.

Thuật toán

Screenshot of ORES topic selection filter on desktop

Có nhiều cách tiếp cận khác nhau cho việc tìm kiếm bài viết khớp với chủ đề mà một người dùng quan tâm. Tuy nhóm chúng tôi xác định được nhiều loại nhưng chúng tôi đã xây dựng nguyên mẫu cho ba phương pháp và thử nghiệm chúng:

morelike: assign a seed list of articles that represent each topic area (e.g. "Art" might be represented by the articles for "Painting", "Sculpture", "Dance", and "Weaving".) Use that seed list to find other articles that are similar to those in the seed list by using a similarity algorithm called "morelike".
free text: instead of choosing from a set list of topics, allow newcomers to type in any phrase they want to indicate a topic. Use regular Wikipedia search to surface articles relevant to that phrase.
ORES: ORES is a machine learning service that – among other things – can return a predicted topic for any article. Though this prediction service only works in English Wikipedia, there are ways to translate predictions from English to other wikis.

In this Phabricator task, we evaluated the three methods, and decided to proceed with the ORES model. The Growth team worked with the Scoring team to strengthen the model, and with the Search team to make the model predictions available to the newcomer tasks workflow. During the time that this work was happening, we deployed the somewhat worse-performing morelike algorithm, and switched to the ORES model about a month later.

The ORES model we use now offers 64 topics, and we chose to expose 39 of them to newcomers. The evaluation in four different languages showed that on average, 8.5 out of 10 suggestions for a given topic seem like good matches for that topic.

Design

In designing interfaces that allow newcomers to choose topics of interest, these are some of the considerations:

Làm cách nào để tạo một danh sách dài gồm khoảng 30 chủ đề nhưng không khiến người dùng bị ngợp?
Làm cách nào để giải quyết vấn đề chủ đề nhiều lớp (ví dụ như "Khoa học" có các chủ đề con như "Sinh học", "Hóa học", v...v)
Người dùng có thể phản hồi khi một chủ đề "không" phù hợp với thứ họ lựa chọn không?

Những maket này chứa thiết kế hiện tại của chúng tôi cho giao diện này. Bạn có thể di chuyển bằng cách sử dụng phím mũi tên trên bàn phím. Dưới đây là một số hình ảnh của maket:

Màn hình ở đầu để chỉ ra các chủ đề quan tâm (máy tính để bàn)
Mô-đun sửa đổi gợi ý nếu người dùng chưa chọn chủ đề
Hộp thoại dành cho việc cài đặt chủ đề (máy tính)
Hộp thoại dành cho việc cài đặt chủ đề (điện thoại)

Phiên bản 1.2: hướng dẫn

Guidance was deployed on 2020-06-15. For a guide to translating the messages in this feature, see this page.

After newcomers have selected an article from the suggested edits module, they should receive guidance about how to click edit and complete the edit successfully. While it is exciting that some portion of newcomers are completing suggested edits without guidance, we're confident that by adding guidance, we will substantially increase how many newcomers edit.

We decided to repurpose the help panel as the place to deliver this guidance. Reusing the help panel will allow us to build quickly. The guidance contains three phases:

When the user has arrived on the article and before they click edit.
After clicking edit and before saving an edit.
After saving an edit.

Some of the ideas we considered implementing included:

Guidance tailored to each type of edit, varying depending on whether the suggested edit is a copyedit, adding links, adding references, etc.
Reminder that an edit can be small, and that the user does not have to edit the whole article.
Step-by-step walkthrough that is like a checklist for completing the edit.
Highlighting the maintenance templates in the article so that the user can see why the article was suggested.
An indicator that encourages the user to click the edit button.
A place to put videos that demonstrate how to complete the edit.
Suggestions for additional edits after saving the initial edit.
Ability for the user to notify their mentor that they have done an edit, so the mentor can check their work and thank them.

During the last week of December 2019, we user tested desktop and mobile prototypes, which can be found below. We will post the user test results after assembling them.

Below are some images of the prototype:

Help panel displaying guidance before clicking edit on desktop
Overlay after saving an edit on desktop
Help panel "peeking" from bottom of page on mobile
Help panel contents on mobile

Variant testing

After deploying the first version of newcomer tasks, we want to start testing different variants of the feature, so that we can improve it iteratively. Rather than just having one design of newcomer tasks, and seeing if newcomers are more productive with it than without it, we plan to test more than variant of newcomer tasks at a time, and compare them. We have compiled an exhaustive list of all the ideas of variants to test -- but we will only end up testing perhaps 10 per year, because of the effort and time it takes to build, test, and analyze.

In March, April, and May 2020, we'll be testing variants that aim to get more users into the newcomer tasks flow.

See this page for the list of variant tests and their results.

Số liệu và kết quả

Thí nghiệm có kiểm soát

Vào tháng 12 năm 2020, chúng tôi đã công bố kết quả cho thấy những tác động tích cực mà nhiệm vụ người mới mang lại. Đây là những kết quả quan trọng nhất của chúng tôi và giúp chúng tôi tự tin rằng những tính năng này nên được mở rộng ra thêm nhiều wiki nữa. Xem trang này để biết thêm chi tiết.

Cách sử dụng

Starting in December 2019, we have been tracking several key metrics from newcomers tasks. The graphs shown in this section are our main charts of those metrics as of 2020-08-17.

Summary

Since deploying newcomer tasks in November 2019, we have seen steady increases in both the number of edits from the feature and the number of editors using the feature. These increases are due to two elements: (a) improvements to the feature, and (b) expanding the feature to more wikis.

Conversion funnel for newcomer tasks as of 2020-08-17

Specific charts

Conversion funnel: the first graph is the most important to our team. Each line shows how many newcomers arrive at each stage of our "conversion funnel", meaning how far they progress into the newcomer tasks workflow, as a percentage of newcomers who visit their homepage. We want the users to move through the stages of (1) interacting with the module (blue), (2) selecting an article (red), (3) clicking edit on the article (orange), (4) saving an edit (green). In general, we want to see all the lines go up.

Since the early days of the feature, the percentage of users who have clicked edit and who have saved edits have steadily gone up. In January 2020, something like 2% of newcomers who visited their homepage saved a suggested edit. In August 2020, that has grown to 5.3%, which is more than double.
In August, almost all users who selected a task clicked edit, which can be seen by the closeness of the red and orange lines.
We think that these improvements are due to the two major features we deployed between January and August: topic matching (which allows newcomers to find more interesting articles) and guidance (which encourages them to click edit and explains how to complete the edit).

Edits: the second graph shows the number of newcomer task edits completed each week, with a separate line for each wiki and a "total" line in black. From December to August 17, there have been 15,126 edits completed through newcomer tasks. It is clear that this has grown over time, which is certainly to be expected because we have gone from 4 wikis to 12 between January and August.

But looking at the individual wikis' lines, it is possible to see growth over time.

Number of edits from newcomer tasks as of 2020-08-17

It is common for the number of suggested edits completed each week on a wiki to vary a lot. One of the reasons is that a small number of enthusiastic newcomers can create dozens or hundreds of edits in a short time, but then may not be on wiki on other weeks.
Arabic Wikipedia, being one of the largest wikis that has the feature, consistently creates the most edits.

Editors: in addition to tracking the number of edits, we also want to make sure that increasing numbers of newcomers are participating. The third graph shows the number of users completing newcomer tasks each week, broken out by wiki.

Number of editors using newcomer tasks as of 2020-08-17

Similarly to the graph of edits, this number also has increased steadily, and the addition of new wikis (such as French Wikipedia on week 21 and Persian Wikipedia on week 32) are clearly visible.
We believe that the effect of "guidance" is visible. This was released before week 25. There have been over 100 users of newcomer tasks every week since its release, whereas only three weeks had previously reached that level.

Chất lượng sửa đổi

Các đại sứ của nhóm Tăng trưởng đã xem xét hơn 300 sửa đổi được lưu bởi người mới và đánh dấu liệu mỗi sửa đổi là có ích hay không (nghĩa là nó giúp cải thiện bài viết). Chúng tôi rất vui khi thấy rằng khoảng 75% các sửa đổi "là" có ích. Đây cũng tương tự với tỉ lệ nền cho sửa đổi người mới, và chúng tôi thấy mừng vì tính năng này không thúc đẩy phá hoại. Hầu hết các sửa đổi là dạng biên tập, trong đó cũng có nhiều sửa đổi là thêm liên kết, và một số thậm chí còn thêm nội dung và nguồn tham khảo. Khoảng 1/3 người dùng tạo một sửa đổi gợi ý đã tiếp tục tạo các sửa đổi gợi ý tiếp theo. Nhiều trong số đó tạo các sửa đổi "không" được công cụ gợi ý, và đó chính là những hoạt động mà chúng tôi muốn thấy.

Các sửa đổi chất lượng cao mà chúng tôi đang thấy đã thúc đẩy chúng tôi cải thiện tính năng sao cho ngày càng nhiều người mới bắt đầu và kết thúc luồng công việc hơn.