Cập nhật Tăng trưởng/Phân tích/Kế hoạch thử nghiệm Bảng trợ giúp
Mục tiêu của bảng trợ giúp là cung cấp cho người dùng những cách dễ dàng hơn để nhận trợ giúp mà không cần phải rời khỏi bối cảnh chỉnh sửa. Điều này sau đó có thể cho phép họ hoàn thành nhiệm vụ của mình đồng thời có khả năng gặp gỡ cộng đồng Wikipedia thông qua các câu hỏi và câu trả lời tại bàn trợ giúp cộng đồng. Giúp người dùng hoàn thành nhiệm vụ của họ có thể dẫn đến tăng kích hoạt trình chỉnh sửa (tỷ lệ người dùng mới thực hiện chỉnh sửa) và có khả năng duy trì trình chỉnh sửa (tỷ lệ người dùng mới quay lại chỉnh sửa lần thứ hai), sau này là nhóm bao trùm mục tiêu.
Để hiểu tác động của bảng trợ giúp đối với việc kích hoạt và duy trì trình chỉnh sửa, chúng tôi đề xuất thử nghiệm A / B sáu tháng. Trong quá trình thử nghiệm đó, 50% đăng ký mới trên wiki mục tiêu sẽ có bảng trợ giúp được bật theo mặc định và 50% sẽ bị vô hiệu hóa. Chúng tôi có thể đang chạy các thử nghiệm khác trên wiki mục tiêu cùng một lúc, ví dụ như các biến thể thử nghiệm của khảo sát chào mừng của chúng tôi. Nếu những thí nghiệm đó yêu cầu lấy mẫu phân tầng, chúng tôi sẽ đảm bảo các chiến lược lấy mẫu của chúng tôi được sửa đổi cho phù hợp.
Để biết thêm thông tin về các câu hỏi chúng tôi dự định theo đuổi với bảng trợ giúp, hãy xem phần này trên trang dự án. Để biết thêm thông tin về chính xác dữ liệu chúng tôi sẽ ghi lại, hãy xem lược đồ EventLogging này.
Các biến thể
Trong sáu tháng đó, chúng tôi cũng hình dung các biến thể thử nghiệm của bảng trợ giúp để hiểu cách các yếu tố giao diện cụ thể ảnh hưởng tích cực đến các hành vi bên trong quy trình tìm kiếm trợ giúp. Chúng tôi sẽ nhớ rằng giả thuyết của chúng tôi rằng giao diện bị thay đổi sẽ ảnh hưởng đến việc kích hoạt hoặc duy trì càng mạnh mẽ, thì một thử nghiệm trên giao diện đó càng hạn chế thử nghiệm dài hạn của chúng tôi về kích hoạt và duy trì.
Chúng tôi sẽ cần ưu tiên thử nghiệm biến thể nào trước, bởi vì chúng tôi sẽ chỉ thử nghiệm từng biến thể một. Chúng tôi cũng sẽ không chạy bất kỳ biến thể nào cho đến khi khoảng một tháng thử nghiệm lớn hơn đã chạy mà không có bất kỳ biến thể nhỏ hơn nào được lồng bên trong. Điều này là để chúng ta có thể tìm hiểu rõ liệu bảng điều khiển trợ giúp có ảnh hưởng đến tỷ lệ kích hoạt người dùng mới hay không.
Các chỉ số và kế hoạch hành động hàng đầu
Thời gian của thử nghiệm A / B là sáu tháng vì không thể phát hiện ra các thay đổi đối với việc giữ lại trình chỉnh sửa mới trên các wiki cỡ trung trong thời gian ngắn hơn (trừ khi chúng tôi tác động mạnh đến việc duy trì, nhưng chúng tôi thấy điều đó hơi khó xảy ra). Trong khi chúng tôi chờ đợi kết quả của mình, chúng tôi muốn có thể hành động nếu chúng tôi nghi ngờ rằng có gì đó không ổn. Dưới đây, chúng tôi phác thảo một tập hợp các kịch bản dựa trên dữ liệu được mô tả trong chiến lược thiết bị ở trên. Đối với mỗi kịch bản, chúng tôi đề xuất một kế hoạch hành động cần thực hiện để khắc phục tình hình trên.
| Chỉ số | Kế hoạch hành động |
|---|---|
| Không mở bảng giúp đỡ | Nếu> 75% người dùng trong nhóm mục tiêu nhìn thấy bảng trợ giúp (tức là họ mở trình chỉnh sửa) cũng không mở bảng điều khiển, chúng tôi ưu tiên kiểm tra biến thể của bảng điều khiển với khả năng chi trả cao hơn.
|
| Không mở bảng giúp đỡ | Nếu> 50% người dùng mở bảng điều khiển mà sau đó đóng bảng điều khiển mà không tương tác với bảng điều khiển, chúng tôi xem xét việc phát triển một chuyến tham quan có hướng dẫn giới thiệu bảng điều khiển sau khi được mở.
|
| Tắt bảng điều khiển | Nếu> 10% người dùng tắt bảng điều khiển, chúng tôi tham chiếu chéo với dữ liệu Khảo sát chào mừng để xem liệu đó có phải là những người dùng báo cáo đã chỉnh sửa trước đó hay họ đã bỏ qua khảo sát. Nếu không, chúng tôi đánh giá lại thiết kế. |
| Không nhấp chuột vào liên kết trợ giúp | Nếu một trong các liên kết nhận được <10% số lần nhấp (trong số các liên kết trợ giúp khác nhau), chúng tôi sẽ tham khảo ý kiến của các đại sứ cộng đồng về việc liệu liên kết này có nên bị xóa hoặc thay thế bằng thứ khác không. |
| Không đặt câu hỏi | Nếu> 25% người dùng mở bảng trợ giúp (không sử dụng bất kỳ liên kết trợ giúp nào) cũng không bắt đầu trên đường dẫn để đặt câu hỏi, chúng tôi xem xét phát triển chuyến tham quan có hướng dẫn để giới thiệu đường dẫn câu hỏi.
|
| Các câu hỏi chất lượng thấp | Nếu> 50% câu hỏi dưới 30 ký tự (hoặc tương đương với ngôn ngữ), chúng tôi nghĩ xem liệu thiết kế có thể khuyến khích các câu hỏi chi tiết hơn không. |
| Các câu hỏi không được trả lời | Nếu> 10% câu hỏi được hỏi thông qua bảng trợ giúp không được trả lời, chúng tôi sẽ liên hệ với các đại sứ để tìm hiểu lý do và xem xét một hệ thống để các biên tập viên ping trả lời. Hoặc chúng tôi xem xét liệu bàn trợ giúp có bị quá tải hay không.
Nếu thời gian trung bình để nhận được câu trả lời cho câu hỏi vượt quá 24 giờ, chúng tôi sẽ liên hệ với các đại sứ để tìm hiểu lý do tại sao. |
| Người dùng không quay lại để đọc câu trả lời | Nếu <35% người dùng quay lại để đọc câu trả lời cho câu hỏi của họ, chúng tôi sẽ nói về các hệ thống tốt hơn để nắm bắt địa chỉ email và thông báo cho người dùng. |
| Không cố gắng chỉnh sửa lại sau khi nhận được câu trả lời | Nếu> 25% người dùng tương tác với bảng trợ giúp và đặt câu hỏi và nhận được câu trả lời cũng quay lại trang web nhưng không cố gắng chỉnh sửa lại, chúng tôi sẽ điều tra một mẫu ngẫu nhiên của những người dùng này và tìm hiểu câu hỏi của họ theo thứ tự nào để hiểu nếu nó không hợp lý để mong họ quay lại và chỉnh sửa lần thứ hai. |
Trạng thái của các chỉ số hàng đầu sau một tháng
Bảng trợ giúp đã được triển khai tới Wikipedias của Séc và Hàn Quốc vào ngày 11 tháng 1 năm 2019. Một tháng sau, chúng tôi đã thu thập dữ liệu cho tất cả các đăng ký cho cả hai wiki cho đến thời điểm đó để chúng tôi có thể đánh giá các chỉ số hàng đầu của mình và xác định xem có bất kỳ hành vi nào của tính năng này không . Nói tóm lại, trong khi đánh giá cho thấy một số lĩnh vực cần cải thiện, chúng tôi nghĩ rằng hành vi của bảng trợ giúp cho đến nay vẫn lành mạnh và nó không có tác động tiêu cực đến wiki.
Các tài khoản kiểm tra đã biết đã bị xóa, cũng như những người dùng đã bật hoặc tắt Bảng trợ giúp theo sở thích của họ vì tự chọn vào hoặc ra khỏi nhóm điều trị vi phạm kỳ vọng bình đẳng do việc gán ngẫu nhiên cho các nhóm. Tuy nhiên, như chúng ta sẽ thấy bên dưới, rất ít người dùng thay đổi tùy chọn của họ.
| Chỉ số | Khoảng cho phép | Wikipedia tiếng Séc | Wikipedia tiếng Triều Tiên |
|---|---|---|---|
| Không mở bảng giúp đỡ | > 75% người dùng trong nhóm mục tiêu nhìn thấy bảng trợ giúp (tức là họ mở trình chỉnh sửa) cũng không mở bảng điều khiển. | 84,7% | 77,4% |
| Không sử dụng tấm bảng | > 50% người dùng mở bảng điều khiển thì đóng bảng luôn mà không tương tác với nó. | 36,8% | 39,4% |
| Tắt bảng điều khiển | > 10% người dùng tắt bảng điều khiển. | 0,5% | 0,3% |
| Không nhấp chuột vào liên kết trợ giúp | Một trong những liên kết nhận được <10% số lần nhấp (trong số các liên kết trợ giúp khác nhau). | 3 links | None |
| Không đặt câu hỏi | > 25% người dùng mở bảng trợ giúp (không sử dụng bất kỳ liên kết trợ giúp nào) cũng không bắt đầu trên đường dẫn để đặt câu hỏi. | 69,2% | 93,7% |
| > 15% người dùng bắt đầu đường dẫn câu hỏi không hoàn thành nó. | 21,7% | 37,5% | |
| Các câu hỏi chất lượng thấp | > 50% câu hỏi dưới 30 ký tự (hoặc tương đương với ngôn ngữ). | 30,0% | 16,7% |
| Người dùng không quay lại để đọc câu trả lời | <35% người dùng quay lại để đọc câu trả lời cho câu hỏi của họ. | 36,8% | 50,0% |
Có bốn ngưỡng trong bảng trên là nguyên nhân gây lo ngại và danh sách dưới đây giải thích cách chúng tôi nghĩ về chúng.
- Không mở bảng trợ giúp: đối với cả hai wiki, con số có phần, nhưng không đáng báo động cao hơn ngưỡng. Điều này làm cho chúng tôi cảm thấy như chúng tôi có tỷ lệ mở lành mạnh có chỗ để cải thiện. Theo đó, chúng tôi đã bắt đầu hiển thị bảng trợ giúp ở nhiều nơi hơn, để người dùng có nhiều cơ hội hơn để mở nó. Bảng trợ giúp hiện đang được hiển thị ở chế độ đọc trong các không gian tên Trợ giúp, Wikipedia và Người dùng. Công việc này đã được theo dõi trong T215664 và hoàn thành vào ngày 6 tháng 3 năm 2019.
- Không nhấp vào liên kết trợ giúp: vì phân tích cho thấy ba liên kết của Séc đang có lưu lượng truy cập thấp, chúng tôi đã xóa liên kết để biết thêm thông tin về sự đáng chú ý và thay thế bằng liên kết về cách thêm hình ảnh, như sau là câu hỏi thường gặp nhất được đăng lên Bàn trợ giúp và liên kết được nhấp thường xuyên nhất bằng tiếng Hàn. Chúng tôi cũng đã liên kết lại liên kết đến hướng dẫn để được gắn nhãn "Hướng dẫn nhanh", vì đó là những gì được sử dụng trong Wikipedia tiếng Hàn, trong đó đó là liên kết được nhấp thường xuyên thứ hai. Công việc này đã được theo dõi trong T217391 và hoàn thành vào ngày 6 tháng 3 năm 2019.
- Không đặt câu hỏi: khi nhìn lại, chúng tôi hy vọng rằng 75% người dùng mở bảng trợ giúp (và không nhấp vào liên kết) sẽ hỏi một câu hỏi có thể quá tham vọng. Chúng tôi cảm thấy thoải mái với tỷ lệ câu hỏi được hỏi bằng tiếng Séc và chúng tôi đang học được rằng có lẽ mô hình đặt câu hỏi công khai không phù hợp với Wikipedia tiếng Hàn, với tỷ lệ câu hỏi thấp. Đây là một trong những lý do chúng tôi đã thêm "tìm kiếm" vào bảng trợ giúp, để người dùng có nhiều cách khác nhau để tìm trợ giúp có thể phù hợp với sở thích của họ về cách tìm kiếm. Công việc này đã được theo dõi trong T209301 và hoàn thành vào ngày 25 tháng 2 năm 2019.
- Bắt đầu đường dẫn câu hỏi và không hoàn thành nó: con số tuyệt đối cho số liệu này vẫn còn đủ thấp để có thể tự tin nói rằng liệu chúng tôi có cao hơn ngưỡng hay không. Tại thời điểm phân tích này, chỉ có khoảng 25 người đã cố gắng đặt câu hỏi. Do đó, chúng tôi sẽ xem xét lại chỉ số này ở giai đoạn sau.