Növekedés/Pozitív visszacsatolás
| Növekedési jellemzők | Eszközök használata: | Frissítések | Projektek | Növekedési csapat | ||
|---|---|---|---|---|---|---|
| Összes tartalom böngészése | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||
Ez az oldal a "pozitív visszacsatolással" kapcsolatos munkát írja le a Növekedés funkciókészlet részeként. Ez az oldal tartalmazza a főbb eszközöket, terveket, nyitott kérdéseket és döntéseket.
|
Positive reinforcement
 Features to encourage newcomers to continue editing by showing that their contributions matter
|
Az előrehaladásról szóló legtöbb apró frissítés az általános Növekedési csapat frissítések oldalára kerül, néhány nagyobb vagy részletes frissítés pedig ide.
Jelenlegi állapot
- 2021-03-01: projektoldal létrehozása
- 2022-02-25: a projekt elindult a csapat megbeszéléseivel
- 2022-03-01: projektoldal kibővítve
- 2022-05-11: közösségi megbeszélés
- 2022-08-12: szerkesztői tesztelés befejeződött
- 2022-11-24: current designs and measurement and experiment plan added
- 2022-12-01: new impact module released to pilot wikis
- 2023-02-07: Leveling up and Personalized praise work started & second community discussion started
- 2023-02-14: published Newcomer task milestone analysis which will help guide Leveling up work
- Next: további tervezési iteráció és mérnöki munka kezdődik [[T327581|hatásmodul fejlesztések]]
Összefoglaló
A Növekedési csapat egy "koherens újonc-élmény" kialakítására koncentrált, amely hozzáférést biztosít a kezdőknek azokhoz az elemekhez, melyekre szükségük van ahhoz, hogy csatlakozhassanak a Wikipédia gyakorlati közösségéhez. Például az Újoncfeladatok segítségével hozzáférést biztosítottunk számukra részvételi lehetőségekhez, a mentorálási modul segítségével pedig hozzáférést biztosítottunk számukra a mentoráláshoz. A javasolt szerkesztésekkel több kezdőt tudtunk rávenni arra, hogy elvégezzék első szerkesztéseiket. Ezzel a sikerrel szeretnénk lépéseket tenni annak érdekében, hogy a kezdőket további szerkesztésekre ösztönözzük. Ez felhívja a figyelmünket egy olyan fejletlen elemre, melyhez a kezdőknek hozzáférésre van szükségük: a teljesítmény értékelésére. Ezt a projektet "pozitív megerősítésnek" nevezzük.
Szeretnénk, ha a kezdők megértenék, hogy van fejlődés és érték a Wikipédián való tartós szerkesztésekben, növelve a megmaradást azoknál a szerkesztőknél, akik az első lépést megtették egy szerkesztés elkészítésével.
A nagy kérdésünk itt a következő: Hogyan ösztönözhetnénk a kezdőket, akik meglátogatták a kezdőlapunkat és kipróbálták a funkcióinkat, hogy folytassák a szerkesztést és tovább folytassák a szerkesztést?
Háttér
Amikor a kezdők kezdőlapját 2019-ben telepítettük, az tartalmazott egy alapvető "hatásmodult", mely a kezdők által szerkesztett oldalak látogatottságának számát sorolta fel. Ez az egyetlen olyan része a Növekedés funkcióinak, mely az újoncnak valamilyen módon érzékelteti a hatását, és az első telepítés óta nem javítottunk rajta.
Ebből kiindulva összegyűjtöttünk néhány fontos tanulságot a pozitív megerősítésről:
- A közösség tagjaitól jó visszajelzéseket hallottunk a modulról, a tapasztalt szerkesztők azt mondták, hogy érdekes és értékes számukra.
- A más szerkesztőktől származó elismerés bizonyítottan növeli a megtartást, például a "thanks" (itt és itt) és egy kísérlet a német Wikipédián esetében. Úgy véljük, hogy ezek a valódi emberektől származó megerősítések eredményesebbek lennének, mint a rendszerből érkező automatizált üzenetek.
- A közösség tagjai kifejtették, hogy a kezdők számára kiemelt fontosságú, hogy a könnyű feladatokkal való kezdés után továbblépjenek az értékesebb feladatokra, szemben azzal, hogy csak a könnyű feladatok elvégzésében ragadjanak le.
- Más platformok, mint például a Google, a Duolingo és a Github, mind számos pozitív megerősítési mechanizmust használnak, például jelvényeket és célokat.
- A közösségek óvakodnak az egészségtelen szerkesztés ösztönzésétől. Láttuk, hogy amikor a szerkesztési versenyek pénzdíjakat kínálnak, vagy éppen amikor az olyan hasznos szerepek, mint a "kiterjesztett megerősített", a szerkesztési számoktól függnek, ez arra ösztönözheti az embereket, hogy sok problémás szerkesztést végezzenek.
Szerkesztő személye
Az új szerkesztő útjának számos olyan része van, ahol megpróbálhatjuk növelni a megtartást. Koncentrálhatunk azokra a kezdőkre, akik már egy vagy néhány szerkesztés után abbahagyták a szerkesztést, vagy az útvonal távolabbi szakaszában azokra a kezdőkre, akik hetekig tartó aktivitás után hagyták abba a szerkesztést. E projekt esetében úgy döntöttünk, hogy azokra a kezdőkre helyezzük a hangsúlyt, akik befejezték az első szerkesztési munkamenetüket, és akiket szeretnénk, ha visszatérnének egy második szerkesztésre. Az ábra sárga csillaggal illusztrálja ezeket.
Ebben a szakaszban a kezdőkre szeretnénk összpontosítani, mivel ez a szerkesztői feladat következő szakasza, melyben segíthetünk a megtartás javításában. Ez az a pont is, ahol jelenleg nagyon jelentős lemorzsolódási arányt látunk, így ha ebben a szakaszban tudunk segíteni a kezdők megtartásában, annak jelentős növekedést kell eredményeznie a szerkesztők számának növekedése szempontjából a későbbiekben.
Kutatás és tervezés
Kutatást végeztünk a különböző mechanizmusokról, amelyeket arra alkalmaztak, hogy a szerkesztőket arra ösztönözzék, hogy tartalmakkal járuljanak hozzá mind a wikipédián belüli, mind a wikin kívüli termékekhez. Az alábbiakban a kutatás néhány kulcsfontosságú eredményét ismertetjük:
- A Wikipédia-szerkesztők motivációi sokrétűek, és az idő és a tapasztalat során változnak. Az új szerkesztőket gyakran inkább a kíváncsiság és a társadalmi kapcsolatok, mint az ideológia vezérli.
- A belső projektek a belső ösztönzésekre irányulnak, altruista motivációkra apellálnak, és nem szisztematikusan alkalmazzák őket.
- Az ideológiai motivációkon túli vonzerő kiszélesítése javíthatja a Wikipédián megtartott szerkesztők sokszínűségét.
- A tapasztalt szerkesztőktől és mentoroktól érkező pozitív üzenetek bizonyítottan hatékonyak a rövid távú megtartásban.
A pozitív megerősítésre vonatkozó jelenlegi tervezési ötletek összefoglalóját lásd itt: Design Brief. A terveink a közösség visszajelzései és a szerkesztői tesztelés több fordulója révén továbbfejlődnek.
Ötletek
Három fő ötletünk van a pozitív megerősítésre. Lehet, hogy több ötletet is megvalósítunk, miközben ezen a projekten dolgozunk.
Hatás
- Hatás: A Hatásmodul átdolgozása, mely statisztikák, grafikonok és egyéb hozzájárulási információk beépítésén alapul. Az átdolgozott hatásmodul több kontextust biztosítana az új szerkesztőknek a hatásukról, valamint arra ösztönözné őket, hogy folytassák a szerkesztést. A vizsgálandó területek a következők:
- Javasolt szerkesztések mérföldkő, hogy a szerkesztőket arra késztesse, hogy kipróbálják a javasolt szerkesztéseket.
- Statisztikák arról, hogy a szerkesztő mennyi időt szerkesztett (hasonlóan ahhoz, ami az X Toolsban van).
- Köszönet érkezett" szám, hogy kiemelje a közösségi elismerés lehetőségét.
- Legutóbbi szerkesztési aktivitás - beleértve a napokat, amikor a kezdők egymás után szerkesztettek ("sorozatok"), hogy ösztönözze a folyamatos részvételt, vagy emlékeztesse a felhasználókat a szerkesztéseik folytatására.
- A kezdők által szerkesztett szócikkek olvasási aktivitásának megtekintése az idő múlásával (hasonlóan a en:Wikipedia:Pageview_statistics információihoz).
-
A hatásmodul tervezése A - nagyobb hangsúly a felhasználó másokra (olvasókra és szerkesztőkre) gyakorolt hatására
-
A B hatásmodul kialakítása - a felhasználó legutóbbi szerkesztési tevékenységének hangsúlyozása
Szintlépés
- Szintlépés: A közösségek számára fontos, hogy a kezdők egyre értékesebb feladatok felé haladjanak. Azok számára, akik sok könnyű feladatot végeznek, szeretnénk őket a nehezebb feladatok kipróbálása felé terelni. Ez történhet bizonyos számú könnyű feladat elvégzése után, vagy a kezdőlapon megjelenő bátorítással. A vizsgálandó területek a következők:
- A kezdők olyan sikerüzeneteket látnak majd a szerkesztés után, melyek arra motiválják őket, hogy több, azonos vagy különböző nehézségi szintű szerkesztést végezzenek.
- A Javasolt szerkesztések modulban lehetőség biztosítása nehezebb szerkesztések elvégzésére, hogy a kezdők gyakorlottabb szerkesztőkké válhassanak.
- A Hatás modul tartalmazzon egy mérföldkőszámlálót vagy díjazási területet.
- A kezdőlapon egy új modult hozzáadni, melyben meghatározott kihívásokat lehet állítani valamilyen jutalom (jelvény/bizonyítvány) eléréséhez.
- Értesítések hozzáadása, melyek arra ösztönzik a kezdőket, hogy próbáljanak ki egy nehezebb feladatot.
-
Tervezési ötlet, mely napi szerkesztési célt tartalmaz
-
A kezdők szintet léphetnek a nehezebb feladatokhoz és elismerést kaphatnak
-
Egy díjazási modul a kezdők kezdőlapján.
-
A rossz minőségű "gyors szerkesztéseket" végző újoncok útmutatást kaphatnának
-
Azok a kezdők, akik teljesítenek egy kihívást, kaphatnának egy megosztható "Képzett újonc" díjat
Személyre szabott dicséret
- Személyre szabott dicséret: kutatások szerint a többi szerkesztő dicsérete és bátorítása növeli a kezdők megmaradását. Szeretnénk átgondolni, hogyan ösztönözhetnénk a tapasztalt szerkesztőket arra, hogy megköszönjék és díjazzák a kezdő felhasználókat a jó szerkesztésért. Talán a mentorokat lehetne erre ösztönözni a mentorok irányítópultján vagy értesítéseken keresztül. Felhasználhatjuk a meglévő kommunikációs rendszereket, melyekről korábbi tanulmányok bebizonyították, hogy bizonyos fokú pozitív hatást gyakorolnak. A vizsgálandó területek a következők:
- A kezdőlapon megjelenő személyes üzenet a kezdő mentortól.
- A mentor vagy a Wikimédia Növekedés csapatának visszajelzése.
- Köszönet" egy adott szerkesztésnél.
- A mentor vagy a Wikimédia Növekedési csapat által egy adott szerkesztéshez kapcsolódó új mérföldkő jelvényt adományoz.
-
A "Köszönet" megjelenítése a kezdők kezdőlapján
-
A Wikilove megjelenítése az Újoncok kezdőlapján
Közösségi megbeszélés
A Positive Reinforcement projektet megvitattuk a közösség tagjaival arab Wikipédia, bengáli Wikipédia, cseh Wikipédia és francia Wikipédia, és mediawiki.org.
Közvetlen visszajelzéseket kaptunk a három fő ötletről, sok más, az új szerkesztők megtartásának javítására vonatkozó ötlettel együtt.
Az alábbiakban összefoglaljuk a visszajelzések fő témáit, valamint azt, hogy hogyan tervezzük a visszajelzések alapján a továbbfejlesztést.
Hatás
| Hallottuk... | Tervek a visszajelzések alapján történő iterációra |
|---|---|
| 😊 Jól néz ki! | Ez az ötlet tűnik a legkevésbé ellentmondásosnak és a leginkább támogatottnak. Úgy tervezzük, hogy először ezen kezdjük el a fejlesztést, és több időt hagyunk a többi ötlet finomítására. |
| 😐 A hatásmodul hatékonyabb lenne, ha a szerkesztők tapasztalatszerzésével együtt skálázódna. | Azt tervezzük, hogy egyelőre a kezdőkre összpontosítunk, de az új hatásmodul bővíthető módon épül fel, hogy a jövőben a fejlesztéseknek is helyet adjon. |
Szintlépés
| Hallottuk... | Tervek a visszajelzések alapján történő iterációra |
|---|---|
| 😊 A szintlépés biztosítja, hogy a kezdők ne "ragadjanak le" a könnyű feladatoknál. | Amint a szerkesztők egy bizonyos számú visszafordítatlan szerkesztést végeznek egy adott típusból, javasoljuk nekik, hogy próbálkozzanak nehezebb feladatokkal. |
| 😊 A kezdők gyakran vágynak a díjakra | Ha díjakat adunk, azoknak értelmesnek kell lenniük a kezdők számára, és ideális esetben megoszthatónak kell lenniük akár a wikin belül (a szerkesztői lapjukon), akár a wikin kívül. |
| ❌ A célalapú ösztönzők problémásak lehetnek, és rossz minőségű szerkesztéseket eredményezhetnek. | Az időalapú elemet tartalmazó ösztönzések (hasonlóan a szolgálati díjakhoz) hatékony megközelítés lehet, mivel ezek nem csak a szerkesztések számát, hanem a regisztrált idő hosszát is figyelembe veszik. Certain "quality gates" could help slow down and guide newcomers if they are making edits that are getting reverted. Azt tervezzük, hogy egyelőre csökkentjük a \"Szintlépés felfelé\" kitüntetési oldalának hatókörét, és inkább arra összpontosítunk, hogy a szerkesztőket arra ösztönözzük, hogy próbálkozzanak nehezebb feladattípusokkal, miután a könnyebb feladatokkal sikeresek. |
| ❌ A napi célok egyesek számára stresszesek és demotiválóak lehetnek. | Ezt az ötletet tovább fogjuk vizsgálni, és valószínűleg engedélyezni fogjuk a célok testreszabását, ha megvalósítjuk ezt az ötletet. |
Személyre szabott dicséret
| Hallottuk... | Tervek a visszajelzések alapján történő iterációra |
|---|---|
| 😊 A dicséret és a pozitív hozzáállás terjesztése segíthet a kezdők maradásának növelésében. | Még mindig finomítjuk a terveket arra vonatkozóan, hogy hogyan ösztönözhetnénk a kezdők több háláját és személyre szabott dicséretét, de reméljük, hogy hamarosan további tervezési ötleteket tudunk bemutatni. |
| 😐 A személyre szabott dicséret bővítése kihívást jelenthet, mivel több időt vesz igénybe a tapasztalt szerkesztők számára. | A mentorok már így is elfoglaltak, ezért reméljük, hogy találunk módot arra, hogy a "dicséretre érdemes" mentoráltak megjelenjenek. Más ötleteket is kidolgozunk, melyek nem csak a mentorokra támaszkodnak. |
| 😐 A meglévő rendszereket kellene felhasználnunk (Thanks, WikiLove stb.) | A tervek még nem véglegesek, de mindenképpen tervezzük, hogy felhasználjuk a meglévő rendszerek előnyeit. |
Egyéb ötletek:
A közösség tagjai számos más ötletet is javasoltak a kezdők bevonásának és maradásának javítására. Úgy gondoljuk, hogy ezek mind értékes ötletek (amelyek közül néhányat már most is vizsgálunk, vagy a jövőben szeretnénk velük foglalkozni), de a következő ötletek nem férnek bele a jelenlegi projekt keretébe:
- Küldjünk a kezdőknek belépési és üdvözlő e-maileket (a Növekedési csapat valójában jelenleg az elkötelező e-mailek vizsgálatát végzi a Marketing és az Adománygyűjtési csapatokkal együttműködve).
- Tegyük a kezdőket olyan Wikiprojektek elé, melyek kapcsolódnak az érdeklődési körükhöz.
- Egy testreszabható bővítmény beépítése a kezdők kezdőlapjára, hogy a wikisek bizonyos kezdőkkel kapcsolatos feladatokat vagy eseményeket népszerűsíthessenek.
- Értesítések küldése a szerkesztőknek, akik köszöntik a kezdőket, amint az újonc elér bizonyos szerkesztési mérföldkövet (hogy segítse a felhasználót arra ösztönözni, hogy köszönetet vagy Wikilove-üzenetet ajánljon fel).
Second community consultation:
In February 2023, we completed a community consultation in which we reviewed the most recent Leveling up designs with the Growth Pilot wikis. This consultation was completed in English on Mediawiki, and at Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, and Spanish Wikipedia (T328356). In general, feedback was quite positive. These two tasks help address feedback mentioned by those that responded to our questions:
- Leveling up: Community configuration (T328386)
- Leveling up: Second design iteration of "Try a new task" dialog (T330543)
In March 2023, we completed a community consultation in which we reviewed the most recent Personalized praise designs with the Growth Pilot wikis. This consultation was completed on English Wikipedia, Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, French Wikipedia, Spanish Wikipedia, and at Mediawiki in English (T328356). Most feedback was supportive of Personalized praise features, but several further improvements were requested. We've created Phabricator tasks to address these further improvements.
- On Arabic Wikipedia, and other wikis with Flagged Revisions, mentors want to see not only the number of edits a user had completed, but more details on the review status of edits (T333035)
- Mentors want to be able to view the number or percentage of reverts their mentee has, and customize how many reverts a newcomer can have to be considered praiseworthy (T333036)
- Mentors would appreciate knowing which edit a mentee is Thanked for (T51087)
Szerkesztői tesztelés
A közösségi vita mellett a kezdeti terveket és feltevéseinket úgy akartuk érvényesíteni és kiegészíteni, hogy több ország olvasóival és szerkesztőivel teszteltük a terveket. Ezért a tervezési kutatócsoportunk Pozitív megerősítéssel kapcsolatos szerkesztői tesztelést végzett, melynek célja az volt, hogy jobban megértsük a projekt hatását a kezdők szerkesztésére több különböző nyelven.
Több statikus Pozitív megerősítés dizájnt teszteltünk a Wikipédia arab, spanyol és angol nyelvű olvasóival és szerkesztőivel. Along with testing Positive Reinforcement designs we introduced data visualizations from xtools as a way to better understand how these data visualizations are perceived by newcomers.
A szerkesztői tesztelés eredményei
- Make impact data actionable: Impact data was a compelling feature for participants with more experience editing, which several related to their interest in data—an unsurprising quality for a Wikipedian. For those new to editing, impact data, beyond views and basic editing activity, may be more compelling if linked to goal-setting and optimizing impact.
- Evaluate the ideal editing interval: Across features, daily intervals seemed likely to be overly ambitious for new and casual editors. Participants also reflected on ignoring similar mechanisms on other platforms when they were unrealistic. Consider consulting usage analytics to identify “natural” intervals for new and casual editors to make goals more attainable.
- Ensure credibility of assessments: Novice editor participants were interested in the assurance of their skills and progress the quality score, article assessment, and badges offer. Some hoped that badges could lend credibility to their work reviewed by more experienced editors. With that potential, it could be valuable to evaluate that the assessments are meaningful measures of skill and further explore how best to leverage them to garner community trust of newcomers.
- Reward quality and collaboration over quantity: Both editor and reader participants from esWiki were more interested in recognition of their knowledge or expertise (quality) than the number of edits they have made (quantity). Similarly, some Arabic and English editors are motivated by their professional interests and skill development to edit. Orienting goals and rewards to other indicators of skilled edits, such as adding references or topical contributions, and collaboration or community involvement may also help mitigate concerns about competition overtaking collaboration.
- Prioritize human recognition: While scores and badges via Growth tasks is potentially valued, recognition from other editors appears to be more motivational. Features which promote giving, receiving, and revisiting thanks seemed most compelling, and editors may benefit from selecting impact data which demonstrates engagement with readers or editors most compelling to them.
- Experiment with playfulness of designs: While some positive reinforcement features can be seen as the product of “gamification”, some participants (primarily from EsWiki) felt that simple, fun designs were overly childish or playful for the seriousness of Wikipedia. Consider experimenting with visual designs that vary in levels of playfulness to evaluate broader reactions to “fun” on Wikipedia.
Design
Below are the current designs for Positive Reinforcement. We have refined the three main ideas outlined above, but the scope of plans and the actual designs have evolved based on feedback from community discussions and user testing.
Impact
The revised impact module provides new editors with more context about their impact. The new design includes far more personalized info and data visualizations than the previous design. This new design is fairly similar to the design we shared previously when discussing this feature with communities. You can view the current engineering progress at beta wiki, and we hope to release this feature to Growth pilot wikis soon.
Leveling up
The Leveling up features focus on encouraging newcomers to progress to more valuable tasks. Ideas also include some prompts for new editors to try suggested edits, since structured tasks have been shown to improve newcomer activation and retention.
- “Level up” post-edit dialog message: A new post-edit dialog message type is added to encourage newcomers to try a new task type. We hope this will encourage some users to learn new editing skills as they progress to different, more challenging tasks.
- Post-edit dialog for non-suggested edits: Introduce newcomers who complete ‘normal’ edits to suggested edits. We plan to experiment by showing newcomers a prompt post 3rd and 7th edit. Desktop users who click through to try a suggested edit will also see their Impact module, which we hope helps engage newcomers and provides a small degree of automated positive reinforcement. We will carefully measure this experiment, and ensure there aren't any unintentional negative effects.
- New notifications: New echo notifications to encourage newcomers to start or continue suggested edits. This acts as a proxy to “win-back” emails for those who have an email address and settings on to receive email notifications.
-
“Level up” post-edit dialog message
-
Post-edit dialog for non-suggested edits
-
New notification
Personalized praise
Personalized praise features are based on research results that show that encouragement and thanks from other users increases editor retention.
- Encouragement from Mentors: We will add a new module to the Mentor dashboard, that is designed to encourage Mentors to send personalized messages to newcomers who meet certain criteria. We will allow Mentors to customize and control how and when "praise-worthy" mentees are surfaced.
- Increasing Thanks across the wiki: We plan to fulfill the community wishlist item to Enable Thanks Button by default in Watchlists and Recent Changes (T51541, T90404). We hope this will increase Thanks and positivity across the wikis, and hopefully newcomers will benefit from this directly or indirectly.
-
Design for a new Mentor dashboard module
-
Design of the settings view of the new dashboard module
Mérés és eredmények
Hypotheses
The Positive Reinforcement features aim to provide or improve the tools available to newcomers and mentors in three specific areas that will be described in more detail below. Our hypothesis is that once a newcomer has made a contribution (say by making a structured task edit), these features will help create a positive feedback cycle that increases newcomer motivation.
Below are the specific hypotheses that we seek to validate across the newcomer population. We will also have hypotheses for each of the three sets of features that the team plans to develop. These hypotheses drive the specifics for what data we will collect and how we will analyse that data.
- The Positive Reinforcement features increase our core metrics of retention and productivity.
- Since the Positive Reinforcement features do not feature a call to action that asks newcomers to make edits, we will see no difference in our activation core metric.
- Newcomers who get the Positive Reinforcement features are able to determine that making un-reverted edits is desirable, and we will see a decrease in the proportion of reverted edits.
- The positive feedback cycle created by the Positive Reinforcement features will lead to a significantly higher proportion of "highly active" newcomers.
- The Positive Reinforcement features increase the number of Daily Active Users of Suggested edits.
- The average number of edit sessions during the newcomer period (first 15 days) increases.
- "Personalized praise" will increase mentor’s proactive communication with their mentees, which will lead to increase in retention and productivity.
Experiment plan
Similarly as we have done for previous Growth team projects, we want to test our hypotheses through controlled experiments (also called "A/B tests"). This will allow us to establish a causal relationship (e.g. "The Leveling Up features cause an increase in retention of xx%"), and it will allow us to detect smaller effects than if we were to give it to everyone and analyze the effects pre/post deployment.
In this controlled experiment, a randomly selected half of users will get access to Positive Reinforcement features (the "treatment" group), and the other randomly selected half will instead get the current (September 2022) Growth feature experience (the "control" group). In previous experiments, the control group has not gotten access to the Growth features. The team has decided to move away from that (T320876), which means that the current set of features is the new baseline for a control group.
The Personalized Praise feature is focused on mentors. There is a limited number of mentors on every wiki, whereas when it comes to newcomers the number increases steadily every day as new users register on the wikis. While we could run experiments with the mentors, we are likely to run into two key challenges. First, the limited number of mentors could mean that the experiments would need to run for a long time. Second, and more importantly, mentors are well integrated into the community and communicate with each other, meaning they are likely to figure out if some have access to features that others do not. We will therefore give the Personalized Praise features to all mentors and examine activity and effects on newcomers pre/post deployment in order to understand the feature’s effectiveness.
In summary, this means we are looking to run two consecutive experiments with the Impact and Leveling up features, followed by a deployment of the Personalized Praise features to all mentors. These experiments will first run on the pilot wikis. We can extend this to additional wikis if we find a need to do that, but it would only happen after we have analyzed the leading indicators and found no concerns.
Each experiment will run for approximately one month, and for each experiment we will have an accompanying set of leading indicators that we will analyze two weeks after deployment. The list below shows what the planned experiments will be:
- Impact: treatment group gets the updated Impact module.
- Leveling up: treatment group gets both the updated Impact module and the Leveling up features.
- Personalized praise: all mentors get the Personalized praise features.
Leading indicators and plan of action
While we believe that the features we develop are not detrimental to the wiki communities, we want to make sure we are careful when experimenting with them. It is good practice to define a set of leading indicators together with plans of what action to take based if a leading indicator suggests something isn't going the way it should. We have done this for all our past experiments and do so again for the experiments we plan to run as part of this project.
Impact
| Indicator | Expected result | Plan of action | Results |
|---|---|---|---|
| Impact module interactions | No difference or increase | If Impact module interactions decrease, then this suggests that we might have performance or compatibility issues with the new Impact module. If the proportion of newcomers who interact with the new Impact module is significantly lower than the old module we investigate the cause, reverting back to the old module if necessary. | Significant decrease |
| Mentor module interactions | No difference | The new Impact module takes up more screen real estate than the old module, which might lead to newcomers not finding the Mentor module as easily as before. If the number of newcomers who interact with the Mentor module is significantly lower for those who get the new Impact module, we investigate the need for design changes. | No signifiant difference |
| Mentor module questions | No difference | Similar concerns as for interactions with the Mentor module, if the number of questions asked to mentors is significantly lower for newcomers who get the new Impact module, we investigate the need for design changes. | No signifiant difference |
| Edits and revert rate | No difference in both edits and reverts, or an increase in edits and a decrease in revert rate | If there is an increase in the revert rate, this may suggest that newcomers are making unconstructive edits in order to inflate their edit or streak count. If the revert rate of newcomers who get the new Impact module is significantly higher than the old, we investigate their edits and decide whether changes are needed. | No signifiant difference (once outliers are removed) |
Impact module interactions: We find that the proportion of newcomers who interact with the old module (6,1%) is significantly higher than for the new module (5,0%): This difference showed up early on in the experiment, and we have examined the data more closely understand what is happening. One issue we identified early on was that not all interaction events were instrumented, which we subsequently resolved. Examining further, we find that many of those who get the old module click on links to the articles or the pageviews. In the new module, a graph of the pageviews is available, thus removing some of the need for visiting the pageview tool. As a result, we decided that no changes were needed.
Mentor module interactions: We find no significant difference in the proportion of newcomers who interact with the Mentor module. The proportion for newcomers who get the old module is 2,4%, for those who get the new module it's 2,2%. A Chi-square test finds this difference not significant:
Mentor module questions: We do not see a substantial difference in the number of questions asked between the old module (269 edits) and the new module (281 edits). The proportion of newcomers who asks their mentor a question is also the same for both groups, at 1,5%.
Edits and revert rate: We do not see a substantial difference in the number of edits nor in the revert rate between the two groups measured on a per-user average basis. There are differences between the groups, but these are driven by some highly prolific editors, particularly on the mobile platform.