Growth/Pozitivní posílení
Tato stránka popisuje práci týmu Growth na projektu "pozitivní posílení" jako součásti funkcí týmu Growth. Tato stránka obsahuje důležité podklady, návrhy rozhraní, otevřené otázky i rozhodnutí.
|
Positive reinforcement
 Features to encourage newcomers to continue editing by showing that their contributions matter
|
Více novinek týkající se práce týmu Growth najdete na obecné stránce s aktualizacemi. Závažné a větší aktuality pak budou vloženy i sem.
Současný stav
- 2021-03-01: vytvoření projektové stránky
- 2022-02-25: projekt zahájen, probíhá diskuse s členy týmu
- 2022-03-01: rozšíření projektové stránky
- 2022-05-11: diskuse s komunitou
- 2022-08-12: dokončeno uživatelské testování
- 2022-11-24: byly přidány aktuální návrhy a plán měření a experimentu
- 2022-12-01: nový modul dopadu uvolněn do pilotních wikin
- 2023-02-07: byla zahájena práce na zvyšování úrovně a přizpůsobení chvály a zahájena druhá komunitní diskuse
- 2023-02-14: publikováno Nováčková úloha Milestone Analysis, která pomůže vést vyrovnávání práce
- 2023-03-22: Vylepšení funkcí uvolněných jako A/B test na Growth pilotní wikiny
- 2023-03-24: zveřejněno Děkujeme Analýza využití
- 2023-05-25: uvolnil modul přizpůsobené chvály na pilotních wikinách Growth
- 2023-10-01: vydala nový modul Impact na všech Wikipediích a zveřejnila Vyrovnání výsledků experimentu
- Next: uvolněna personalizovaná chvála na všech Wikipediích
Shrnutí
Tým Growth se zaměřil na budování "soudržné zkušenosti pro nováčky", která nováčkům poskytuje "přístup" k prvkům, které jim pomáhají zapojit se do praktické komunity Wikipedie. Za pomocí editačních tipů jsme například nováčkům umožnili snadný přístup k přispívání do Wikipedie a pomocí mentorství jsme jim zpřístupnili možnost kontaktovat svého mentora. Editační tipy pomohly více nováčkům uložit svou první editaci. S tímto úspěchem v zádech jsme se rozhodli povzbudit nováčky, aby uložili ještě více editací. To vede naši pozornost k prvku, který je pro nováčky taktéž důležitý, a na kterém ještě nikdo nepracoval: Vyhodnocení úspěšnosti. Nazýváme tento projekt "pozitivní posílení".
Chceme, aby nováčci pochopili, že trvalé příspěvky na Wikipedii mají pokrok a hodnotu, čímž se zvýší zaháčkování pro ty uživatele, kteří udělali první krok při provádění úprav.
Jednou z otázek, kterou si klademe, je: Jakým způsobem můžeme povzbudit nováčky, kteří si vyzkoušeli svou Domovskou stránku, aby v editování neustávali a využít tak jejich energie?
Pozadí
Když byla Domovská stránka nováčka v roce 2019 poprvé nasazena, obsahovala základní verzi modulu Dopad, který zobrazuje počet návštěv článků upravených nováčkem. Toto je jediná část funkcí týmu Growth, které dávají nováčkovi jakoukoli zpětnou vazbu. Od té doby jsme tuto část Domovské stránky nijak nevylepšili.
S tímto výchozím bodem jsme shromáždili několik důležitých poznatků o pozitivním posilování:
- Od členů komunity jsme o modulu slyšeli dobrou zpětnou vazbu a zkušení redaktoři říkali, že je pro ně zajímavý a cenný.
- Minulé výzkumy ukázaly, že ocenění od ostatních uživatelů zvyšují retenci uživatelů. Příkladem může být například děkování nováčkům za jejich editace (viz zde a zde). Dalším příkladem může být experiment, který proběhl na německé Wikipedii. Věříme, že ocenění od živých uživatelů budou mít větší účinek než ocenění odeslaná systémem.
- Členové komunity vysvětlili, že je pro ně důležité, aby nováčci pokračovali se složitějšími úkoly, jakmile se naučí pracovat s těmi jednoduchými.
- Další platformy, jako je Google, Duolingo nebo GitHub, používají několik metod pro pozitivní posílení, jako jsou odznaky či cíle.
- Komunity se obávají toho, že by tento projekt mohl povzbudit nevhodné způsoby editování. Podobné chování jsme viděli v minulosti, když bylo v rámci editačních soutěží možné vyhrát finanční cenu, objevili se účastníci, kteří ukládali editace formálně vyhovující, ale i přesto problematické. Něco obdobného se také děje u rolí (například automatické schválení uživatele), které závisí pouze na počtu uložených editací.
Osobnost uživatele
Existuje mnoho částí cesty nováčka, ve kterých bychom se mohli pokusit zvýšit udržení. Mohli bychom se zaměřit na nováčky, kteří přestali upravovat po jedné nebo několika úpravách, nebo bychom se mohli zaměřit dále na nováčky, kteří přestali upravovat po týdnech aktivity. Pro tento projekt jsme se rozhodli zaměřit na ty nováčky, kteří dokončili svou první editační relaci a které chceme vrátit na druhou relaci. Diagram je znázorňuje žlutou hvězdou.
Chceme se soustředit na nováčky na tomto místě, protože to je nejbližší další místo, kde můžeme pomoci zvýšit retenci nováčků. Je to také místo, kde v současnosti pozorujeme významný úbytek nováčků. Pokud by se nám podařilo více nováčků na tomto místě udržet, mělo by to mít významný vliv na růst komunity wikipedistů.
Výzkum a vývoj
Provedli jsme výzkum různých mechanismů, které se na různých projektech používají k motivování uživatelů, aby přispívali. Toto jsou naše hlavní výzkumné poznatky:
- Motivace wikimediánů je mnohostranná a s časem se mění. Noví wikipedisté jsou častěji motivováni zvědavostí a sociálními vazbami než ideologií.
- Interní projekty se zaměřují na vnitřní pobídky, apelují na altruistické motivace a nejsou systematicky uplatňovány.
- Rozšíření přitažlivosti mimo ideologické motivace může zlepšit rozmanitost udržovaných editorů na Wikipedii.
- Pozitivně naladěné zprávy od zkušených wikipedistů a mentorů jsou prokazatelně efektivní ve zvýšení krátkodobé retence.
Pro shrnutí našich současných návrhů týkajících se pozitivního posílení se můžete podívat na náš Design Brief (stručný popis vývoje). Tak jak budou pokračovat komunitní konzultace a testy použitelnosti, naše návrhy se budou ještě měnit.
Myšlenky
Když mluvíme o pozitivním posílení, napadají nás tři hlavní myšlenky. U každé z nich nás napadá několik myšlenek, které by se daly realizovat.
Dopad
- Dopad: Vylepšená verze modulu Dopadu, založená na statistikách, grafech a dalších informacích o příspěvcích uživatele. Nová verze modulu Dopad by nováčkům ukázala více informací o jejich vlivu na projekt Wikimedie. Nováčka by také mohla povzbudit k tomu, aby v editování pokračoval. Oblasti, které můžeme prozkoumat, zahrnují například:
- Milník navrhovaných úprav, který pobízí uživatele, aby vyzkoušeli navrhované úpravy.
- Statistiky o tom, jak uživatel editoval v průběhu času (podobné jako informace, které jsou dostupné v X Tools).
- Počet "obdržených poděkování", abychom zvýraznili možnost získat od komunity ocenění.
- Nedávná editační aktivita, včetně počtu dní v řadě, po které nováček editoval, za účelem povzbuzení pokračující aktivity na projektu.
- Zobrazit aktivitu při čtení článků, které nově příchozí v průběhu času upravovali (podobně jako informace na en:Wikipedia:Pageview_statistics).
-
Návrh A modulu Dopad – více zaměřený na uživatelův vliv na ostatní čtenáře a editory -
Návrh B modulu Dopad – více zaměřený na nedávnou uživatelovu editační aktivitu
Zvýšení úrovně
- Postup na vyšší úroveň: Pro komunity je důležité, aby nováčci postupovali k hodnotnějším úkolům. Ty, kteří dokončují mnoho jednoduchých editačních tipů, chceme přimět k tomu, aby vyzkoušeli i obtížnější úkoly. To se může stát poté, co dokončí určitý počet snadných úkolů, nebo povzbuzením na jejich domovské stránce. Oblasti, které můžeme prozkoumat, zahrnují např.:
- Po uložení editace nováček uvidí zprávu, která jej motivuje uložit i nějakou další editaci.
- V modulu Navrhované úpravy poskytneme příležitosti k provádění složitějších úprav, aby se nováčci mohli stát zkušenějšími editory.
- V modulu Dopad bychom mohli zahrnout sekci věnovanou oceněním či milníkům.
- Na domovskou stránku přidáme nový modul s nastavenými výzvami, aby získali nějakou odměnu (odznak/certifikát).
- Využití notifikací k povzbuzení nováčků k tomu, aby vyzkoušeli i složitější úkoly.
-
Návrh rozhraní zobrazujícího denní cíl pro počet editací -
Nováčci mohou postoupit na těžší úkoly a získat uznání -
Část Domovské stránky nováčka věnovaná oceněním -
Nováčci, kteří provádějí nekvalitní "rychlé úpravy", by mohli získat pokyny -
Nováčci, kteří dokončí výzvu, by mohli získat sdílenou cenu "Zručný nováček".
Personalizovaná pochvala
- Personalizovaná chvála: výzkum ukazuje, že chvála a povzbuzení od ostatních uživatelů zvyšují udržení nováčků. Chceme přemýšlet o tom, jak povzbudit zkušené uživatele, aby poděkovali a ocenili nováčky za dobré příspěvky. Možná by k tomu mohli být mentoři vyzváni, aby to udělali na svých panelech mentorů nebo prostřednictvím oznámení. Můžeme využít existujících komunikačních mechanismů, u kterých minulé studie prokázaly určitý pozitivní účinek. Oblasti, které můžeme prozkoumat, zahrnují například:
- Osobní zpráva od mentora, která se zobrazí v Domovské stránce nováčka.
- Echo notifikace zaslaná jménem mentora nováčka nebo týmem Growth nadace Wikimedie.
- "Poděkování" zaslané za určitou editaci
- Nový milník udělený mentorem nebo týmem Wikimedia Growth související s konkrétní úpravou.
-
Zobrazit "Poděkování" za editace na Domovské stránce nováčka. -
Zobrazení rozšíření Wikilove na Domovské stránce nováčka.
Diskuse s komunitou
Diskutovali jsme o projektu Positive Reinforcement s členy komunity od Arabská Wikipedie, Bengálská Wikipedie, Česká Wikipedie a Francouzská Wikipedie a zde na mediawiki.org.
Obdrželi jsme přímou zpětnou vazbu o třech hlavních myšlenkách spolu s mnoha dalšími nápady na zlepšení udržení nových editorů.
Níže je uveden souhrn hlavních témat ze zpětné vazby spolu s tím, jak plánujeme iteraci na základě zpětné vazby.
Dopad
| Slyšeli jsme... | Plán opakování na základě zpětné vazby |
|---|---|
| 😊 Vypadá dobře! | Tato myšlenka se zdá nejméně kontroverzní a nejvíce podporovaná. Nejprve plánujeme zahájit vývoj na tomto a poskytneme více času na upřesnění dalších nápadů. |
| 😐 Modul dopadu by byl efektivnější, kdyby se škáloval s editory, jak získávají zkušenosti. | Plánujeme se nyní zaměřit na nováčky, ale nový modul dopadu bude postaven tak, aby byl rozšiřitelný, aby v budoucnu vyhovoval vylepšením. |
Zvýšení úrovně
| Slyšeli jsme... | Plán opakování na základě zpětné vazby |
|---|---|
| 😊 Zvyšování úrovně zajišťuje, že se nováčci "nezaseknou" na jednoduchých úkolech | Jakmile budou mít uživatelé určitý počet nevrácených úprav jednoho typu, měli bychom jim navrhnout, aby vyzkoušeli složitější úkoly. |
| 😊 Nováčci často touží po ocenění | Pokud udělujeme ocenění, musí být nováčkům smysluplné a v ideálním případě je lze sdílet buď na wiki (na jejich uživatelské stránce) nebo mimo wiki. |
| ❌ Pobídky založené na cíli mohou být problematické a mohou mít za následek nekvalitní úpravy | Pobídky, které zahrnují prvek založený na čase (podobně jako service Awards), mohou být efektivním přístupem, protože zohledňují nejen počet úprav, ale i dobu registrace. Některé "kvalitní brány" by mohly pomoci zpomalit a vést nováčky, pokud provádějí úpravy, které se vracejí zpět. Plánujeme prozatím omezit rozsah na straně ocenění "Zvýšení úrovně" a více se zaměřit na povzbuzení uživatelů, aby zkoušeli obtížnější typy úkolů, protože jsou úspěšní s jednoduššími úkoly. |
| ❌ Denní cíle mohou být pro některé lidi stresující a demotivující | Tuto myšlenku dále přezkoumáme a pravděpodobně umožníme přizpůsobení cíle, pokud se budeme touto myšlenkou zabývat. |
Personalizovaná pochvala
| Slyšeli jsme... | Plán opakování na základě zpětné vazby |
|---|---|
| 😊 Šíření chvály a pozitivity může pomoci zvýšit udržení nováčků. | Stále dolaďujeme návrhy, jak povzbudit více. Děkujeme a přizpůsobujeme nováčkům, ale doufáme, že brzy představíme další nápady na vývojn. |
| 😐 Škálování personalizované pochvaly může být problém, protože zkušeným redaktorům zabere více času. | Mentoři jsou již zaneprázdněni, takže doufáme, že najdeme způsob, jak dostat na povrch "chvályhodné" mentorované. Probereme také další nápady, které se nespoléhají pouze na mentory. |
| 😐 Měli bychom používat stávající systémy (Thanks, WikiLove atd.) | Plány nejsou hotové, ale rozhodně plánujeme využít stávajících systémů. |
Další nápady:
Členové komunity navrhli několik dalších nápadů, jak zlepšit zapojení a udržení nováčků. Myslíme si, že to jsou všechno cenné nápady (některé z nich již zkoumáme nebo na nich chceme v budoucnu pracovat), ale následující nápady nezapadají do rozsahu současného projektu:
- Posílejte nové příchozí a uvítací e-maily (tým Growth aktuálně zkoumá e-maily o zapojení ve spolupráci s marketingovými a fundraisingovými týmy).
- Vystavte nováčky projektům Wiki, které se týkají jejich zájmů.
- Zahrňte na domovskou stránku pro nováčky přizpůsobitelný widget, který umožní wikinám propagovat určité úkoly nebo události pro nováčky.
- Odesílejte upozornění uživatelům, kteří vítají nováčky, jakmile nováček dosáhne určitých milníků úprav (aby uživatele přiměl k poděkování nebo Wikilove).
Druhá konzultace s komunitou:
V únoru 2023 jsme dokončili komunitní konzultaci, ve které jsme zkontrolovali nejnovější návrhy zvyšování úrovně s Growth Pilot wikin. Tato konzultace byla dokončena v anglické Mediawiki a na arabské Wikipedii, bengálské Wikipedii, české Wikipedii a španělské Wikipedii. (T328356) Obecně byla zpětná vazba velmi pozitivní. Tyto dva úkoly pomáhají řešit zpětnou vazbu zmíněnou těmi, kteří odpověděli na naše otázky:
- Zvyšování úrovně: Konfigurace komunity (T328386)
- Zvyšování úrovně: Druhý návrh iterace dialogu "Vyzkoušejte nový úkol" (T330543)
V březnu 2023 jsme dokončili komunitní konzultaci, ve které jsme zkontrolovali nejnovější personalizované návrhy chvály pomocí wikin Growth Pilot. Tato konzultace byla dokončena na anglické Wikipedii, arabské Wikipedii, bengálské Wikipedii, české Wikipedii, francouzské Wikipedii, španělské Wikipedii a na Mediawiki v angličtině. (T328356) Většina zpětné vazby podporovala funkce přizpůsobené chvály, ale bylo požadováno několik dalších vylepšení. Pro tato další vylepšení jsme vytvořili úlohy Phabricator.
- Na arabské Wikipedii a dalších wikinách s označenými revizemi chtějí mentoři vidět nejen počet úprav, které uživatel provedl, ale i další podrobnosti o stavu kontroly úprav. (T333035)
- Mentoři chtějí mít možnost zobrazit počet nebo procento revertů, které jejich svěřenec má, a přizpůsobit, kolik revertů může mít nováček, aby byl považován za chvályhodného. (T333036)
- Mentoři by ocenili, kdyby věděli, za kterou úpravu je mentorovanému poděkováno. (T51087)
Testy použitelnosti
Spolu s diskusí v komunitě jsme chtěli ověřit a doplnit naše původní návrhy a hypotézy testováním návrhů se čtenáři a editory z několika zemí. Náš tým pro výzkum designu tedy provedl uživatelské testování Positive Reinforcement, jehož cílem bylo lépe porozumět dopadu projektu na příspěvek nováčků v několika různých jazycích.
Testovali jsme několik statických návrhů Positive Reinforcement se čtenáři a editory Wikipedie v arabštině, španělštině a angličtině. Spolu s testováním návrhů Positive Reinforcement jsme zavedli vizualizace dat z xtools jako způsob, jak lépe porozumět tomu, jak tyto vizualizace dat vnímají nováčci.
Výsledky uživatelského testování
- Zajištění, aby data dopadu byla použitelná: Údaje o dopadu byly působivou funkcí pro účastníky s většími zkušenostmi s úpravami, z nichž někteří souviseli s jejich zájmem o data – pro Wikipedisty nepřekvapivá kvalita. Pro ty, kteří s úpravami začínají, mohou být data dopadu nad rámec zobrazení a základní činnosti úprav působivější, pokud jsou spojena s nastavením cílů a optimalizací dopadu.
- Vyhodnocení ideálního intervalu úprav: Napříč funkcemi se denní intervaly zdály být pro nové a příležitostné editory příliš ambiciózní. Účastníci také uvažovali o ignorování podobných mechanismů na jiných platformách, když byly nereálné. Zvážíme konzultaci s analytickými nástroji k identifikaci "přirozených" intervalů pro nové a příležitostné editory, aby byly cíle lépe dosažitelné.
- Zajištění důvěryhodnosti hodnocení: Účastníky začínající editory zajímalo ujištění o jejich dovednostech a pokroku ve skóre kvality, hodnocení článků a nabídky odznaků. Někteří doufali, že odznaky mohou propůjčit důvěryhodnost jejich práce recenzované zkušenějšími redaktory. S tímto potenciálem by mohlo být cenné vyhodnotit, že hodnocení jsou smysluplnými měřítky dovedností, a dále zkoumat, jak je nejlépe využít k získání důvěry komunity nově příchozích.
- Odměnění kvality a spolupráce nad kvantitou: Účastníci redakce i čtenáře z esWiki se více zajímali o uznání jejich znalostí nebo odbornosti (kvalita) než o počet úprav (množství), které provedli. Podobně jsou někteří arabští a angličtí redaktoři motivováni k editaci svými profesními zájmy a rozvojem dovedností. Zaměření cílů a odměn na další ukazatele kvalifikovaných úprav, jako je přidávání referencí nebo aktuálních příspěvků, a spolupráce nebo zapojení komunity, může také pomoci zmírnit obavy z předbíhání ke konkurenci.
- Upřednostnění lidského poznání: Zatímco skóre a odznaky prostřednictvím úkolů Growth jsou potenciálně ceněny, uznání od ostatních editorů se zdá být více motivující. Funkce, které podporují udílení, přijímání a opětovné navštěvování poděkování, se zdály nejpřesvědčivější a redaktoři mohou těžit z výběru údajů o dopadu, které demonstrují zapojení se čtenáři nebo editory, které je pro ně nejpůsobivější.
- Experimentování s hravostí designů: Zatímco některé pozitivní posilovací prvky lze považovat za produkt "gamifikace" (aplikace prvků herního designu a herních principů (dynamika a mechanika) v neherním kontextu), někteří účastníci (především z EsWiki) se domnívali, že jednoduché, zábavné návrhy jsou na vážnost Wikipedie příliš dětinské nebo hravé. Zvažte experimentování s vizuálními návrhy, které se liší úrovní hravosti, abyste mohli vyhodnotit širší reakce na "zábavu" na Wikipedii.
Vývoj
Níže jsou uvedeny aktuální návrhy pro Positive Reinforcement. Vylepšili jsme tři hlavní myšlenky nastíněné výše, ale rozsah plánů a skutečné návrhy se vyvíjely na základě zpětné vazby z diskusí komunity a testování uživatelů.
Dopad
Revidovaný modul dopadu poskytuje novým editorům více kontextu o jejich dopadu. Nový návrh obsahuje mnohem více personalizovaných informací a vizualizací dat než předchozí návrh. Tento nový návrh je docela podobný návrhu, který jsme sdíleli dříve, když jsme o této funkci diskutovali s komunitami. Můžete zobrazit aktuální technický pokrok na beta wiki a doufáme, že tuto funkci brzy uvolníme na pilotní wiki Growth.
Zvýšení úrovně
Funkce Zvýšení úrovně se zaměřují na povzbuzení nováčků, aby postupovali k hodnotnějším úkolům. Nápady také zahrnují některé výzvy pro nové editory, aby vyzkoušeli navrhované úpravy, protože se ukázalo, že strukturované úkoly zlepšují aktivaci a udržení nováčků.
- Dialogová zpráva po úpravě "Zvýšení úrovně": Byl přidán nový typ dialogové zprávy po úpravě, aby nováčky vyzval, aby vyzkoušeli nový typ úkolu. Doufáme, že to povzbudí některé uživatele, aby se naučili nové editační dovednosti, když budou postupovat k různým, náročnějším úkolům.
- Dialogové okno po úpravách pro nenavrhované úpravy: Představí nováčkům, kteří dokončí "normální" úpravy, navrhované úpravy. Plánujeme experimentovat tím, že nováčkům ukážeme rychlý příspěvek 3. a 7. úprava. Uživatelé počítačů, kteří prokliknou a vyzkouší navrhovanou úpravu, uvidí také svůj modul Dopad, který, jak doufáme, pomůže zapojit nováčky a poskytne malý stupeň automatického pozitivního posílení. Tento experiment pečlivě změříme a zajistíme, aby nedošlo k žádným neúmyslným negativním účinkům.
- Nová upozornění: Nová ozvěna upozornění, která povzbudí nováčky k zahájení nebo pokračování navrhovaných úprav. Funguje jako proxy pro e-maily "win-back" (získat zpět) pro ty, kteří mají e-mailovou adresu a nastavení pro příjem e-mailových upozornění.
-
Dialogová zpráva po úpravě "Zvýšení úrovně". -
Dialogové okno po úpravě pro nenavrhované úpravy -
Nové oznámení
Personalizovaná pochvala
Personalizované funkce chvály jsou založeny na výsledcích výzkumu, které ukazují, že povzbuzení a poděkování od ostatních uživatelů zvyšuje udržení editora.
- Povzbuzení od mentorů: Na Panel mentora přidáme nový modul, který je navržen tak, aby povzbudil mentory, aby posílali personalizované zprávy nováčkům, kteří splňují určitá kritéria. Umožníme mentorům přizpůsobit a kontrolovat, jak a kdy se "chvályhodní" svěřenci objeví.
- Stále dík na wiki: Plánujeme splnit položku seznamu přání komunity Aktivovat ve výchozím nastavení tlačítko Díky v seznamech sledovaných a posledních změn (T51541, T90404). Doufáme, že to zvýší díky a pozitivitu napříč wikinami a doufejme, že nováčci z toho budou mít přímý nebo nepřímý prospěch.
-
Návrh pro nový modul řídicího panelu Mentor -
Návrh zobrazení nastavení nového modulu dashboard
Měření a výsledky
Hypotézy
Cílem funkcí pozitivního posilování je poskytnout nebo vylepšit nástroje dostupné nováčkům a mentorům ve třech konkrétních oblastech, které budou podrobněji popsány níže. Naší hypotézou je, že jakmile nováček přispěje (řekněme provedením úpravy strukturovaného úkolu), tyto funkce pomohou vytvořit cyklus pozitivní zpětné vazby, který zvýší motivaci nováčka.
Níže jsou uvedeny konkrétní hypotézy, které se snažíme ověřit napříč populací nově příchozích. Budeme mít také hypotézy pro každou ze tří sad funkcí, které tým plánuje vyvinout. Tyto hypotézy určují, jaká data budeme shromažďovat a jak je budeme analyzovat.
- Funkce Positive Reinforcement zvyšují naše základní metriky udržení a produktivity.
- Vzhledem k tomu, že funkce Positive Reinforcement neobsahují výzvu k akci, která žádá nováčky, aby provedli úpravy, neuvidíme žádný rozdíl v naší základní metrice aktivace.
- Nováčci, kteří získají funkce Positive Reinforcement, jsou schopni určit, že je žádoucí provádět nevrácené úpravy, a zaznamenáme pokles podílu vrácených úprav.
- Cyklus pozitivní zpětné vazby vytvořený funkcemi Positive Reinforcement povede k výrazně vyššímu podílu "vysoce aktivních" nováčků.
- Funkce pozitivního posílení zvyšují počet denních aktivních uživatelů navrhovaných úprav.
- Průměrný počet relací úprav během období pro nováčky (prvních 15 dní) se zvyšuje.
- "Personalizovaná chvála" zvýší proaktivní komunikaci mentora s jejich svěřenci, což povede ke zvýšení udržení a produktivity.
Plán experimentu
Podobně jako u předchozích projektů Growth týmu chceme naše hypotézy otestovat prostřednictvím řízených experimentů (nazývaných také "A/B testy"). To nám umožní vytvořit kauzální vztah (např. "Funkce Leveling Up způsobí zvýšení retence o xx %") a umožní nám to detekovat menší účinky, než kdybychom to měli dát všem a analyzovat účinky před /po nasazení.
V tomto kontrolovaném experimentu náhodně vybraná polovina uživatelů získá přístup k funkcím pozitivního posilování ("hostovaná" skupina) a druhá náhodně vybraná polovina místo toho získá aktuální (září 2022) zkušenost s funkcí růstu ("kontrolní" skupina ). V předchozích experimentech kontrolní skupina nezískala přístup k funkcím růstu. Tým se rozhodl od toho ustoupit (1 $), což znamená, že současná sada funkcí je novou základní linií pro kontrolní skupinu.
Funkce Personalizovaná chvála je zaměřena na mentory. Na každé wiki je omezený počet mentorů, zatímco pokud jde o nováčky, jejich počet se každým dnem neustále zvyšuje, jak se na wikinách registrují noví uživatelé. I když bychom mohli s mentory experimentovat, pravděpodobně narazíme na dvě klíčové výzvy. Za prvé, omezený počet mentorů by mohl znamenat, že experimenty budou muset běžet po dlouhou dobu. Za druhé, a co je důležitější, mentoři jsou dobře integrováni do komunity a komunikují spolu, což znamená, že pravděpodobně zjistí, zda někteří mají přístup k funkcím, které jiní nemají. Proto poskytneme funkce Personalizované chvály všem mentorům a prozkoumáme aktivitu a účinky na nováčky před nasazením/po nasazení, abychom porozuměli účinnosti funkce.
V souhrnu to znamená, že se chystáme spustit dva po sobě jdoucí experimenty s funkcemi Impact a Leveling up, po kterých bude následovat nasazení funkcí Personalized Praise všem mentorům. Tyto experimenty budou nejprve spuštěny na pilotních wikinách. Můžeme to rozšířit na další wikiny, pokud zjistíme, že je to potřeba, ale stalo by se to až poté, co bychom analyzovali hlavní ukazatele a nenašli žádné obavy.
Každý experiment bude probíhat přibližně jeden měsíc a pro každý experiment budeme mít doprovodnou sadu hlavních indikátorů, které budeme analyzovat dva týdny po nasazení. Níže uvedený seznam ukazuje, jaké budou plánované experimenty:
- Dopad: Skupina, která bude hostována získá aktualizovaný modul Impact.
- Leveling up: Hostovaná skupina získá jak aktualizovaný Impact modul, tak funkce Leveling up.
- Personalizovaná chvála: Všichni mentoři dostanou funkce přizpůsobené chvály.
Hlavní ukazatele a akční plán
I když věříme, že funkce, které vyvíjíme, nejsou pro wiki komunity škodlivé, chceme se ujistit, že při experimentování s nimi budeme opatrní. Je dobrou praxí definovat soubor hlavních indikátorů spolu s plány, jaká opatření podniknout, pokud hlavní indikátor naznačuje, že něco nejde tak, jak by mělo. Udělali jsme to pro všechny naše minulé experimenty a uděláme to znovu pro experimenty, které plánujeme spustit jako součást tohoto projektu.
Dopad
| Indikátor | Očekávaný výsledek | Plán akce | Výsledky |
|---|---|---|---|
| Interakce modulu Impact | Žádný rozdíl ani nárůst | Pokud se interakce modulu Impact sníží, znamená to, že můžeme mít problémy s výkonem nebo kompatibilitou s novým modulem Impact. Pokud je podíl nově příchozích, kteří interagují s novým modulem Impact, výrazně nižší než se starým modulem, prozkoumáme příčinu a v případě potřeby se vrátíme zpět ke starému modulu. | Výrazný pokles |
| Interakce modulu Mentor | Bez rozdílu | Nový modul Impact zabírá více obrazovky než starý modul, což může vést k tomu, že nováčci nenajdou modul Mentor tak snadno jako dříve. If the number of newcomers who interact with the Mentor module is significantly lower for those who get the new Impact module, we investigate the need for design changes. | Žádný výrazný rozdíl |
| Otázky modulu Mentor | Bez rozdílu | Podobné obavy jako u interakcí s modulem Mentor, pokud je počet otázek položených mentorům výrazně nižší pro nováčky, kteří získají nový modul Impact, zkoumáme potřebu změn ve vývoji. | Žádný výrazný rozdíl |
| Úprava a návrat rychlosti | Žádný rozdíl v úpravách a vrácení, nebo zvýšení počtu úprav a snížení rychlosti vrácení | Pokud dojde ke zvýšení míry vracení, může to naznačovat, že nováčci provádějí nekonstruktivní úpravy, aby zvýšili počet svých úprav nebo sérií. Pokud je míra vracení nových uživatelů, kteří získají nový modul Impact, výrazně vyšší než u starého, prozkoumáme jejich úpravy a rozhodneme, zda jsou nutné změny. | Žádný významný rozdíl (po odstranění odlehlých hodnot) |
Interakce modulu Impact: Zjistili jsme, že podíl nově příchozích, kteří interagují se starým modulem (6,1 %), je výrazně vyšší než u nového modulu (5,0 %): Tento rozdíl se ukázal na začátku experimentu a my jsme zkoumali data blíže, abychom pochopili, co se děje. Jeden problém, který jsme identifikovali na začátku, byl ten, že ne všechny události interakce byly využívány, což jsme následně vyřešili. Při dalším zkoumání jsme zjistili, že mnoho z těch, kteří získali starý modul, kliká na odkazy na články nebo na zobrazení stránek. V novém modulu je k dispozici graf zobrazení stránek, čímž odpadá nutnost navštěvovat nástroj zobrazení stránek. V důsledku toho jsme se rozhodli, že žádné změny nejsou potřebné.
Interakce modulu Mentor: Nenašli jsme žádný významný rozdíl v podílu nováčků, kteří komunikují s modulem Mentor. Podíl nově příchozích, kteří získají starý modul, je 2,4 %, u těch, kteří získají nový modul, jsou to 2,2 %. A Chi-square test finds this difference not significant:
Otázky modulu Mentor: Nevidíme podstatný rozdíl v počtu položených otázek mezi starým modulem (269 úprav) a novým modulem (281 úprav). Podíl nováčků, kteří položí otázku svému mentorovi, je také stejný pro obě skupiny, a to 1,5 %.
Úprava a návrat rychlosti: Nevidíme podstatný rozdíl v počtu úprav ani v míře vracení mezi těmito dvěma skupinami měřený na základě průměru na uživatele. Mezi skupinami existují rozdíly, ale ty jsou řízeny některými vysoce plodnými editory, zejména na mobilní platformě.
Zvýšení úrovně
| Indikátor | Očekávaný výsledek | Plán akce | Výsledky |
|---|---|---|---|
| Vyrovnání dialogu Levelling up: interakce | Žádný rozdíl ani nárůst | Procento uživatelů, kteří kliknou / klepnou na dialogové okno po úpravě Levelling up, by mělo být podobné nebo vyšší než procento uživatelů, kteří kliknou nebo klepnou na standardní dialogové okno po úpravách. Pokud dojde k poklesu, pak musíme prozkoumat, co tento rozdíl způsobuje. | Vyšší na mobilu, bez rozdílu na desktopu |
| Dialogové okno po úpravě Levelling up: Klikněte na možnost "Vyzkoušet navrhovanou úpravu". | >10 % kliknutí na navrhované úpravy | Pokud dialogové okno "Vyzkoušet navrhovanou úpravu" nevede k tomu, že další nováčci prozkoumají navrhované úpravy, pak je toto upozornění pro nováčky jen další šum a měli bychom tuto funkci prozkoumat nebo zvážit odstranění. | Výrazně vyšší než 10 % |
| Dialogové okno po úpravě Levelling up: "Zvyšte svou úroveň dovedností" proklikejte | >10% kliknutí na Vyzkoušejte nový úkol | Pokud "zvýšení úrovně dovedností" nevede k tomu, že více nováčků zkusí obtížnější úkoly, pak je toto upozornění pro nováčky jen šum navíc a měli bychom tuto funkci prozkoumat nebo zvážit odstranění. | Výrazně vyšší než 10 % |
| Oznámení Levelling up: Klikněte na tlačítko "začít". | >5 % uživatelů, kteří si toto oznámení zobrazí, na něj klikne | Nemáme dobrý základ, se kterým bychom to mohli porovnat, ale pokud je toto číslo příliš nízké, měli bychom prozkoumat, zda se nevyskytly technické problémy nebo problém s použitým jazykem. | Více než 5 % na počítači, méně než 5 % na mobilu |
| Oznámení na Levelling up: proklikání "pokračujte". | >5 % uživatelů, kteří si toto oznámení zobrazí, na něj klikne | Nemáme dobrý základ, se kterým bychom to mohli porovnat, ale pokud je toto číslo příliš nízké, měli bychom prozkoumat, zda se nevyskytly technické problémy nebo problém s použitým jazykem. | Více než 5 % na počítači, méně než 5 % na mobilu |
| Aktivace | Žádný rozdíl ani nárůst | Pokud zaznamenáme významný pokles v hostované skupině, podobný tomu, který jsme objevili u experimentu New Impact Module, pak zkoumáme data z monitorování a událostí, abychom se pokusili identifikovat příčinu tohoto rozdílu. | Pokles |
Vyrovnání dialogu Levelling up interakce: Zjistili jsme, že vyšší podíl nováčků interagujících s dialogem Levelling Up ve skupině Vyrovnávání (90,8 %) ve srovnání se standardním dialogem (86,5 %). To je z velké části způsobeno mobilními zařízeními, kde je podíl interakce s Levelling Up (88,0 %) mnohem vyšší než u druhé skupiny (81,6 %). Podíl je stále vyšší u skupiny Leveling Up na počítači (93,6 % v porovnání s kontrolní skupinou (92,2 %)), ale považujeme ji za "prakticky identickou", protože vysoký podíl v kontrolní skupině znamená, že je jen malý prostor pro zvýšení.
Vyzkoušení navrhované úpravy míry prokliku: 21,9 % nově příchozích, kterým se zobrazí dialogové okno po úpravě "Vyzkoušet navrhovanou úpravu", se rozhodne prokliknout, což je výrazně vyšší hodnota, než je nastavená prahová hodnota. Tento podíl je vyšší na počítačích (24,0 %) než na mobilních zařízeních (19,7 %), ale ani v jednom případě není důvod k obavám.
Zvýšení své úrovně dovedností proklikem: Zjistili jsme, že 73,1 % nově příchozích, kterým se zobrazí dialogové okno "zvýšení úrovně dovedností", kliknutím zobrazí nový úkol, což je mnohem více, než je náš očekávaný práh nižší než 10 %. Poměry jsou vysoké jak na počítačích (71,1 %), tak na mobilních zařízeních (77,3 %).
Výskyty prokliků: 3,8 % nově příchozích, kteří dostanou oznámení "Začínáme", se proklikne na domovskou stránku. Uživatelé, kteří se zaregistrovali na počítači, s větší pravděpodobností kliknou na oznámení (5,5 %) než uživatelé na mobilních zařízeních (2,5 %). Protože je splněna hranice 5 $, zkoumáme dále, abychom pochopili tento rozdíl mezi chováním na počítačích a mobilech, zejména abychom zjistili, zda je naše hranice 5 % přiměřená.
Pokračování v proklikávání výskytů: Zjistili jsme, že 9,6 % uživatelů, kteří obdrží oznámení "Pokračujte", se proklikne na domovskou stránku. Podobně jako u oznámení "Začínáme" najdeme mnohem vyšší podíl na počítačích (16,2 %) ve srovnání s mobilními zařízeními (4,7 %). Naše zkoumání rozdílů v chování oznámení podle platformy nám snad poskytne více informací o tomto rozdílu.
Aktivace: Zjistili jsme pokles konstruktivní aktivace článku (provedení nevrácené úpravy článku do 24 hodin od registrace) o 27,0 % ve srovnání s 27,7 %. Jakmile jsme si toho všimli, otevřeli jsme T334411, abychom problém prozkoumali se zaměřením na vzorce v geografii (země a wiki) a technologii (zařízení a prohlížeče). Nenašli jsme jasné vzorce vysvětlující problém. Vyšetřování tohoto poklesu aktivace bude dále zkoumáno: T337320.
Personalizovaná pochvala
| Indikátor | Očekávaný výsledek | Plán akce | Výsledky |
|---|---|---|---|
| Proklikání personalizovaného upozornění na pochvalu | Klikne na něj alespoň 10 % mentorů, kteří si prohlížejí personalizované oznámení o pochvale | Pokud je toto číslo mnohem nižší než počet kliknutí na jiná oznámení, měli bychom prozkoumat, zda se nevyskytly technické problémy nebo problém s použitým jazykem. | 73% of Mentors who received a notification clicked on it |
| Proklikání učitele modulem panelu personalizovaného chvály | Alespoň 10 % mentorů, kteří si prohlédnou přizpůsobený návrh chvály na svém hlavním panelu mentora, nakonec kliknutím odešle chválu | Pokud je tato hranice splněna, měli bychom prozkoumat, zda se nevyskytly technické problémy nebo problém s tím, jak si mentoři vykládají tuto výzvu k akci. | 27.5% of Mentors who view a Personalized praise list click through |
Data byla shromážděna 2023-06-13 ze čtyř pilotních wikin, kde je funkce nasazena (arabská Wikipedie, bengálská Wikipedie, česká Wikipedie a španělská Wikipedie).
Personalized praise notification click through: Přestože se stále jedná o relativně malý vzorek, výsledky se zdají být zdravé a ukazují, že mentoři skutečně dostávají upozornění a proklikávají se, aby si prohlédli své svěřence, kteří si zaslouží pochvalu.
Personalized praise mentor dashboard module click through: Pouze 27,5 % mentorů se prokliká na diskusní stránku mentorovaného, nicméně lze očekávat, že někteří z mentorovaných, se kterými se setkáváme, si pochvalu nezaslouží. Na základě těchto údajů a zpětné vazby od mentorů bude tým Growth provádět následující úkoly, které pomohou tuto funkci zlepšit:
- Přidání revert scorecard do modulu Personalizované chvály na řídicím panelu Mentor (T337510)
- Vyloučení zablokovaných účtů z personalizovaných návrhů pochval (T338525)
Výsledky experimentu
Mnoho experimentů, které tým Growth provádí, se zaměří na stejnou sadu klíčových metrik (běžně označovaných jako KPI), a to zahrnuje všechny experimenty Positive Reinforcement. Klíčové metriky jsou definovány takto:
- Konstruktivní aktivace je definována jako nováček, který provede svou první úpravu do 24 hodin od registrace, a tato úprava nebude vrácena do 48 hodin.
- Aktivace je podobně definována jako konstruktivní aktivace, ale bez požadavku nevracení.
- Konstruktivní uchování je definováno jako nováček, který se vrátí v jiný den během dvou týdnů po konstruktivní aktivaci a provede další úpravu, přičemž uvedená úprava také nebude vrácena do 48 hodin.
- Zachování je podobně definováno jako konstruktivní zachování, ale bez požadavků na nevracení.
- Objem konstruktivních úprav je celkový počet úprav provedených uživatelem během prvních dvou týdnů, přičemž úpravy, které byly vráceny zpět do 48 hodin, byly odstraněny.
- Míra vrácení je podíl úprav, které byly vráceny do 48 hodin, ze všech provedených úprav. To je podle definice 0 % pro uživatele, kteří neprovedli žádné úpravy, a obecně tyto uživatele z analýzy vylučujeme.
Výsledky experimentu modulu dopadu
Zpočátku jsme zjistili výrazný pokles v konstruktivní aktivaci pro nováčky, kteří se zaregistrovali na mobilním webu a získali modul New Impact. Nebyl žádný rozdíl v aktivaci pro nováčky, kteří se zaregistrovali na počítači. To bylo docela překvapivé, protože prázdný stav starého modulu Impact byl téměř totožný s prázdným stavem nového modulu Impact.
Aktivita prvního dne silně koreluje s pozdější aktivitou a v důsledku toho jsme také zjistili "výrazný pokles" v objemu úprav pro uživatele mobilního webu. Opět zde nebyl žádný rozdíl pro uživatele stolních počítačů.
Nejistili jsme žádný rozdíl v míře udržení a návratnosti. I když modul New Impact obsahuje funkce, které se zaměřují na to, abyste zůstali aktivní a přispívali dobrými příspěvky, jako je počet přijatých poděkování a počítadlo sérií, často nezaznamenáváme významný dopad na metriky, pokud neexistuje jasná výzva k akci nebo nejsme schopni izolovat konkrétní podskupinu motivovanou funkcí.
Jakmile jsme se dozvěděli o poklesu aktivace, zahájili jsme vyšetřování pravděpodobných příčin tohoto na T330614. Bohužel jsme nedokázali určit konkrétní důvod a také jsme zjistili, že problém nebyl replikován v jiné datové sadě. Rozhodli jsme se přidat aktivaci jako hlavní indikátor do experimentu Leveling Up, abychom mohli jednat rychleji. Když jsme si všimli, že problém přetrvává, zahájili jsme nové vyšetřování v T334411 a vytvořili "epický" úkol, který spojuje všechny relevantní dílčí úkoly: T342150. Po několika malých změnách jsme znovu spustili sběr experimentálních dat a nyní vidíme, že aktivace mezi experimentální a kontrolní skupinou je identická, což bychom očekávali.
I když nás těší, že jsme od nových editorů obdrželi pozitivní zpětnou vazbu ohledně nového modulu Impact, zjistili jsme, že samotný modul Impact nevedl k významným změnám v udržení nováčků, objemu úprav nebo míře vracení. Náš další experiment spojí nový modul Impact s funkcemi Leveling up. Doufáme, že tato kombinace funkcí Positive Reinforcement povede k podstatnému zlepšení aktivace, uchování a objemu úprav. Brzy zveřejníme podrobnou zprávu, která zdůrazní výsledky tohoto experimentu.
Vyrovnání výsledků experimentu
Pro tento experiment jsme dokončili jak analýzu celkových účinků napříč celou populací nově příchozích, tak jednotlivě pro každou ze čtyř složek funkcí Leveling up. Ty se skládají ze dvou oznámení zaslaných nováčkům 48 hodin po registraci a dvou dialogů po úpravě. Oznámení jsou založena na počtu navrhovaných úprav, které nováček mohl provést. Pokud nováček neprovedl žádné navrhované úpravy, dostane oznámení "Začínáme", a pokud provedl jednu až čtyři navrhované úpravy, dostane oznámení "Pokračujte". Nováčci, kteří provedli pět nebo více navrhovaných úprav, nedostanou žádná upozornění.
Dialogy po úpravách se zobrazí po dokončení úprav článků na základě určitých kritérií. Pokud nováček provedl tři nebo osm úprav článku a dosud neprovedl žádné navrhované úpravy, zobrazí se mu dialog "Vyzkoušet navrhované úpravy" s dotazem, zda chce tuto funkci vyzkoušet. Pokud nováček dokončil pět navrhovaných úprav určitého typu úkolu, zobrazí se mu dialog "Vyzkoušet nový úkol" s návrhem jiného typu úkolu.
Naše celková analýza nezjistila žádný významný vliv na klíčové metriky týmu (popsané výše), a tak se místo toho soustředíme na jednotlivé komponenty. U oznámení "Začínáme" jsme zjistili, že se toto zasílá naprosté většině nováčků, protože provádění navrhovaných úprav je poměrně neobvyklé. V našem datovém souboru dostalo toto oznámení více než 97 % nováčků. Zjistili jsme, že oznámení vede k "významnému nárůstu" aktivity nově příchozích v týdnu následujícím po odeslání oznámení. Nováčci se s větší pravděpodobností vrátí a provedou úpravu, což také zvyšuje průměrný počet úprav provedených během daného týdne. Zjistili jsme také, že tento efekt je nižší u těch, kteří se zaregistrovali na mobilním webu, a snížený nebo negativní u vysoce aktivních nováčků. Na základě toho jsme se rozhodli zavést práh, aby oznámení neobdrželi ti, kteří provedou deset nebo více úprav. (T342819)
Pokud jde o oznámení "Pokračujte", opět nalezneme „významný nárůst“ aktivity nováčků v týdnu po zaslání oznámení pro ty, kteří se zaregistrovali na platformě pro stolní počítače. U uživatelů, kteří se zaregistrovali na mobilním webu, jsme zjistili, že to nezvyšuje jejich pravděpodobnost návratu k úpravám, ale zvyšuje průměrný počet provedených úprav.
U dialogu "Vyzkoušet navrhované úpravy" naše analýza zjistila, že ačkoli má přiměřeně vysokou míru prokliku, nevede k tomu, že nováčci úspěšně dokončí navrhované úpravy. V naší zprávě hlavních ukazatelů výše byla míra prokliku 21,9 % a v souboru dat z konce července 2023 jsme zjistili, že míra prokliku je vyšší, a to 25,3 %. Pomocí dat událostí zjistíme, že jen málo nováčků najde úkol, který ho zajímá, a následně jen zlomek nováčků projde a dokončí úpravu. V tomto dialogovém okně "Vyzkoušet navrhované úpravy" plánujeme provést několik vylepšení, abychom zjistili, zda můžeme zvýšit procento editorů, kteří kliknou a pokračují v dokončení úpravy. (T348205)
U dialogu "Vyzkoušet nový úkol", který se zobrazuje uživatelům, kteří dokončí pět navrhovaných úprav daného typu úkolu, najdeme jak vysokou míru prokliku, tak přiměřeně vysokou míru dokončených úprav. V našich hlavních ukazatelích jsme vykázali míru prokliku 73,1 % a v našem novějším souboru dat z konce července 2023 je míra 81,9 %. Naše analýza následných úprav ukazuje, že 33,3 % uživatelů počítačů a 20,0 % uživatelů mobilního webu projde a dokončí navrhovanou úpravu nového typu úkolu. Jedna věc, kterou je třeba mít na paměti, je, že tento dialog se nezobrazuje velkému počtu nováčků, a proto nemůžeme vyvozovat závěry o tom, zda mezi platformami existují smysluplné rozdíly. Můžeme dojít k závěru, že tento dialog je úspěšný při zavádění nových typů úkolů. Abychom dialog ukázali většímu počtu nováčků, rozhodli jsme se snížit počet úprav potřebných k jeho zobrazení z pěti na tři. (T348814)
Personalizované výsledky experimentu s chválou
V tomto experimentu jsme se zaměřili na vliv chvály na udržení nováčka a produktivitu. Vzhledem k tomu, že pochvala je reakcí na editační činnost, znamená to, že mezi registrací a obdržením pochvalné zprávy uplyne určitá doba. Začali jsme proto analýzou doby mezi registrací a kliknutím mentora na tlačítko "Odeslat pochvalu". V této analýze jsme zjistili, že většina nováčků jej získá do 30 dnů od registrace. To nás vedlo k předefinování časového období pro uchování a produktivitu, abychom také použili toto 30denní období (namísto našich výchozích 14 dnů).
Funkce personalizované chvály byla nasazena na arabskou, bengálskou, českou a španělskou Wikipedii koncem května 2023. Španělskou Wikipedii jsme analyzovali odděleně od ostatních tří, protože na španělské Wikipedii je 50 % nově příchozích náhodně přidělen mentor, což znamená, že funkce je součástí kontrolovaného experimentu. Všichni nově příchozí mají přiděleného mentora na dalších třech Wikipediích.
Pomocí analytického přístupu Difference-in-Differences jsme porovnali tříměsíční období před nasazením (leden až březen) s podobným obdobím po nasazení (červen až srpen) a porovnali údaje z roku 2023 s údaji z let 2022 a 2018. Jako robustnost používáme dvě období kontroly COVID 2022.
Pro arabskou, bengálskou a českou Wikipedii jsme zjistili „žádný významný dopad“ personalizované chvály ani na udržení, ani na produktivitu. Při dalším zkoumání jsme zjistili, že použití této funkce bylo omezené (nezveřejňujeme konkrétní počty v souladu s našimi pokyny pro zveřejňování dat). V diskuzích s ambasadory wiki jsme se dozvěděli, že zasílání chvály je časově náročný proces, protože mentoři potřebují zkontrolovat úpravy mentorovaného, a tak vysvětlit, proč tato funkce není více využívána.
Pokud jde o španělskou Wikipedii, zjistili jsme, že tato funkce je rozšířenější. I když jsme opět zjistili "žádný významný dopad" na udržení, zjistili jsme "výrazně pozitivní dopad" na produktivitu nováčků. Toto zjištění je povzbudivé, protože naše předběžná analýza mentorství zjistila protichůdné výsledky bez žádného nebo s negativním dopadem.
Vzhledem k tomu, že tyto výsledky nebyly dostatečně pozitivní, aby ospravedlnily časovou investici od mentorů, rozhodli jsme se zahájit rozhovory s našimi ambasadory a komunitami a zvážit další vylepšení, než tuto funkci zveřejníme v širším měřítku. Zvážíme vylepšení související se snížením množství práce potřebné pro mentory, potenciální vylepšení designu a vylepšení způsobu, jakým jsou nováčci vybíráni, aby se zobrazovali v modulu přizpůsobené pochvaly.