Growth/Personalizovaný první den/Domovská stránka/Měření a plán experimentu

This page is a translated version of the page Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan and the translation is 100% complete.

Cílem domovské stránky je poskytnout uživatelům, zejména těm, kteří jsou nově registrováni, snadný přístup k věcem, jako jsou zdroje nápovědy, návrhy na práci, kterou mohou dělat, a informace, díky nimž je živá činnost komunity Wikipedie a dopad práce, která se dělá. Tento typ informací může pomoci snížit překážku pro konstruktivní příspěvky do encyklopedie, a tím zvýšit aktivaci editorů (podíl nových uživatelů, kteří pokračují v úpravách). Může také potenciálně zvýšit udržení editorů (podíl nových uživatelů, kteří se vrátí, aby provedli další úpravy), což je zastřešující cíl Growth Teamu.

Tato stránka dokumentuje náš plán experimentu a jaké výsledky budeme používat k zjištění, kolik uživatelů s ní pracuje.

Výzkumné otázky

Výzkumné otázky jsou otázky vyšší úrovně, na které chceme odpovědět. "zpracováním domovské stránky" máme na mysli, že uživatel má domovskou stránku ve výchozím nastavení zapnutou a zároveň dostává různé doplňkové funkce, které jej přivádějí na domovskou stránku, což může zahrnovat bannery, zprávy na diskusní stránce nebo odkazy na hlavní stránce. V počáteční verzi bude jedinou doplňkovou funkcí fakt, že odkaz na uživatelské jméno v osobních nástrojích povede na domovskou stránku.

Pomáhá domovská stránka zvýšit aktivaci editora?
Pomáhá domovská stránka zvýšit retenci editora?
Pomáhá přístup k domovské stránce zvýšit množství editací v prvních dvou týdnech po registraci?
Zvyšuje domovská stránka množství konstruktivních editací?
- V tomto kontextu "konstruktivní úpravy" (constructive edits) znamenají úpravy, které nelze vrátit zpět. Protože se Growth Team zaměřuje na udržení nových uživatelů, plánujeme toto měřit jak celkově, tak podle úrovně uživatelské zkušenosti (např. trvání ve dnech, počet úprav nebo jejich kombinace)
Vrací se uživatelé s domovskou stránkou zpátky na domovskou stránku? Jaký vzor vidíme v používání domovské stránky?
Které moduly zapojují nováčky a do jaké míry? Vedou moduly, které žádají uživatele, aby provedli akci, k tomu, že uživatelé tyto akce provedou?
Umíme domovskou stránku personalizovat?
- První krok: Chovají se uživatelé v souladu s jejich odpověďmi na uvítací průzkum? Například uživatelé, kteří říkají, že mají zájem být kontaktováni, aby získali pomoc s úpravami, používají modul mentor k tomu, aby oslovili mentora. Používají uživatelé, kteří říkají, že mají zájem o vytvoření článku, moduly, které jim pomohou dozvědět se více o tom, jak to udělat?
- Druhý krok: Jakmile se nám podaří personalizovat domovskou stránku, zaznamenáme větší zapojení uživatelů, jejichž domovské stránky jsou personalizované?
Když je domovská stránka přizpůsobitelná, do jaké míry uživatelé tuto možnost využívají?
Co se můžeme kvalitativně naučit, pokud/když existuje snaha o průzkum nových příchozích na domovské stránce? Takovou kvalitativní studii lze provést prostřednictvím rychlých průzkumů nebo prostřednictvím modulu domovské stránky, který se jednoduše zeptá na zbytek domovské stránky.

Kontrolovaný experiment

Abychom porozuměli vlivu domovské stránky na aktivaci a udržení editoru, navrhujeme experiment, který poběží minimálně šest měsíců. Během této doby bude mít 50 % nových registrací na cílových wikinách (v současnosti české, korejské, vietnamské a arabské) výchozí stránku povolenou a 50 % ji bude mít deaktivovanou. S největší pravděpodobností současně spustíme další experimenty na cílových wikinách (např. varianty našeho panelu nápovědy). Pokud tyto experimenty vyžadují vrstvené (stratifikované) vzorkování, v případě potřeby upravíme naše strategie vzorkování.

Během experimentu očekáváme, že budeme testovat také varianty domovské stránky, abychom pochopili, jak konkrétní prvky rozhraní ovlivňují chování uživatelů. Budeme si pamatovat, že čím silnější je naše hypotéza, že změněné rozhraní ovlivní aktivaci nebo uchování, tím více test na tomto rozhraní zmate náš dlouhodobější experiment aktivace a zachování (retence).

Měření

Tato měření jsou řízena našimi výzkumnými otázkami a zaměřují se na konkrétní akce prováděné uživateli, kteří mají možnost přistupovat na domovskou stránku a pracovat s jejími moduly. Níže uvedený seznam obsahuje měření pro čtyři moduly přítomné na domovské stránce v době spuštění: Start, Help, Impact a Mentor. Když vyvíjíme nové moduly pro domovskou stránku, vyvineme pro ně také podobné plány měření.

Obecné
1. Kolik procent uživatelů přistupuje na domovskou stránku?
  1. Jaké procento těchto uživatelů navštíví domovskou stránku vícekrát?
  2. Když uživatelé navštíví domovskou stránku vícekrát, v jaké časové ose se to stane?
  3. Existují rozdíly mezi uživateli mobilních zařízení a počítačů?
2. Jak brzy po vytvoření účtu uživatel poprvé navštíví domovskou stránku?
3. Jak se uživatelé dostanou na domovskou stránku?
  1. Kliknutím na jejich uživatelské jméno v horní navigaci?
  2. Kliknutím na záložku z jejich uživatelské nebo uživatelské diskusní stránky?
  3. Přes jiný ovladač, jako je banner na wiki nebo odkaz v e-mailu?
  4. Pokud uživatel klikl na odkaz na domovskou stránku v horní navigaci nebo na kartě, chceme zachytit kontext, ve kterém se nacházel. Konkrétně chceme vědět, v jakém jmenném prostoru se nacházel, když na odkaz klikl, a zda četl nebo editoval.
4. Kolik času stráví uživatelé interakcí s moduly domovské stránky při jedné návštěvě?
  1. Při jejich první návštěvě?
  2. Při dalších návštěvách?
5. Kolik procent uživatelů sleduje odkazy z alespoň jednoho modulu?
6. Je pravděpodobné, že uživatelé, kteří mají přístup na domovskou stránku, vytvoří uživatelskou stránku?
7. Je pravděpodobné, že uživatelé, kteří mají přístup na domovskou stránku, se budou ovlivňovat s ostatními uživateli prostřednictvím diskusních stránek uživatelů?
8. Je pravděpodobné, že uživatelé, kteří mají přístup na domovskou stránku, budou komunikovat s komunitou prostřednictvím diskusních stránek o článcích a projektech?
Moduly
1. Obecné
  1. Jak často se kliká na jednotlivé moduly? Jaký je podíl uživatelů, kteří na každý kliknou?
  2. S kolika moduly mají uživatelé tendenci interagovat (ovlivňovat se) (kde "interakce" znamená jakékoli kliknutí)?
  3. Se kterými moduly bývá interagováno opakovaně?
  4. Se kterými moduly nejvíce interagují ti uživatelé, kteří jsou aktivováni a uchováni (uznáváme, že kauzalita (příčinná souvislost) může jít oběma směry)?
  5. Jak dlouho se uživatelé stolních počítačů pohybují nad jednotlivými moduly? (analogické měření pro mobilní zařízení závisí na nevyřízeném návrhu mobilního zařízení)
  6. Zdá se, že umístění modulu na stránce ovlivňuje interakce?
  7. Jaký dopad na udržení má provedení výzvy k akci u každého modulu?
    1. Například: Jaké procento uživatelů, kteří kontaktují svého mentora, zůstane zachováno?
2. Specifické moduly
  1. Modul nápovědy
    1. Kolik procent uživatelů klikne na jeden nebo více odkazů nápovědy?
      1. Pokud ano, na jaké odkazy kliknou?
    2. Kolik procent uživatelů využívá funkci vyhledávání?
      1. Zaměří se na vyhledávací pole
      2. Odešle vyhledávání, počet znaků ve vyhledávání
      3. Klikne na výsledek, počet výsledků, pořadí kliknutého výsledku
    3. Jak daleko uživatelé zajdou v pracovním postupu kladení otázky na Help Desku?
      1. Kliknutím položí otázku
      2. Napíše otázku
      3. Odešle
      4. Klikne na odkaz v potvrzovacím dialogu
    4. Jaká je průměrná délka položených otázek?
    5. Kolik procent uživatelů, kteří odešlou otázku, se vrátí, aby si zobrazili odpověď, a to provedením některé z následujících akcí?
      1. Kliknutím na oznámení Echo oznamující, že byly v odpovědi odeslány příkazy ping.
      2. Kliknutím na odkaz v seznamu "Vaše poslední dotazy".
      3. ReakcÍ na odpověď na stránce Help Desk.
    6. Jaké procento nově příchozích, kteří neměli žádnou e-mailovou adresu, ji přidá, když položí otázku?
    7. Kolik procent nově příchozích potvrdí svou e-mailovou adresu (do 48 hodin) po položení otázky?
    8. Kolik procent nově příchozích položí otázku bez e-mailové adresy?
    9. Jaké procento uživatelů, kteří položili alespoň jednu otázku, vidí jednu nebo více archivovaných otázek při zobrazení domovské stránky?
    10. Kolik procent uživatelů, kteří kliknou na jeden z odkazů v seznamu "Vaše poslední dotazy", kliklo na odkaz na otázku, která byla archivována?
  2. Modul mentorství
    1. Kolik procent klikne na odkaz, abyste se dozvěděli více o mentorovi?
    2. Jak daleko uživatelé zajdou v pracovním postupu kladeníM otázky svému mentorovi?
      1. Kliknutím položí otázku
      2. Napíše otázku
      3. Odešle
      4. Klikne na odkaz v potvrzovacím dialogu
    3. Jaká je průměrná délka položených otázek?
    4. (Měřeno ručně) Jaké procento uživatelů, kteří zadají otázku, obdrží odpověď od svého mentora?
      1. Dostanou odpověď od někoho, kdo není jejich mentorem?
    5. Kolik procent uživatelů, kteří odešlou otázku, se vrátí, aby si zobrazili odpověď, a to provedením některé z následujících akcí?
      1. Kliknutím na oznámení Echo oznamující, že byly v odpovědi odeslány příkazy ping.
      2. Kliknutím na odkaz v seznamu "Vaše poslední dotazy".
      3. Reakcí na odpověď na diskusní stránce.
    6. (Měřeno ručně) Kolik procent nově příchozích, kteří položí otázku, zveřejní podruhé dotaz na diskusní stránce svého mentora?
      1. Jak často se z první otázky stane rozhovor?
      2. Jak často je položena druhá otázka?
      3. Jak často konverzace přesahují výměnné wiki diskuse?
    7. Kolik procent kliknutí na jeden z odkazů zobrazí jejich otázku poté, co ji položili?
    8. Jaké procento nově příchozích, kteří neměli žádnou e-mailovou adresu, ji přidá, když položí otázku?
    9. Kolik procent nově příchozích potvrdí svou e-mailovou adresu (do 48 hodin) po položení otázky?
    10. Kolik procent nově příchozích položí otázku bez e-mailové adresy?
    11. Je pravděpodobnější, že nováčci budou klást otázky mentorům, kteří mají vysoký počet úprav a krátký čas od poslední úpravy, ve srovnání s mentory s nižším počtem úprav a/nebo delší dobou od poslední úpravy?
    12. Jaké procento uživatelů, kteří položili alespoň jednu otázku, vidí jednu nebo více archivovaných otázek při zobrazení domovské stránky?
    13. Kolik procent uživatelů, kteří kliknou na jeden z odkazů v seznamu "Vaše poslední dotazy", kliklo na odkaz na otázku, která byla archivována?
  3. Modul dopadu
    1. Kolik procent klikne na odkaz, když je modul v "neaktivovaném stavu" (když uživatel nemá žádné úpravy článků)?
    2. Kolik procent kliknutí zobrazí článek?
    3. Kolik procent kliknutí zobrazí nástroj pro analýzu zobrazení stránek?
    4. Kolik procent kliknutí zobrazí všechny jejich příspěvky?
    5. Jak často se uživatelé vracejí, aby několikrát otevřeli nástroj pro analýzu zobrazení stránek?
  4. Modul spuštění
    1. Kolik procent uživatelů, kteří neměli žádnou e-mailovou adresu, přidalo e-mailovou adresu prostřednictvím tohoto modulu?
    2. Kolik procent uživatelů potvrzuje svou e-mailovou adresu prostřednictvím tohoto modulu?
    3. Kolik procent uživatelů klikne na tlačítko pro výukový program?
    4. Kolik procent uživatelů klikne na tlačítko pro spuštění své uživatelské stránky a jaké procento z nich skutečně uloží uživatelskou stránku?
    5. Kolik procent uživatelů klikne na odkaz, aby se dozvěděli více o vytvoření uživatelské stránky?

Hlavní indikátory a plány

Trvání A/B testu je minimálně šest měsíců, protože je nemožné odhalit změny v uchovávání nových editorů na středně velkých wikinách za kratší dobu (pokud zásadně neovlivníme uchovávání, ale to považujeme za poněkud nepravděpodobné). Během čekání na výsledky chceme být připraveni provést změny, pokud se domníváme, že to je třeba. Níže se nachází seznam různých možností. Pro každou možnost navrhujeme nápravné opatření.

Indikátor	Návrh opatření
Nenavštívení domovské stránky	Pokud se na domovskou stránku nedostane více než 85 % uživatelů, upřednostňujeme testování varianty se zvýšenou hodnotou dostupností nebo investování do funkcí pro zvýšení návštěvnosti domovské stránky, jako jsou bannery, odkazy, zprávy nebo komentované prohlídky.
Rychlé opuštění domovské stránky po první návštěvě	Pokud při první návštěvě domovské stránky více než 50 % uživatelů opustí stránku do pěti sekund (nebo jiná prahová hodnota zjištěná analýzou), zvážíme, zda jsou ke zlepšení prvního dojmu ze stránky potřeba změny designu.
Do 24 hodin po první návštěvě domovské stránky nepůsobí vzájemně s žádnými moduly domovské stránky	Pokud více než 75 % uživatelů, kteří přistupují na domovskou stránku, neinteraguje s žádným z modulů, zvažujeme buď jiné moduly, změny designu stávajících modulů nebo vylepšenou personalizaci.
Nevrací se na domovskou stránku	Pokud <10 % uživatelů, kteří navštívili domovskou stránku jednou, ji navštíví znovu během dvou týdnů, pak zvažujeme buď jiné moduly, změny designu stávajících modulů nebo vylepšenou personalizaci.
Zapnutí/vypnutí funkce domovské stránky	Pokud více než 1 % uživatelů zapne/vypne funkci domovské stránky, prozkoumáme odpovědi těchto uživatelů na uvítací průzkum, abychom zjistili, zda se nejedná o zkušené uživatele. Pokud nejsou, návrh přehodnotíme.
Nepoužití konkrétního modulu	Pokud jeden modul získá <10 % interakcí, zvážíme, zda by se neměl změnit design tohoto modulu nebo by neměl být nahrazen jiným modulem.
Help Desk přetéká	Pokud uživatelé zadávají dotazy na Help Desk prostřednictvím modulu nápovědy a uživatelé čekají na odpovědi déle než hodinu, protože objem je trvalý a příliš vysoký na to, aby komunita udržela krok, konzultujeme s komunitou, co tyto otázky jsou a zda je potřeba varianta.
Je málo mentorů	Pokud uživatelé kontaktují své mentory v trvalé míře, se kterou mentoři nemohou držet krok, oslovíme naše ambasadory a/nebo komunitu, abychom zjistili, proč jsou kontaktováni a zda je potřeba varianta modulu.
Příliš vysoký objem událostí při umístění kurzoru	Pokud objem událostí přechodu generovaných uživateli navštěvujícími domovskou stránku překročí přijatelné limity, snížíme vzorkovací frekvenci pro tyto události. Informace o tom, co jsou "přijatelné limity", naleznete v T219435#5093702.

Stav hlavních ukazatelů

Domovská stránka pro nováčky byla nasazena na českou a korejskou Wikipedii 6. května 2019. Hlavní ukazatele jsme během prvního měsíce experimentu pravidelně sledovali a nenašli jsme problémy, které by vyžadovaly okamžitou pozornost. Místo toho zjišťujeme, že domovská stránka zaznamenává velký provoz a interakce, zejména si všimneme, že vysoký podíl uživatelů se na ni opakovaně vrací.

Tabulka 1 níže ukazuje hlavní ukazatele z plánu experimentu měření spolu s výsledky z obou Wikipedií. Tato analýza je založena na datech uživatelů, kteří se zaregistrovali mezi nasazením 6. května 2019 a časem analýzy 3. června 2019. Uživatelé, kteří se sami rozhodli, že mají domovskou stránku nebo z ní odejdou (zapnutím nebo vypnutím této možnosti), jsou vyloučeni, stejně jako jakýkoli známý testovací účet od členů Growth Teamu.

Tabulka 1: Hlavní ukazatele, prahové hodnoty, akční plány a výsledky
Indikátor	Návrh opatření	Česká Wikipedie	Korejská Wikipedie
Nenavštívení domovské stránky	Pokud se na domovskou stránku nedostane více než 85 % uživatelů, upřednostňujeme testování varianty se zvýšenou hodnotou dostupností nebo investování do funkcí pro zvýšení návštěvnosti domovské stránky, jako jsou bannery, odkazy, zprávy nebo komentované prohlídky.	69.6%	77.3%
Rychlé opuštění domovské stránky po první návštěvě	Pokud při první návštěvě domovské stránky více než 50 % uživatelů opustí stránku do pěti sekund (nebo jiná prahová hodnota zjištěná analýzou), zvážíme, zda jsou ke zlepšení prvního dojmu ze stránky potřeba změny designu.	43.8%	44.3%
Do 24 hodin po první návštěvě domovské stránky nepůsobí vzájemně s žádnými moduly domovské stránky	Pokud více než 75 % uživatelů, kteří přistupují na domovskou stránku, neinteraguje s žádným z modulů, zvažujeme buď jiné moduly, změny designu stávajících modulů nebo vylepšenou personalizaci.	43.2%	61.2%
Nevrací se na domovskou stránku	Pokud <10 % uživatelů, kteří navštívili domovskou stránku jednou, ji navštíví znovu během dvou týdnů, pak zvažujeme buď jiné moduly, změny designu stávajících modulů nebo vylepšenou personalizaci.	58.5%	58.0%
Zapnutí/vypnutí funkce domovské stránky	Pokud více než 1 % uživatelů zapne/vypne funkci domovské stránky, prozkoumáme odpovědi těchto uživatelů na uvítací průzkum, abychom zjistili, zda se nejedná o zkušené uživatele. Pokud nejsou, návrh přehodnotíme.	0.3%	0.0%
Nepoužití konkrétního modulu	Pokud jeden modul získá <10 % interakcí, zvážíme, zda by se neměl změnit design tohoto modulu nebo by neměl být nahrazen jiným modulem.	1 modul	1 modul
Help Desk přetéká	Pokud uživatelé zadávají dotazy na Help Desk prostřednictvím modulu nápovědy a uživatelé čekají na odpovědi déle než hodinu, protože objem je trvalý a příliš vysoký na to, aby komunita udržela krok, konzultujeme s komunitou, co tyto otázky jsou a zda je potřeba varianta.	Ne	Ne
Je málo mentorů	Pokud uživatelé kontaktují své mentory v trvalé míře, se kterou mentoři nemohou držet krok, oslovíme naše ambasadory a/nebo komunitu, abychom zjistili, proč jsou kontaktováni a zda je potřeba varianta modulu.	Ne	Ne
Příliš vysoký objem událostí při umístění kurzoru	Pokud objem událostí přechodu generovaných uživateli navštěvujícími domovskou stránku překročí přijatelné limity, snížíme vzorkovací frekvenci pro tyto události. Informace o tom, co jsou "přijatelné limity", najdete v T219435#5093702.	Ne (max. 21 událostí za sekundu)

Existuje jedna prahová hodnota, která byla splněna, moduly nejsou příliš využívány a dvě oblasti zájmu. Níže se jim budeme věnovat podrobněji:

Nepoužití konkrétního modulu: Jediný modul, který není příliš využíván, je modul nápovědy, který uživatelům poskytuje odkazy na obsah nápovědy a dialog pro zasílání dotazů na Help Desk. To nás nijak zvlášť neznepokojuje, částečně proto, že někteří uživatelé s ním komunikují (hlavně sledují odkazy na nápovědu), a částečně proto, že to není problém, pokud naši uživatelé nemají silnou potřebu posílat dotazy na Help Desk z domovské stránky. Místo toho vidíme, jak uživatelé domovské stránky posílají otázky svým mentorům.
Nenavštívení domovské stránky: Prahová hodnota není splněna ani na jedné z wiki, ale na korejské Wikipedii může být označena jako "blízko". Vzhledem k tomu, že pracujeme na vývoji funkcí, které pomáhají novým uživatelům objevit domovskou stránku, nevidíme to jako problém, protože očekáváme, že tato funkce tento podíl sníží.
Nedostatek mentorů: Nezdá se, že by bylo obtížné vypořádat se s množstvím otázek na obou wikinách. Jak již bylo řečeno, umožnit novým uživatelům posílat otázky svým mentorům je systém, kde se spoléháme na jednotlivce, že budou odpovídat, což může mít za následek delší dobu odezvy, než jakou bychom mohli vidět na Help Desku wiki. V tuto chvíli nenacházíme důvod k obavám, ale je to oblast, kterou budeme sledovat.