Growth/Personalizovaný první den/Domovská stránka/Měření a plán experimentu

This page is a translated version of the page Growth/Personalized first day/Newcomer homepage/Measurement and experiment plan and the translation is 100% complete.
Other languages:
English • ‎Tiếng Việt • ‎Türkçe • ‎čeština • ‎العربية • ‎日本語 • ‎한국어

Cílem Domovské stránky je poskytnout zejména novým uživatelům snadný přístup k nápovědě, řešeními pro věci, na kterých pracují a ty nejdůležitější informace, které k tvorbě Wikipedie potřebují. Zároveň také Domovská stránka má předat dopad práce, kterou na Wikipedii odvedli. Tyto typy informací mohou snížit bariéru vytváření konstruktivních příspěvků do encyklopedie, což zvýší aktivaci editorů (množství nováčků, kteří udělají editaci). Také to může zvýšit retenci editorů (množství nováčků, kteří editují více než jeden den), což je celkový cíl týmu Growth.

Tato stránka dokumentuje náš plán experimentu, a jaké výsledky budeme používat k zjištění, kolik uživatelů s ní pracuje.

Výzkumné otázky

Výzkumné otázky jsou otázky na vyšší úrovni, na které chceme odpovědět. Pod pojmem „ošetření domovské stránky“ máme na mysli, že uživatel má ve výchozím nastavení domovskou stránku a přijímá různé doplňkové funkce, které je přesměrují na domovskou stránku, které mohou zahrnovat bannery, zprávy na diskusních stránkách nebo odkazy na hlavní stránce. V počáteční verzi bude jedinou doplňkovou funkcí skutečnost, že odkaz na uživatelské jméno v osobních nástrojích půjde na domovskou stránku.

  1. Pomáhá Domovská stránka zvýšit aktivaci editora?
  2. Pomáhá Domovská stránka zvýšit retenci editora?
  3. Pomáhá přístup k Domovské stránce zvýšit množství editací v prvních dvou týdnech po registraci?
  4. Zvyšuje Domovská stránka množství konstruktivních editací?
    • V tomto kontextu „konstruktivní úpravy“ znamenají úpravy, které nejsou vráceny. Vzhledem k tomu, že Growth Team se zaměřuje na udržení nových uživatelů, plánujeme to měřit jak celkově, tak podle úrovně zkušeností uživatelů (např. Držba ve dnech, počet úprav nebo jejich kombinace).
  5. Vrací se uživatelé s Domovskou stránku zpátky na Domovskou stránku? Jaký vzor vidíme v používání Domovské stránce?
  6. Které moduly zapojují nováčky a do jaké míry jsou zapojeny? Vedou moduly, které žádají uživatele, aby jednali, uživatele, aby tyto akce podnikly?
  7. Umíme Domovskou stránku personalizovat?
    • První krok: chovají se uživatelé v souladu se svými odpověďmi na uvítací průzkum? Například uživatelé, kteří říkají, že mají zájem být kontaktováni, aby získali pomoc s úpravami, používají modul mentor k oslovení mentora. Používají uživatelé, kteří tvrdí, že mají zájem o vytvoření článku, moduly, které jim pomáhají dozvědět se více o tom, jak to udělat?
    • Druhý krok: jakmile si přizpůsobíme domovskou stránku, vidíme zvýšené zapojení uživatelů, jejichž domovské stránky jsou personalizovány?
  8. Když je domovská stránka přizpůsobitelná, do jaké míry uživatelé tuto schopnost využívají?
  9. Pokud / kdy existuje snaha o průzkum nováčků o domovské stránce, co se můžeme kvalitativně naučit? Takovou kvalitativní studii lze provést prostřednictvím Rychlých průzkumů nebo prostřednictvím modulu domovské stránky, který se jednoduše ptá na zbytek domovské stránky.

Kontrolovaný experiment

Abychom pochopili dopad domovské stránky na aktivaci a uchování editoru, navrhujeme experiment, který bude probíhat nejméně šest měsíců. Během této doby bude 50% nových registrací na cílové wiki (v současné době české, korejské, vietnamské a arabské) povoleno ve výchozím nastavení domovské stránky a 50% bude mít deaktivovanou. Nejpravděpodobněji budeme současně provádět další experimenty na cílové wiki (např. Varianty našeho panelu nápovědy). Pokud tyto experimenty vyžadují stratifikovaný odběr vzorků, zajistíme přizpůsobení našich strategií odběru vzorků podle potřeby.

Během experimentu očekáváme také testování variant domovské stránky, abychom pochopili, jak konkrétní prvky rozhraní ovlivňují chování uživatelů. Budeme si pamatovat, že čím silnější je naše hypotéza, že změněné rozhraní ovlivní aktivaci nebo retenci, tím více test na tomto rozhraní zaměří náš dlouhodobější experiment o aktivaci a retenci.

Měření

Tato měření jsou řízena našimi výzkumnými otázkami a zaměřují se na konkrétní činnosti uživatelů, kteří mají přístup na domovskou stránku a komunikují s jejími moduly. Níže uvedený seznam obsahuje měření čtyř modulů přítomných na domovské stránce v době spuštění: Start, Nápověda, Dopad a Mentor. Když vyvíjíme nové moduly pro domovskou stránku, vytvoříme pro ně také podobné plány měření.

  1. Obecné informace
    1. Jaké procento uživatelů přistupuje na domovskou stránku?
      1. Jaké procento z těchto uživatelů přistupuje na domovskou stránku vícekrát?
      2. Když se uživatelé na domovskou stránku dostanou vícekrát, za jakou časovou osu se to stane?
      3. Existují rozdíly mezi mobilními a stolními uživateli?
    2. Jak brzy po vytvoření účtu uživatel poprvé navštíví domovskou stránku?
    3. Jak se uživatelé dostanou na domovskou stránku?
      1. Kliknutím na jejich uživatelské jméno v horní navigaci?
      2. Kliknutím na kartu Uživatel nebo na jejich diskusní stránce?
      3. Prostřednictvím jiného ovladače, jako je banner na wiki nebo odkaz v e-mailu?
      4. Pokud uživatel klikl na odkaz na domovskou stránku z horní navigace nebo na kartě, chceme zachytit kontext, ve kterém byli. Konkrétně chceme vědět, v jakém jmenném prostoru byli, když na něj klikli, a zda čtou nebo editace.
    4. Kolik času tráví uživatelé interakcí s moduly domovské stránky na návštěvu?
      1. Během jejich první návštěvy?
      2. Během následujících návštěv?
    5. Jaké procento uživatelů sleduje odkazy z alespoň jednoho modulu?
    6. Jsou uživatelé, kteří mají přístup na domovskou stránku, více či méně pravděpodobní, že si vytvoří uživatelskou stránku?
    7. Jsou uživatelé, kteří mají přístup na domovskou stránku, více či méně pravděpodobně v kontaktu s ostatními uživateli prostřednictvím diskusních stránek uživatelů?
    8. Jsou uživatelé, kteří mají přístup na domovskou stránku, více či méně pravděpodobně v kontaktu s komunitou prostřednictvím diskusních stránek o článcích a projektech?
  2. Moduly
    1. Obecné informace
      1. Jak často se klikne na každý modul? Jaký je podíl uživatelů, kteří na něj kliknou?
      2. S kolika moduly mají uživatelé sklon interagovat (kde „interakce“ znamená jakékoli kliknutí)?
      3. S kterými moduly bývají opakovaně interagovány?
      4. Které moduly interagují s většinou uživatelů, kteří jsou aktivováni a udrženi (s vědomím, že kauzalita může jít v obou směrech)?
      5. Jak dlouho se uživatelé stolních počítačů zabývají každým modulem? (Analogové měření pro mobilní zařízení závisí na dosud nevyřešeném návrhu mobilního zařízení)
      6. Zdá se, že umístění modulu na stránce ovlivňuje interakce?
      7. Jaký je dopad na retenci při provádění výzvy k akci u každého modulu?
        1. Například: jaké procento uživatelů, kteří kontaktují svého mentora, je zachováno?
    2. Specifické moduly
      1. Modul nápovědy
        1. Jaké procento uživatelů klikne na jeden nebo více odkazů na nápovědu?
          1. Pokud ano, na které odkazy kliknou?
        2. Jaké procento uživatelů používá funkci vyhledávání?
          1. 1: Zaostřete na vyhledávací pole
          2. 2: Zadejte hledání, počet hledaných znaků
          3. 3: Klikněte na výsledek, počet výsledků, hodnocení kliknutí
        3. Jak daleko se uživatelé dostanou do pracovního postupu kladení otázek na helpdesku?
          1. 1: Klepnutím položte otázku
          2. 2: Zadejte otázku
          3. 3: Odešlete
          4. 4: Klikněte na odkaz v potvrzovacím dialogu
        4. Jaká je průměrná délka položených otázek?
        5. Jaké procento uživatelů, kteří vložili otázku, se zdá, že se vrátí, aby si prohlédli odpověď, provedením některého z následujících kroků?
          1. Kliknutím na oznámení Echo řeknete, že byli v odpovědi pingováni.
          2. Klikněte na odkaz v seznamu „Poslední dotazy“.
          3. Odpověď na otázku na stránce Help Desk.
        6. Která procenta nováčků, kteří neměli žádnou e-mailovou adresu, přidají jednu při položení otázky?
        7. Jaké procento nově příchozích potvrzuje svou e-mailovou adresu (do 48 hodin) po položení otázky?
        8. Jaké procento nováčků klade otázku bez e-mailové adresy?
        9. Jaké procento uživatelů, kteří položili alespoň jednu otázku, vidí při prohlížení domovské stránky jednu nebo více archivovaných otázek?
        10. Jaké procento uživatelů, kteří kliknou na jeden z odkazů v seznamu „Vaše nedávné otázky“, kliklo na odkaz na archivovanou otázku?
      2. Modul mentorství
        1. Jaké procento klikne na odkaz a dozví se více o mentorovi?
        2. Jak daleko se uživatelé dostanou do pracovního postupu a ptají se svého mentora?
          1. 1: Klepnutím položte otázku
          2. 2: Zadejte otázku
          3. 3: Odešlete
          4. 4: Klikněte na odkaz v potvrzovacím dialogu
        3. Jaká je průměrná délka položených otázek?
        4. (Měřeno ručně) Jaké procento uživatelů, kteří položili otázku, obdrží odpověď od svého mentora?
          1. Dostanou odpověď od někoho, kdo není jejich mentorem?
        5. Jaké procento uživatelů, kteří vložili otázku, se zdá, že se vrátí, aby si prohlédli odpověď, provedením některého z následujících kroků?
          1. Kliknutím na oznámení Echo řeknete, že byli v odpovědi pingováni.
          2. Klikněte na odkaz v seznamu „Poslední dotazy“.
          3. Odpověď na otázku na stránce Help Desk.
        6. (Měřeno ručně) Jaké procento nově příchozích, kteří položí otázku, se podruhé objeví na diskusní stránce svého mentora?
          1. Jak často se první otázka stává konverzací?
          2. Jak často je položena druhá otázka?
          3. Jak často se konverzace pohybují mimo transakční wiki diskuse?
        7. Jaké procento klikne na jeden z odkazů a zobrazí se jejich otázka poté, co se na to zeptají?
        8. Která procenta nováčků, kteří neměli žádnou e-mailovou adresu, přidají jednu při položení otázky?
        9. Jaké procento nově příchozích potvrzuje svou e-mailovou adresu (do 48 hodin) po položení otázky?
        10. Jaké procento nováčků klade otázku bez e-mailové adresy?
        11. Je pravděpodobnější, že nováčci budou klást otázky mentorům, kteří mají vysoký počet úprav a krátký čas od poslední úpravy, ve srovnání s mentory s nižším počtem úprav a / nebo delší dobu od poslední úpravy?
        12. Jaké procento uživatelů, kteří položili alespoň jednu otázku, vidí při prohlížení domovské stránky jednu nebo více archivovaných otázek?
        13. Jaké procento uživatelů, kteří kliknou na jeden z odkazů v seznamu „Vaše nedávné otázky“, kliklo na odkaz na archivovanou otázku?
      3. Impact modul
        1. Jaké procento klikne na odkaz, když je modul ve „neaktivovaném stavu“ (když uživatel nemá žádné úpravy článků)?
        2. Jaké procento kliknutí zobrazí článek?
        3. Jaké procentuální kliknutí zobrazí nástroj pro analýzu zobrazení stránek?
        4. Jaké procento kliknutí zobrazí všechny jejich příspěvky?
        5. Jak často se uživatelé vracejí k otevření nástroje pro analýzu zobrazení vícekrát?
      4. Start modul
        1. Jaké procento uživatelů, kteří nemají e-mailovou adresu, přidává e-mailovou adresu prostřednictvím tohoto modulu?
        2. Jaké procento uživatelů potvrzuje svou e-mailovou adresu prostřednictvím tohoto modulu?
        3. Jaké procento uživatelů klikne na tlačítko kurzu?
        4. Jaké procento uživatelů klikne na tlačítko pro spuštění jejich uživatelské stránky a jaké procento z nich skutečně uloží uživatelskou stránku?
        5. Jaké procento uživatelů klikne na odkaz a dozví se více o vytvoření uživatelské stránky?

Hlavní indikátory a plány

A/B testování provádíme po dobu šesti měsíců proto, že je nemožné detekovat změny v udržení nováčků na středně velkých Wikipediích (vyjma případů, kdy se tato metrika dramaticky změní, ale to vnímáme jako něco velmi nepravděpodobného). Během čekání na výsledky chceme být připraveni provést změny, pokud se domníváme, že to je třeba. Níže se nachází seznam různých možností. Pro každou možnost navrhujeme nápravné opatření.

Indikátor Návrh opatření
Nenavštívení domovské stránky Pokud >85% uživatelů nemá přístup na domovskou stránku, upřednostňujeme testování varianty se zvýšenou rezervou nebo investování do funkcí, které zvyšují návštěvnost domovské stránky, jako jsou bannery, odkazy, zprávy nebo prohlídky s průvodcem.
Po první návštěvě rychle opustí domovskou stránku Pokud při první návštěvě domovské stránky opustí stránku do pěti sekund (nebo jiný identifikovaný práh identifikovaný analýzou) >50% uživatelů, zvážíme, zda nejsou pro zlepšení prvního dojmu o stránce zapotřebí změny designu.
Do 24 hodin od první návštěvy domovské stránky nereaguje s žádnými moduly domovské stránky Pokud >75% uživatelů, kteří přistupují na domovskou stránku, nekomunikuje s žádným z modulů, uvažujeme buď o jiných modulech, o změnách návrhu stávajících modulů nebo o lepší personalizaci.
Nevrací se na domovskou stránku Pokud <10% uživatelů, kteří navštívili domovskou stránku, ji znovu navštíví jednou do dvou týdnů, pak zvažujeme buď jiné moduly, změny návrhu stávajících modulů nebo vylepšenou personalizaci.
Zapnutí / vypnutí funkce domovské stránky Pokud >1% uživatelů zapne / vypne funkci domovské stránky, prozkoumáme odpovědi těchto uživatelů na uvítacím průzkumu, abychom zjistili, zda se zdají být zkušenými uživateli. Pokud tomu tak není, přehodnocujeme návrh.
Nepoužívá se konkrétní modul Pokud jeden modul získá <10% interakcí, uvažujeme, zda by měl tento modul změnit svůj design nebo být nahrazen jiným modulem.
Help Desk přetéká Pokud uživatelé odesílající dotazy na helpdesk prostřednictvím modulu nápovědy čekají déle než hodinu na dpověď, protože objem dotazů je příliš vysoký na to, aby komunita udržovala krok, konzultujeme s komunitou, abychom pochopili, co jsou tyto otázky zač a zda je nutná jiná varianta.
Nedostatek mentorů Pokud uživatelé kontaktují své mentory trvalým tempem a mentoři s nimi nemohou držet krok, oslovíme naše ambasadory a nebo komunitu, abychom zjistili, proč jsou kontaktováni a zda není nutná jiná varianta modulu.
Objem řešených událostí je příliš vysoký Pokud objem událostí řešených generovaných uživateli navštěvujícími domovskou stránku překročí přijatelné limity, snížíme vzorkovací frekvenci těchto událostí. Viz T219435 # 5093702 pro informace o tom, jaké jsou „přijatelné limity“.

Stav předních ukazatelů

Domovská stránka nováčků byla nasazena na české a korejské Wikipedie 6. května 2019. Během prvního měsíce experimentu jsme pravidelně sledovali hlavní ukazatele a nenašli jsme problémy, které by vyžadovaly okamžitou pozornost. Místo toho zjišťujeme, že na domovské stránce dochází k velkému množství provozu a interakcí, zejména jsme si všimli, že se k ní vracejí mnozí uživatelé vícekrát.

Tabulka 1 níže ukazuje hlavní ukazatele z experimentálního plánu měření spolu s výsledky z obou Wikipedií. Tato analýza je založena na údajích uživatelů, kteří se zaregistrovali mezi nasazením 6. května 2019 a časem analýzy dne 3. června 2019. Uživatelé, kteří se buď sami vybrali do domovské stránky nebo z ní mají domovskou stránku (zapnutí nebo vypnutí možnosti) jsou vyloučeno, stejně jako jakýkoli známý testovací účet od členů Growth Teamu.

Tabulka 1: Přední ukazatele, prahové hodnoty, akční plány a výsledky
Indikátor Návrh opatření Česká Wikipedie Korejská Wikipedie
Nenavštívení domovské stránky Pokud >85% uživatelů nemá přístup na domovskou stránku, upřednostňujeme testování varianty se zvýšenou rezervou nebo investování do funkcí, které zvyšují návštěvnost domovské stránky, jako jsou bannery, odkazy, zprávy nebo prohlídky s průvodcem. 69.6% 77.3%
Po první návštěvě rychle opustí domovskou stránku Pokud při první návštěvě domovské stránky opustí stránku do pěti sekund (nebo jiný identifikovaný práh identifikovaný analýzou) >50% uživatelů, zvážíme, zda nejsou pro zlepšení prvního dojmu o stránce zapotřebí změny designu. 43.8% 44.3%
Do 24 hodin od první návštěvy domovské stránky nereaguje s žádnými moduly domovské stránky Pokud >75% uživatelů, kteří přistupují na domovskou stránku, nekomunikuje s žádným z modulů, uvažujeme buď o jiných modulech, o změnách návrhu stávajících modulů nebo o lepší personalizaci. 43.2% 61.2%
Nevrací se na domovskou stránku Pokud <10% uživatelů, kteří navštívili domovskou stránku, ji znovu navštíví jednou do dvou týdnů, pak zvažujeme buď jiné moduly, změny návrhu stávajících modulů nebo vylepšenou personalizaci. 58.5% 58.0%
Zapnutí / vypnutí funkce domovské stránky Pokud >1% uživatelů zapne / vypne funkci domovské stránky, prozkoumáme odpovědi těchto uživatelů na uvítacím průzkumu, abychom zjistili, zda se zdají být zkušenými uživateli. Pokud tomu tak není, přehodnocujeme návrh. 0.3% 0.0%
Nepoužívá se konkrétní modul Pokud jeden modul získá <10% interakcí, uvažujeme, zda by měl tento modul změnit svůj design nebo být nahrazen jiným modulem. 1 modul 1 modul
Help Desk přetéká Pokud uživatelé odesílající dotazy na helpdesk prostřednictvím modulu nápovědy čekají déle než hodinu na dpověď, protože objem dotazů je příliš vysoký na to, aby komunita udržovala krok, konzultujeme s komunitou, abychom pochopili, co jsou tyto otázky zač a zda je nutná jiná varianta. Ne Ne
Nedostatek mentorů Pokud uživatelé kontaktují své mentory trvalým tempem, s nimiž mentoři nemohou držet krok, oslovíme naše ambasadory a nebo komunitu, abychom zjistili, proč jsou kontaktováni a zda je nutná varianta modulu. Ne Ne
Objem řešených událostí je příliš vysoký Pokud objem událostí vznášení generovaných uživateli navštěvujícími domovskou stránku překročí přijatelné limity, snížíme vzorkovací frekvenci těchto událostí. Informace o tom, co jsou „přijatelné limity“, najdete na stránce T219435#5093702. Ne (maximálně 21 událostí za sekundu)

Je splněna jedna prahová hodnota, moduly se nevyužívají rozsáhle a dvě oblasti zájmu. Níže se jim věnujeme podrobněji:

  • Nepoužívá konkrétní modul: Jediným modulem, který se ve velké míře nepoužívá, je modul nápovědy, který poskytuje uživatelům odkazy na obsah nápovědy a dialog pro zasílání otázek do helpdesku. To nás nijak zvlášť nezajímá, částečně proto, že s ním někteří uživatelé interagují (hlavně následují odkazy na nápovědu), a částečně proto, že to není problém, pokud naši uživatelé nemají silnou potřebu klást dotazy na help desk z domovské stránky. . Místo toho vidíme, jak uživatelé domovské stránky zveřejňují dotazy svým mentorům.
  • Nenavštívit domovskou stránku: Hranice není splněna ani na wiki, ale může být na korejské Wikipedii označena jako „ne daleko“. Protože právě vyvíjíme funkce, které pomáhají novým uživatelům objevovat domovskou stránku, nevidíme to jako problém, protože očekáváme, že tato funkce tento podíl sníží.
  • Nedostatek mentorů: Nezdá se, že by na obou wiki bylo obtížné řešit objem otázek. Jak již bylo řečeno, umožnění novým uživatelům zveřejňovat dotazy svým mentorům je systém, ve kterém se spoléháme na jednotlivce, aby odpověděli, což může mít za následek delší dobu odezvy, než jakou můžeme vidět na helpdesku wiki. V tuto chvíli nenalézáme důvod k obavám, ale je to oblast, na kterou budeme dohlížet.