VisualEditor/Portál/Miért/Használhatósági tesztelés
Az új szerkesztőfelület beindítására készülve a Usertesting.com oldalra küldtünk egy csapat felhasználót, hogy hajtsanak végre egy sor feladatot, először a VisualEditorral, aztán a wikikód-szerkesztővel. Néhányuk már korábban is megpróbált szerkeszteni; sokan teljesen új szerkesztők voltak. A teszt forgatókönyve angolul elolvasható.
A wikikód-szerkesztőt használva
"Ez zavarónak és kezelhetetlennek tűnik."
"Rengeteg idegen zsargon volt a szövegbe ékelve, és egyáltalán nem hasonlított arra, ahogy a valódi oldal kinéz."
"Nem akarok még egy nyelvet megtanulni csak ahhoz, hogy szerkeszteni tudjam a Wikipédiát."
A wikikód-szerkesztővel szembesülő felhasználóknak hasonló problémái voltak. Nehezükre esett beazonosítani, hogy mit kellene változtatniuk; a rengeteg kód között nehezen találták meg azt a szöveget, amit a szócikket olvasva láttak. A szerkesztőfelület összevisszasága is zavarta a felhasználókat, például a rengeteg gomb az "oldal mentése" ablak alján.
A felhasználóknak nehezükre esett megérteni egy közepes méretű szócikk wikikódját; amikor sikeresen beazonosítottak egyes részeket, többnyire úgy tették, hogy emlékeztek a szócikk kinézetére, és egyes szavakat megtaláltak a wikikódban (például látták, hogy a fejlécek körül egyenlőségjelek vannak, és ebből rájöttek, hogy egyenlőségjelekkel lehet fejlécet csinálni). Egy kivétellel mindenki elriasztónak érezte a wikikód-szerkesztőt, és inkább nem használná.
A VisualEditort használva
"Egyszer már feladtam régebben, mert összezavart. [A VisualEditorral] úgy tűnt, bárki tudja használni."
"[A VisualEditor] olyan érzés, mint egy Word dokumentumot szerkeszteni, nem olyan elriasztó, mint [a wikikód-szerkesztő], amiben mintha forrásfájlt írnánk egy programhoz."
A VisualEditorral is volt néhány probléma. A hivatkozások hozzáadása sokaknak zavaró volt, ezt feljegyeztük és megvizsgáljuk; illetve (mint azt tudjuk) a VisualEditor néha lassan töltődik be.
Számos más (mostanra kijavított) hiba, például az oldal elmentésével, is idegesítette a felhasználókat. Végül azonban egy kivétellel mindenki a VisualEditort találta használhatóbbnak; egyikük szerint "[a VisualEditorral] nagyobb valószínűséggel szerkesztenék. A felhasználó felület sokkal érthetőbb, és magabiztosabb lehettem, hogy a változtatások, amiket csinálok, tényleg azok, amiket csinálni akarok. Azt is szerettem, hogy lehetőségem volt átnézni a változtatásokat."