Crecimiento/Refuerzo positivo
Esta página describe el trabajo en torno al concepto de "refuerzo positivo" como parte del conjunto de funcionalidades de Crecimiento. Esta página contiene los principales elementos, diseños, preguntas abiertas y decisiones.
|
Positive reinforcement
 Features to encourage newcomers to continue editing by showing that their contributions matter
|
La mayoría de las actualizaciones sobre el progreso se publicarán en la página general de Actualizaciones del equipo de Crecimiento, con algunas actualizaciones importantes o detalladas publicadas aquí.
Estado actual
- 2021-03-01: página del proyecto creada
- 2022-02-25: inicio del proyecto y discusiones con el equipo
- 2022-03-01: página del proyecto expandida
- 2022-05-11: discusión con la comunidad
- 2022-08-12: user testing completo
- 2022-11-24: diseños actuales y plan del experimento y métricas añadidas
- 2022-12-01: nuevo módulo de impacto disponible en las wikis piloto
- 2023-02-07: Inicio del trabajo en torno a los proyectos Subir de nivel y Elogios personalizados, además de una segunda ronda de discusión con la comunidad
- 2023-02-14: publicado Análisis de hitos de las tareas para personas recién llegadas que ayudará a orientar el trabajo de Subir de nivel
- 2023-03-22: Funcionalidades activadas en forma de test A/B en las wikis piloto de Growth
- 2023-03-24: publicación del análisis del Uso de Agradecimientos
- 2023-05-25: activación del módulo de Elogios personalizados en las wikis piloto de Growth
- 2023-10-01: activación del nuevo módulo de Impacto en todas las Wikipedias y publicación de los resutaldos del experimento de Subidad de nivel (Leveling up)
- Next: activación de Elogios personalizados en todas las Wikipedias
Resumen
El equipo de crecimiento se ha centrado en construir una "experiencia coherente para los recién llegados" que les proporcione el "acceso" que necesitan a los elementos que les ayudan a unirse a la comunidad de usuarios de Wikipedia. Por ejemplo, con tareas para recién llegados, les hemos dado acceso a oportunidades de participar, y con el módulo de mentoría, les hemos dado acceso a mentoría. Las ediciones sugeridas han conseguido que un mayor número de recién llegados realicen sus primeras ediciones. Con ese éxito, queremos tomar medidas para animar a los nuevos a seguir haciendo más ediciones. Esto llama nuestra atención sobre un elemento no desarrollado al que los recién llegados necesitan acceder: la evaluación del rendimiento. Llamamos a este proyecto "refuerzo positivo".
Queremos que los recién llegados comprendan que hay una progresión y un valor en las contribuciones sostenidas en Wikipedia, aumentando la retención de aquellos usuarios que dieron el primer paso para hacer una edición.
Nuestra gran pregunta es: ¿Cómo podemos animar a los recién llegados que han visitado nuestra página de inicio y han probado nuestras funciones a seguir editando y aprovechar ese primer impulso?
Antecedentes
Cuando la página de inicio de los recién llegados se desplegó en 2019, contenía un "módulo de impacto" básico, que enumeraba el número de páginas vistas de las páginas que el recién llegado había editado. Esa es la única parte de las funcionalidades de Crecimiento que da al recién llegado una idea de su impacto, y no la hemos mejorado desde que se implementó por primera vez.
Con esto como punto de partida, hemos reunido algunos aprendizajes importantes sobre el refuerzo positivo:
- Los miembros de la comunidad nos han transmitido sus impresiones positivas sobre el módulo, y los editores experimentados dicen que es interesante y valioso para ellos.
- Se ha demostrado que el reconocimiento por parte de otros usuarios aumenta la retención, como en el caso de los "gracias" (aquí y aquí) y en un experimento en la Wikipedia alemana. Creemos que estos refuerzos procedentes de personas reales serían más eficaces que los mensajes automatizados procedentes del sistema.
- Los miembros de la comunidad han explicado que para los recién llegados es prioritario pasar a tareas más elaboradas después de empezar con las más fáciles, en lugar de quedarse estancados haciendo sólo tareas fáciles.
- Otras plataformas, como Google, Duolingo y Github, utilizan numerosos mecanismos de refuerzo positivo como insignias y objetivos.
- Las comunidades son reticentes a incentivar una edición poco saludable. Hemos visto que el hecho de que los concursos de edición ofrezcan premios en metálico, o simplemente que funciones útiles como la de "confirmado ampliado" dependan del recuento de ediciones, puede incentivar a las personas a realizar muchas ediciones problemáticas.
User persona
Hay muchas partes del recorrido de los recién llegados en las que podríamos intentar aumentar la retención. Podríamos centrarnos en los recién llegados que han dejado de editar después de una o unas pocas ediciones, o podríamos fijarnos en los recién llegados que han dejado de editar después de semanas de actividad. Para este proyecto, hemos decidido centrarnos en los recién llegados que han completado su primera experiencia de edición y que queremos que vuelvan a realizar una segunda sesión. El diagrama los ilustra con una estrella amarilla.
Queremos centrarnos en los recién llegados en esta fase, ya que es la siguiente etapa del embudo del editor en la que podemos ayudar a mejorar la retención. También es donde vemos una tasa de abandono muy significativa actualmente, así que si podemos ayudar a retener a los nuevos en este punto, debería tener un impacto significativo en el crecimiento de los editores con el tiempo.
Investigación y diseño
Se investigaron los distintos mecanismos que se han empleado para animar a la gente a contribuir con contenidos a los productos on y off-wiki. A continuación se exponen algunas de las principales conclusiones de la investigación:
- Las motivaciones de los editores de Wikipedia son múltiples y cambian con el tiempo y la experiencia. Los nuevos editores suelen dejarse llevar más por la curiosidad y la conexión social que por la ideología.
- Los proyectos internos se centran en incentivos intrínsecos, apelan a motivaciones altruistas y no se aplican sistemáticamente.
- Ampliando las motivaciones más allá de las ideológicas se puede mejorar la diversidad de los editores fidelizados en Wikipedia.
- Los mensajes positivos de los usuarios experimentados y los mentores han demostrado su eficacia en la retención a corto plazo.
Para ver un resumen de las ideas de diseño actuales sobre el refuerzo positivo, consulta este Informe de diseño. Nuestros diseños seguirán evolucionando gracias a los comentarios de la comunidad y a varias rondas de tests de usuarios y usuarias.
Ideas
Tenemos tres ideas principales para el refuerzo positivo. Es posible que sigamos con varias ideas mientras trabajamos en este proyecto.
Impacto
- Impacto: Una revisión del módulo de impacto basada en la incorporación de estadísticas, gráficos y otra información sobre las contribuciones. El módulo de impacto revisado proporcionaría a los nuevos editores más contexto sobre su impacto, además de animarles a seguir contribuyendo. Las áreas de estudio son, entre otras, las siguientes:
- Hito de ediciones sugeridas, para animar a los usuarios a probar las ediciones sugeridas.
- Estadísticas sobre cuánto ha editado el usuario a lo largo del tiempo (similar a lo que hay en X Tools).
- Recuento de "agradecimientos recibidos", para destacar la capacidad de recibir el reconocimiento de la comunidad.
- Actividad de edición reciente: incluye los días seguidos que los recién llegados han editado ("rachas") para animar a seguir participando o recordar a la gente que debe reiniciar sus contribuciones.
- Ver la actividad de lectura en los artículos que los recién llegados han editado a lo largo del tiempo (similar a la información en Wikipedia:Pageview_statistics).
-
Idea de diseño A del Módulo de Impacto - más énfasis en el impacto de un usuario respecto a otros (lectores y editores) -
Idea de diseño B del Módulo de Impacto - destaca la actividad de edición reciente de un usuario
Subir de nivel
- Subir de nivel: Es importante para las comunidades que los recién llegados progresen hacia tareas más valiosas. Para los que realizan muchas tareas fáciles, queremos animarles a que intenten tareas más complejas. Esto podría ocurrir tras completar un determinado número de tareas sencillas, o mediante un llamamiento en su página de inicio. Las áreas de exploración incluyen:
- El recién llegado verá mensajes de éxito tras su edición que le motivarán a realizar más ediciones de igual o distinto nivel de dificultad.
- El módulo de ediciones sugeridas sugiere la posibilidad de realizar ediciones más difíciles, para que los recién llegados puedan convertirse en editores más hábiles.
- El módulo de impacto incluye un contador de hitos o un área de premios.
- En la página de inicio, añade un nuevo módulo con retos establecidos para conseguir alguna recompensa (insignia/certificado).
- Añade notificaciones para incitar a los recién llegados a intentar una tarea más difícil.
-
Idea de diseño que incorpora un objetivo de edición diario -
Los recién llegados pueden subir de nivel para realizar tareas más difíciles y recibir reconocimiento -
Un módulo de reconocimiento en la página de inicio de los recién llegados -
Los novatos que hagan "ediciones rápidas" de mala calidad podrían recibir orientación -
Los recién llegados que completen un reto podrían recibir un premio como " novato cualificado" que se puede compartir
Elogios personalizados
- Elogios personalizados: las investigaciones demuestran que los reconocimientos y estímulos de otros usuarios aumentan la retención de los recién llegados. Queremos estudiar cómo animar a los usuarios experimentados a agradecer y premiar a los recién llegados por sus buenas contribuciones. Quizás se podría alentar a los mentores a hacerlo en sus paneles de control de mentores o a través de notificaciones. Podemos utilizar los mecanismos de comunicación existentes que, según estudios anteriores, tienen cierto grado de efecto positivo. Las áreas a explorar son, entre otras, las siguientes:
- Un mensaje personal del mentor del nuevo usuario que aparece en la página de inicio.
- Una notificación a modo de eco del mentor o del equipo de crecimiento de Wikimedia.
- “Agradecimiento” en una edición específica.
- Una nueva insignia de hito otorgada por el mentor o el equipo de crecimiento de Wikimedia en relación con una edición específica.
-
Mostrar "Gracias" en la página de inicio de los recién llegados -
Mostrar Wikilove en la página de inicio de los recién llegados
Discusión con la Comunidad
Discutimos el proyecto de Refuerzo Positivo con los miembros de las comunidades de Wikipedia en árabe, Wikipedia en bengalí, Wikipedia en checo y Wikipedia en francés, y aquí en mediawiki.org.
Recibimos comentarios directos sobre las tres ideas principales, junto con muchas otras ideas para mejorar la retención por parte de las nuevas personas editoras.
A continuación se resumen los principales temas abordados, junto con la forma en que pensamos iterar en función de los comentarios recibidos.
Impacto
| Hemos escuchado.. | Planes de iteración en función del feedback |
|---|---|
| 😊 ¡Suena bien! | Esta idea parece la menos controvertida y la más apoyada. Empezaremos a desarrollarlo en primer lugar y dejaremos más tiempo para perfeccionar otras ideas. |
| 😐 El módulo de impacto sería más eficaz si se adaptara a las personas editoras a medida que adquieren experiencia. | Por ahora nos centraremos en las personas recién llegadas, pero el nuevo módulo de impacto se construirá de forma extensible para dar cabida a mejoras en el futuro. |
Subir de nivel
| Hemos escuchado... | Planes de iteración a partir de los comentarios recibidos |
|---|---|
| 😊 Subir de nivel asegura que las personas recién llegadas no se queden "atascadas" en las tareas más sencillas | Una vez que realizan cierto número de ediciones de un tipo no revertidas, les sugeriremos que prueben tareas más complejas. |
| 😊 Las personas recién llegadas suelen valorar positivamente los reconocimientos | Si les damos recompensas, deberían de ser significativas para las personas recién llegadas, y lo ideal sería que se pudieran compartir en la wiki (en su página de usuario/a) o fuera de ella. |
| ❌ Incentivos basados en un objetivo podrían ser problemáticos y podrían desembocar en ediciones de baja calidad. | Los incentivos que incluyen un elemento basado en el tiempo (similar a service awards) podrían ser un enfoque eficaz, ya que no sólo tienen en cuenta el número de ediciones, sino también el tiempo desde el registro. Ciertas "medidas de calidad" podrían ayudar a ralentizar y guiar a las personas principiantes si están haciendo ediciones que están siendo revertidas. De momento, tenemos previsto reducir el alcance de los premios de "Subir de nivel" y centrarnos más en animar a los usuarios a probar tareas más difíciles a medida que vayan superando las más sencillas. |
| ❌ Los objetivos diarios pueden resultar estresantes y desmotivadores para algunas personas. | Revisaremos esta idea más a fondo y probablemente permitiremos la personalización de los objetivos si seguimos adelante con ella. |
Elogios personalizados
| Hemos escuchado... | Planes para iterar a partir de los comentarios recibidos |
|---|---|
| 😊 Difundir elogios y mensajes positivos puede ayudar a aumentar la retención de las personas recién llegadas. | Todavía estamos perfeccionando los diseños para fomentar más agradecimientos y elogios personalizados a las personas recién llegadas, pero esperamos tener más ideas de diseño listas para presentar pronto. |
| 😐 La ampliación de los elogios personalizados puede suponer un reto, ya que requiere más tiempo por parte de las personas más experimentadas. | Los mentores y mentoras ya están ocupados, así que esperamos encontrar la manera de identificar a las personas novatas "dignas de elogio". También propondremos otras ideas que no dependan únicamente de las personas mentoras. |
| 😐 Deberíamos utilizar los sistemas existentes (Agradecimiento, WikiLove, etc.) | Los planes aún no están terminados, pero queremos aprovechar los sistemas existentes. |
Otras ideas:
Las personas de la comunidad sugirieron otras ideas para mejorar el compromiso y la retención de las recién llegadas. Creemos que todas ellas son ideas valiosas (algunas de las cuales ya estamos explorando o en las que queremos trabajar en el futuro), pero las siguientes no encajarían en el ámbito del proyecto actual:
- Envío de correos electrónicos de bienvenida a los recién llegados (el equipo de Crecimiento está estudiando la posibilidad de enviar correos electrónicos de compromiso en colaboración con los equipos de Marketing y Recaudación de fondos).
- Presentar a las personas recién llegadas Wikiproyectos relacionados con sus intereses.
- Incluye un widget personalizable en la página de inicio para personas novatas que permita a las wikis promocionar determinadas tareas o eventos para principiantes.
- Enviar notificaciones a quienes dan la bienvenida a las personas recién llegadas una vez que estas alcanzan ciertos hitos de edición (para así animarles a agradecerles su labor o enviar aprecio).
Segunda consulta a la comunidad
En febrero de 2023, completamos una consulta a la comunidad en la que revisamos los diseños más recientes de Leveling up (Subir de nivel) con las wikis piloto de Growth. Esta discusión se llevó a cabo en inglés en MediaWiki, y en Wikipedia en árabe, Wikipedia en bengalí, Wikipedia en checo y Wikipedia en español. (T328356) En general, el feedback fue positivo. Estas dos tareas contribuyen a dar respuesta a los comentarios de quienes respondieron a nuestras preguntas:
- Subir de nivel: Configuración comunitaria (T328386)
- Subir de nivel: Segunda iteración del diálogo "Prueba una nueva tarea" (T330543)
En marzo de 2023, revisamos con la comunidad de las wikis piloto, los diseños más recientes de la funcionalidad Elogios personalizados. Esta conversación se realizó en Wikipedia en inglés, Wikipedia en árabe, Wikipedia en bengalí, Wikipedia en checo, Wikipedia en francés, Wikipedia en español y en MediaWiki en inglés. (T328356) La mayoría de los comentarios fueron favorables a las funciones de elogio personalizado, pero se solicitaron varias mejoras. Creamos tareas en Phabricator para abordar estas mejoras adicionales.
- En la Wikipedia en árabe y en otras wikis con revisiones marcadas, las personas mentoras desean ver no sólo el número de ediciones que ha realizado un determinado usuario o usuario, sino también más detalles sobre el estado de revisión de las ediciones. (T333035)
- Las personas mentoras quieren poder ver el número o el porcentaje de reversiones que tiene su persona mentorizada, y personalizar cuántas reversiones puede tener un principiante para que se le pueda considerar una persona merecedora de elogios. (T333036)
- Para las personas mentoras es importante saber qué edición se agradece a la persona mentorizada. (T51087)
Pruebas de usuarios
Junto con las conversaciones con la comunidad, queríamos validar y ampliar nuestros diseños e hipótesis iniciales probando los diseños con personas lectoras y editoras de varios países. Así que nuestro equipo de investigación de diseño realizó pruebas de usuario de Refuerzo Positivo para comprender mejor el impacto del proyecto en la contribución de las personas recién llegadas en varios idiomas diferentes.
Probamos varios diseños estáticos de Refuerzo Positivo con personas lectoras y editoras de Wikipedia en árabe, español e inglés. Además de probar los diseños de Refuerzo Positivo, introdujimos visualizaciones de datos de Xtools como forma de comprender mejor cómo perciben las personas novatas estas visualizaciones de datos.
Resultados de User testing
- Hacer que la información de impacto sea factible: Para quienes tenían más experiencia en edición, los datos de impacto resultaban una funcionalidad atractiva, lo que varias personas relacionaron con su interés por los datos, una cualidad nada sorprendente para una persona wikipedista. Para quienes se inician en la edición, los datos de impacto, más allá de las vistas y la actividad básica de edición, pueden ser más convincentes si se vinculan a la fijación de objetivos y la optimización del impacto.
- Evaluar el intervalo de edición ideal: En todas las funcionalidades, los intervalos diarios parecían demasiado ambiciosos para las personas nuevas y quienes editan de manera ocasional. Las personas participantes también reflexionaron sobre el hecho de ignorar mecanismos similares en otras plataformas cuando no eran realistas. Considerar la posibilidad de consultar los análisis de uso para identificar los intervalos "naturales" para las personas editoras nuevas y esporádicas, a fin de que los objetivos sean más alcanzables.
- Asegurar la verosimilitud de las evaluaciones: Las personas editoras noveles estaban interesadas en la confirmación de sus habilidades y en el progreso que ofrecen la puntuación de calidad, la evaluación de los artículos y las insignias. Algunas de ellas esperaban que las insignias sumaran credibilidad a su trabajo al ser revisado por personas más experimentadas. Con ese potencial, podría ser valioso estudiar si las valoraciones son medidas significativas de las capacidades y seguir explorando la mejor manera de aprovecharlas para obtener la confianza de la comunidad en las personas recién llegadas.
- Recompensar la calidad y la colaboración por encima de la cantidad: Tanto las personas editoras como las lectoras de Wikipedia en español estaban más interesadas en el reconocimiento de sus conocimientos o experiencia (calidad) que en el número de ediciones que han realizado (cantidad). Del mismo modo, algunas personas que editan en árabe e inglés están motivadas por sus intereses profesionales y el desarrollo de sus habilidades de edición. Orientar los objetivos y las recompensas hacia otros indicadores de ediciones cualificadas, como la adición de referencias o contribuciones temáticas, y la colaboración o participación en la comunidad, también puede ayudar a mitigar la preocupación por que la competencia supere a la colaboración.
- Priorizar el reconocimiento humano: Aunque las calificaciones e insignias a través de las tareas de Crecimiento son potencialmente valoradas, el reconocimiento de por parte de los demás editores/as parece ser más motivador. Las funcionalidades que promueven dar, recibir y volver a dar las gracias parecen las más convincentes, y las personas editoras pueden beneficiarse de la selección de datos de impacto que conecten con las personas que leen o editan.
- Experimento con diseños lúdicos: Aunque algunas funcionalidades de refuerzo positivo pueden considerarse producto de la "gamificación", algunas de las personas participantes (principalmente de Wikipedia en español) consideraron que los diseños sencillos y divertidos eran demasiado infantiles o lúdicos para la seriedad de Wikipedia. Considera la posibilidad de experimentar con diseños visuales que varíen en niveles de divertimento para evaluar reacciones más amplias a la "diversión" en Wikipedia.
Diseño
A continuación se presentan los diseños actuales de Refuerzo Positivo. Hemos perfeccionado las tres ideas principales esbozadas anteriormente, pero el alcance de los planes y los diseños reales han evolucionado en función de los comentarios de la comunidad y las pruebas con usuarios/as.
Impacto
El módulo de impacto actualizado ofrece más contexto sobre su impacto a quienes comienzan a editar. El nuevo diseño incluye información mucho más personalizada y visualizaciones de datos que el diseño anterior. Este nuevo diseño es bastante similar al diseño que compartimos anteriormente cuando discutimos esta funcionalidad con las comunidades. Puedes ver el progreso actual de ingeniería en beta wiki, y esperamos lanzar pronto esta herramientas a las wikis piloto de Crecimiento.
Subir de nivel (Leveling up)
Las funcionalidades de subida de nivel se centran en animar a las personas novatas a progresar hacia tareas más valiosas. Las ideas también incluyen algunas indicaciones para que se inician en la edición prueben las ediciones sugeridas, ya que se ha demostrado que las tareas estructuradas mejoran la activación y retención de las personas recién llegadas.
- Mensaje de diálogo posterior a la edición "Subir de nivel": Se añade un nuevo tipo de mensaje de diálogo tras la edición para animar a las personas nuevas a probar otro tipo de tarea. Esperamos que esto anime a algunas de ellas a aprender nuevas habilidades de edición a medida que avanzan hacia tareas diferentes y más desafiantes.
- Diálogo tras la edición en ediciones no sugeridas: Presentar las ediciones sugeridas a las personas principiantes que completen ediciones 'normales'. Está previsto probar a mostrar a las personas recién llegadas una sugerencia después de la 3ª y 7ª edición. Las usuarias de la versión de escritorio que hagan clic para probar una edición sugerida también verán su módulo de Impacto, lo que esperamos que ayude a atraer a las personas principiantes y les proporcione un pequeño grado de refuerzo positivo automatizado. Mediremos cuidadosamente este experimento y nos aseguraremos de que no tenga efectos negativos involuntarios.
- Nuevas notificaciones: Nuevas notificaciones eco para animar a principiantes a iniciar o continuar las ediciones sugeridas. Esto actúa como un proxy para "recuperar" correos electrónicos de quienes tienen una dirección de correo electrónico y la configuración activada para recibir notificaciones por correo electrónico.
-
Diálogo “Level up” tras edición -
Diálogo tras edición para las ediciones no sugeridas -
Nueva notificación
Agradecimientos personalizados
Las funcionalidades de elogio personalizadas se basan en los resultados de la investigación que demuestran que el estímulo y el agradecimiento de otras personas aumentan la retención de quienes editan.
- Motivación de las personas mentoras: Añadiremos un nuevo módulo al Panel de mentoría, diseñado para animar a las personas mentoras a enviar mensajes personalizados a las recién llegadas que cumplan ciertos criterios. Podrán personalizar y controlar los criterios por los que les son mostrados (cómo y cuándo) sus aprendices "dignos de elogio".
- Aumentar los Agradecimientos en la wiki: Tenemos previsto cumplir la petición en la Lista de deseos de la comunidad de Activar el botón de agradecimiento predeterminado en listas de seguimiento y cambios recientes (T51541, T90404). Esperamos que esto aumente los agradecimientos y la actitud positiva en las wikis, y esperamos que las personas recién llegadas se beneficien de ello directa o indirectamente.
-
Diseño para un nuevo Módulo de mentoría -
Diseño de la configuración de preferencias en el panel de control del módulo de mentoría
Medición y resultados
Hipótesis
Las funcionalidades de Refuerzo Positivo pretenden proporcionar o mejorar las herramientas disponibles para principiantes y personas mentoras en tres áreas específicas que se describirán con más detalle a continuación. Nuestra hipótesis es que, una vez que una persona novata haya hecho una contribución (por ejemplo, editando una tarea estructurada), estas funcionalidades ayudarán a crear un ciclo de retroalimentación positiva que aumente su motivación.
A continuación se exponen las hipótesis específicas que pretendemos validar en la población principiante (recién llegada). También tendremos hipótesis para cada uno de los tres conjuntos de funcionalidades que el equipo planea desarrollar. Estas hipótesis determinan los datos concretos que recopilaremos y cómo los analizaremos.
- Las funcionalidades de Refuerzo Positivo aumentan nuestras principales métricas de retención y productividad.
- Dado que las funcionalidades de Refuerzo Positivo no incluyen una llamada a la acción que pida a las personas novatas que editen, no observaremos ninguna diferencia en nuestra métrica central de activación.
- Las personas recién llegadas que reciben las funcionalidades de Refuerzo Positivo comprenden que hacer ediciones sin que sean revertidas es deseable, y por tanto veremos una disminución en la proporción de ediciones revertidas.
- El ciclo de retroalimentación positiva creado por las funcionalidades de Refuerzo Positivo conducirá a una proporción significativamente mayor de principiantes "muy activos".
- Las funcionalidades de Refuerzo Positivo aumentan el número de Personas Usuarias Activas Diarias de las ediciones sugeridas.
- Aumenta el número medio de sesiones de edición durante el periodo de principiante (primeros 15 días).
- Los "elogios personalizados" aumentarán la comunicación proactiva de las personas mentoras con sus mentorizados/as, lo que se traducirá en un aumento de la retención y la productividad.
Plan del Experimento
Al igual que hemos hecho en anteriores proyectos del equipo de Crecimiento, queremos probar nuestras hipótesis mediante experimentos controlados (también llamados "pruebas A/B"). Esto nos permitirá establecer una relación causal (por ejemplo, "Las funcionalidades de Subir de nivel provocan un aumento de la retención del xx%"), y nos permitirá detectar efectos menores que si se lo diéramos a todo el mundo y analizáramos los efectos pre/post despliegue.
En este experimento controlado, una mitad de las personas seleccionadas al azar tendrá acceso a las funcionalidades de Refuerzo Positivo (el grupo de "tratamiento"), y la otra mitad seleccionada al azar recibirá en cambio la experiencia actual (septiembre de 2022) de las funcionalidades de Crecimiento (el grupo de "control"). En experimentos anteriores, el grupo de control no tuvo acceso a las funcionalidades de Crecimiento. El equipo ha decidido cambiar eso (1 $), lo que significa que el conjunto actual de funcionalidades es la nueva línea de base para un grupo de control.
La funcionalidad de Elogios Personalizados se centra en las personas mentoras. Hay un número limitado de personas mentoras en cada wiki, mientras que en el caso de las personas recién llegadas, el número aumenta constantemente cada día a medida que se registran más usuarios/as en las wikis. Aunque podríamos hacer experimentos con las personas mentoras, es probable que nos encontremos con dos problemas fundamentales. En primer lugar, el número limitado de mentores/as podría significar que los experimentos tendrían que alargarse mucho en el tiempo. En segundo lugar, y lo que es más importante, las personas mentoras están bien integradas en la comunidad y se comunican entre sí, lo que significa que es probable que averigüen si unos tienen acceso a funcionalidades que otros no. Por lo tanto, ofreceremos las funcionalidades de Elogio Personalizado a todas las personas mentoras y examinaremos la actividad y los efectos en las personas recién llegadas antes y después de la activación para comprender la eficacia de la funcionalidad.
En resumen, esto significa que queremos realizar dos experimentos consecutivos con las funcionalidades Impacto y Subir de nivel, seguidos de una activación de las funcionalidades Elogio personalizado a todas las personas mentoras. Estos experimentos se realizarán primero en las wikis piloto. Podemos ampliar esta medida a otras wikis si lo consideramos necesario, pero sólo después de haber analizado los indicadores principales y no haber encontrado ningún problema.
Cada experimento tendrá una duración aproximada de un mes, y para cada uno de ellos dispondremos de un conjunto de indicadores adelantados que analizaremos dos semanas después de su activación. La siguiente lista muestra cuáles serán los experimentos previstos:
- Impacto: el grupo de tratamiento recibe el módulo de Impacto actualizado.
- Subida de nivel: el grupo de tratamiento recibe tanto el módulo de Impacto actualizado como las funcionalidades de Subida de nivel.
- Elogios personalizados: todas las personas mentoras disponen de la funcionalidad Elogios personalizados.
Indicadores principales y plan de acción
Aunque creemos que las funcionalidades que desarrollamos no van en detrimento de las comunidades wiki, queremos asegurarnos de tener cuidado al experimentar con ellas. Es una buena práctica definir un conjunto de indicadores tempranos junto con planes sobre qué medidas tomar si uno de esos indicadores sugieren que algo no va como debería. Así lo hemos hecho en todos nuestros experimentos anteriores y así lo volveremos a hacer en los experimentos que tenemos previsto realizar en el marco de este proyecto.
Impacto
| Indicador | Resultados esperados | Plan de acción | Resultados |
|---|---|---|---|
| Interacciones del módulo de Impacto | Sin diferencias o incrementos | Si las interacciones del módulo de Impacto disminuyen, esto sugiere que podríamos tener problemas de rendimiento o compatibilidad con el nuevo módulo. Si la proporción de principiantes que interactúan con el nuevo módulo de impacto es significativamente inferior a la del módulo antiguo, investigaremos la causa y, si es necesario, volveremos al módulo antiguo. | Descenso significativo |
| Interacciones con el módulo de mentoría | Sin diferencias | El nuevo módulo de Impacto ocupa más espacio en la pantalla que el anterior, lo que puede hacer que las personas nuevas no encuentren el módulo de Mentoría tan fácilmente como antes. Si el número de personas recién llegadas que interactúan con el módulo de Mentoría es significativamente inferior al de quienes reciben el nuevo módulo de Impacto, investigaremos la necesidad de realizar cambios en el diseño. | Sin diferencias significativas |
| Preguntas del módulo de mentoría | Sin diferencias | Preocupaciones similares a las de las interacciones con el módulo de Mentoría, si el número de preguntas realizadas fuera significativamente menor entre las personas que reciben el nuevo módulo de Impacto, investigaremos la necesidad de realizar cambios en el diseño. | Sin diferencias significativas |
| Ratio de ediciones y reversiones | No hay diferencia entre ediciones y reversiones, o hay un aumento de las ediciones y una disminución de la tasa de reversiones. | Si se produce un aumento en la tasa de reversiones, esto puede sugerir que las personas nuevas están haciendo ediciones poco constructivas con el fin de inflar su cuenta de ediciones o rachas de edición. Si la tasa de reversiones de las personas novatas que reciben el nuevo módulo de Impacto es significativamente mayor que la del antiguo, investigamos sus ediciones y decidimos si es necesario realizar cambios. | No hay diferencias significativas (una vez eliminados los valores atípicos) |
Interacciones del módulo de impacto: Encontramos que la proporción de personas novatas que interactúan con el módulo antiguo (1%) es significativamente mayor que para el nuevo módulo (2%): Esta diferencia apareció al principio del experimento, y hemos examinado los datos más de cerca para entender lo que está pasando. Un problema que detectamos al principio fue que no todos los eventos de interacción estaban instrumentados, algo que resolvimos posteriormente. Examinando más a fondo, descubrimos que muchas de las personas que reciben el módulo antiguo hacen clic en los enlaces a los artículos o en las páginas vistas. En el nuevo módulo, está disponible un gráfico de las páginas vistas, lo que elimina en parte la necesidad de visitar la herramienta de páginas vistas. En consecuencia, decidimos que no era necesario introducir cambios.
Interacciones del módulo de mentoría: No encontramos diferencias significativas en la proporción de personas nuevas que interactúan con el módulo de Mentoría. La proporción para las personas recién llegadas que reciben el módulo antiguo es del 1%, para las que reciben el módulo nuevo es del 2%. A Chi-square test finds this difference not significant:
Preguntas del módulo de mentoría: No observamos una diferencia sustancial en el número de preguntas formuladas entre el módulo antiguo (1 $ ediciones) y el nuevo (2 $ ediciones). La proporción de personas recién llegadas que hace una pregunta a su mentor/a también es la misma para ambos grupos, un 1%.
Ratio de ediciones y reversiones: No observamos una diferencia sustancial en el número de ediciones ni en la tasa de reversiones entre los dos grupos medidos sobre una base media por usuario. Hay diferencias entre los grupos, pero éstas se deben a algunos editores muy prolíficos, sobre todo en la plataforma móvil.
Subir de nivel (Levelling up)
| Indicador | Resultados esperados | Plan de acción | Resultados |
|---|---|---|---|
| Diálogo Levelling up posterior a la edición: interacciones | Sin diferencias o incremento | El porcentaje de personas que hacen clic/tocan en un cuadro de diálogo de Subir de nivel post-edición, debería ser similar o superior al porcentaje de ellas que hacen clic/tocan en el cuadro de diálogo de post-edición estándar. Si hay una disminución, hay que investigar qué causa esta diferencia. | Más alto en móvil, ninguna diferencia en escritorio |
| Diálogo post-edición "Subir de nivel": Hacer clic en "Probar una edición sugerida" | >10% hicieron clic en ediciones sugeridas | Si el cuadro de diálogo "prueba una edición sugerida" no está dando lugar a que más personas novatas exploren las ediciones sugeridas, entonces este aviso es sólo ruido extra para ellas y deberíamos investigar o considerar la eliminación de la funcionalidad. | Significativamente superior al 10% |
| Diálogo post-edición "Subir de nivel": hacer clic en "Incrementa tu nivel" | >10% hicieron click en Probar una nueva tarea | Si el "aumenta tu nivel de habilidad" no hace que más principiantes intenten tareas más difíciles, entonces este aviso no es más que ruido extra para esas personas y deberíamos investigar o plantearnos eliminar la funcionalidad. | Significativamente por encima del 10% |
| Notificaciones "Subir de nivel": hacer clic en "empezar" | >5% de las personas que ven esta notificación hacen clic en ella | No tenemos una buena base de referencia con la que comparar, pero si esta cifra es demasiado baja deberíamos investigar si hay problemas técnicos o un problema con el lenguaje utilizado. | Más del 1% en sobremesa, menos del 1% en móviles |
| Notificaciones "Subir de nivel": hacer clic en "sigue adelante" | >5% de quienes ven esta notificación hicieron clic en ella | No tenemos una buena base de referencia con la que comparar, pero si esta cifra es demasiado baja deberíamos investigar si hay problemas técnicos o un problema con el lenguaje utilizado. | Más del 1% en sobremesa, menos del 1% en móviles |
| Activación | Sin diferencias o incremento | Si observamos una disminución significativa en el grupo de tratamiento, similar a la que descubrimos en el experimento del nuevo módulo de impacto, examinamos los datos de seguimiento y eventos para tratar de identificar la causa de esta diferencia. | Descenso |
Interacciones con el diálogo post-edición "Subir de nivel": Encontramos una mayor proporción de personas novatas que interactúan con el cuadro de diálogo posterior a la edición en el grupo Levelling Up (1%) en comparación con el cuadro de diálogo posterior a la edición estándar (2%). Esto se debe en gran medida a la edición móvi, donde la proporción de interacciones para subir de nivel (1%) es mucho mayor que en el otro grupo (2%). La proporción sigue siendo mayor para el grupo de Subir de nivel en escritorio (1%) en comparación con el control (2%), pero la consideramos "prácticamente idéntica" porque la elevada proporción en el grupo de control significa que hay poco margen para un aumento.
Tasa de clics en "Probar una edición sugerida": El 1% de personas nuevas que ven el cuadro de diálogo posterior a la edición "Prueba una edición sugerida" optan por hacer clic, lo que es significativamente superior al umbral establecido. La proporción es mayor en ordenadores de sobremesa (1%) que en móviles (2%), pero en ninguno de los dos casos hay motivo de preocupación.
Tasa de clics en "Aumenta tu nivel de dificultad": Observamos que el 1% de las personas recién llegadas que ven el cuadro de diálogo "Aumenta tu nivel de destreza" hacen clic para ver la nueva tarea, lo que es muy superior a nuestro umbral previsto de menos del 2%. Las proporciones son elevadas tanto en sobremesa (1%) como en móvil (2%).
Tasa de clics "Comenzar": El 1% de las personas recién llegadas que reciben la notificación "Empezar" hacen clic en la página de inicio. Quienes se registraron en ordenadores de sobremesa tienen más probabilidades de hacer clic en la notificación (1%) que los que lo hicieron en móviles (2%). Dado que se alcanza el umbral del 1%, estamos investigando más a fondo para comprender esta diferencia entre el comportamiento en sobremesa y móviles, sobre todo para saber si nuestro umbral del 2% es razonable.
Tasa de clics "Sigue adelante": Vimos que 1% de quienes reciben la notificación de "Sigue adelante" hacen clic en la página de inicio. Al igual que en el caso de las notificaciones de "Empezar", encontramos una proporción mucho mayor en sobremesa (1%) que en móvil (2%). Esperamos que nuestras investigaciones sobre las diferencias en el comportamiento de las notificaciones según la plataforma nos permitan comprender mejor esta diferencia.
Activación: Encontramos un descenso en la activación constructiva de artículos (realizar una edición no revertida de un artículo en las 24 horas siguientes al registro) del 1% frente al 2%. En cuanto nos dimos cuenta, abrimos T334411 para investigar el problema, centrándonos en los patrones geográficos (países y wikis) y tecnológicos (dispositivos y navegadores). No encontramos patrones claros que explicaran esto. La investigación de esta disminución de la activación se investigará más a fondo: 1$.
Elogios personalizados
| Indicador | Resultados esperados | Plan de acción | Resultados |
|---|---|---|---|
| Tasa de clics en la notificación Elogios personalizados | Al menos el 1% de mentores/as que ven una notificación de elogio personalizada hacen clic en ella. | Si esta cifra es muy inferior a la de clics en otras notificaciones, deberíamos investigar si hay problemas técnicos o un problema con el lenguaje utilizado. | 73% of Mentors who received a notification clicked on it |
| Clics en el módulo de Elogios personalizados del panel de mentoría | Al menos el 1% de mentores/as que ven una sugerencia de elogio personalizado en su panel de mentoría hacen clic para enviar el elogio. | Si se alcanza este umbral, deberíamos investigar si hay problemas técnicos o un problema con la forma en que los tutores interpretan esta llamada a la acción. | 27.5% of Mentors who view a Personalized praise list click through |
Los datos se recopilaron el 13 de junio de 2023, en las cuatro wikis piloto en las que se ha activado la funcionalidad (Wikipedia en árabe, Wikipedia en bengalí, Wikipedia en checo y Wikipedia en español).
Personalized praise notification click through: Aunque se trata de una muestra relativamente pequeña, los resultados parecen positivos y muestran que las personas mentoras reciben notificaciones y hacen clic para quienes de las personas que mentorizan merecen recibir algún reconocimiento.
Personalized praise mentor dashboard module click through: Sólo el 27,5% de mentoras/es acceden a la página de sus mentorizados/as sugeridos, pero es de esperar que sea porque no merezcan elogios. Basándose en estos datos y en los comentarios de mentoras y mentores, el equipo de Crecimiento llevará a cabo las siguientes tareas para ayudar a mejorar esta funcionalidad:
- Añadir el sistema de puntuación de las devoluciones al módulo de elogios personalizados del panel de mentoría. (T337510)
- Excluir cuentas bloqueadas de las sugerencias para Elogios Personalizados (T338525)
Resultados del Experimento
Muchos de los experimentos que lleva a cabo el equipo de Crecimiento se centrarán en el mismo conjunto de métricas clave (comúnmente denominadas KPIs), y esto incluye todos los experimentos de Refuerzo Positivo. Las métricas clave se definen del siguiente modo:
- Se entiende por "activación constructiva" que una persona recién llegada realice su primera edición en las 24 horas siguientes a su registro y que dicha edición no sea revertida en las 48 horas siguientes.
- La activación se define de manera similar a la activación constructiva, pero sin el requisito de no-reversión.
- La retención constructiva se define como el hecho de que una persona recién llegada vuelva a la wiki un día diferente en las dos semanas posteriores a la activación constructiva y realice otra edición, sin que dicha edición sea revertida en un plazo de 48 horas.
- Retención se define de forma similar a la retención constructiva, pero sin los requisitos de no reversión.
- Volumen de ediciones constructivas es el recuento total de ediciones realizadas en las dos primeras semanas de un usuario o usuaria, eliminando las ediciones que fueron revertidas en un plazo de 48 horas.
- La Tasa de reversiones es la proporción de ediciones que se revirtieron en 48 horas de todas las ediciones realizadas. Este porcentaje es, por definición, del 0% para quienes no han realizado ninguna edición, por lo que generalmente los excluimos del análisis.
Resultados del experimento del módulo de Impacto
Inicialmente encontramos una disminución significativa en la activación constructiva para las personas recién llegadas que se registraron en móvil y obtuvieron el módulo Nuevo Impacto. No hubo una diferencia en la activación de principiantes que se registraron en escritorio. Esto fue bastante sorprendente, ya que el estado inicial del antiguo módulo de Impacto era casi idéntico al estado inicial del nuevo módulo de Impacto.
La actividad del primer día está estrechamente relacionada con la actividad posterior, por lo que también se observa un "descenso significativo" en el volumen de ediciones desde web móvil. Una vez más, no hubo diferencias en entre quienes editan desde escritorio.
No encontramos ninguna diferencia en las tasas de retención y reversión. Aunque hay funcionalidades en el nuevo módulo de Impacto que se centran en mantenerse activo y hacer buenas contribuciones, como el número de agradecimientos recibidos y el contador de rachas, a menudo no vemos impactos significativos en las métricas a menos que haya una clara llamada a la acción o seamos capaces de aislar un subgrupo específico motivado por la funcionalidad.
En cuanto detectamos la disminución de la activación, empezamos a investigar las causas probables en 1 $. Por desgracia, no pudimos identificar una razón específica y también descubrimos que el problema no se repetía en otro conjunto de datos. Decidimos añadir la activación como un indicador principal en el experimento de Subir de nivel para poder actuar con mayor premura. Cuando nos dimos cuenta de que el problema persistía, iniciamos una nueva investigación en T334411 y creamos una tarea "épica" que conecta todas las subtareas relevantes: T342150. Reiniciamos la recogida de datos del experimento tras realizar varios pequeños cambios, y ahora vemos que la activación es idéntica entre el grupo experimental y el de control, que es lo que cabría esperar.
Aunque nos complace haber recibido comentarios positivos de las personas principantes en relación con el nuevo módulo de Impacto, hemos constatado que el módulo de Impacto por sí solo no ha producido cambios significativos en la retención de estas personas novatas, el volumen de ediciones o los índices de reversiones. Nuestro próximo experimento combinará el nuevo módulo de Impacto con las funcionalidades de Subir de nivel. Esperamos que esta combinación de funcionalidades de Refuerzo Positivo produzca mejoras sustanciales en la activación, la retención y el volumen de edición. Pronto publicaremos un informe detallado con los resultados de este experimento.
Resultados del experimento Subir de Nivel (Levelling up)
Para este experimento, hemos realizado un análisis de los efectos generales en toda la población de principiantes, así como un análisis individual de cada uno de los cuatro componentes de las funcionalidades de Subida de nivel. Se trata de dos notificaciones enviadas a las 48 horas tras el registro y dos diálogos posteriores a la edición. Las notificaciones se basan en el número de ediciones sugeridas que haya realizado una persona novata. Si la persona recién llegada no ha hecho ninguna edición sugerida, recibe la notificación "Empezar", y si ha hecho de una a cuatro ediciones sugeridas, recibe la notificación "Seguir". Quienes no hayan hecho cinco o más ediciones sugeridas no reciben ninguna notificación.
Los diálogos posteriores a la edición se muestran tras realizar ediciones de artículos en función de determinados criterios. Si una persona novata ha realizado tres u ocho ediciones de artículos y aún no ha realizado ninguna edición sugerida, recibe el diálogo "Probar ediciones sugeridas", que le pregunta si desea probar esa funcionalidad. Si alguien principiante ha completado cinco ediciones sugeridas de un tipo específico de tarea, obtiene el diálogo "Probar nueva tarea" sugiriéndole un tipo diferente de tarea.
Nuestro análisis general no encontró efectos significativos en las métricas clave del equipo (descritas anteriormente), por lo que nos centramos en los componentes individuales. En el caso de la notificación "Empezar", observamos que se envía a la gran mayoría de las personas recién llegadas, ya que sugerir modificaciones es bastante infrecuente. En nuestro conjunto de datos, más del 97% de principiantes recibieron esta notificación. La notificación provoca un "aumento significativo" de la actividad de personas novatas en la semana siguiente a su envío. Es más probable que vuelvan y realicen una edición, lo que también aumenta el número medio de ediciones realizadas durante esa semana. También observamos que este efecto es menor para los que se registraron en la web móvil, y reducido o negativo para las personas novatas muy activas. Basándonos en esto, decidimos introducir un umbral para que quienes realicen diez o más ediciones no reciban la notificación. (T342819)
En lo que respecta a la notificación "Sigue adelante", volvemos a encontrar un aumento significativo de la actividad de las personas recién llegadas en la semana siguiente al envío de las notificaciones para quienes se registraron en la plataforma de escritorio. En el caso de quienes se registraron en la web móvil, observamos que no aumenta la probabilidad de que vuelvan a editar, pero "sí" el número medio de ediciones realizadas.
En cuanto al cuadro de diálogo "Probar ediciones sugeridas", nuestro análisis concluye que, aunque tiene un índice de clics razonablemente alto, no conduce a que las personas recién llegadas completen con éxito las ediciones sugeridas. En nuestro informe anterior sobre indicadores tempranos, el porcentaje de clics era del 21,9%, y en un conjunto de datos de finales de julio de 2023 encontramos que el porcentaje era superior, del 25,3%. Utilizando los datos de los eventos, descubrimos que son pocas las personas recién llegadas que encuentran una tarea que les interese y, por lo tanto, sólo una parte de ellas completan una edición. Tenemos previsto introducir algunas mejoras en el cuadro de diálogo "Probar ediciones sugeridas" para ver si podemos aumentar el porcentaje de editores/as que hacen clic y completan una edición. (T348205) En el cuadro de diálogo "Probar nueva tarea", que se muestra a quienes completan cinco ediciones sugeridas de un tipo de tarea determinado, encontramos tanto un alto porcentaje de clics como un porcentaje razonablemente alto de ediciones completadas. En nuestros indicadores tempranos registramos un porcentaje de clics del 73,1%, y en nuestro conjunto de datos más reciente, de finales de julio de 2023, el porcentaje es del 81,9%. Nuestro análisis de las ediciones posteriores muestra que el 33,3% de quienes editan desde equipos de sobremesa y el 20,0% de quienes lo hacen en la web para móviles, completan una edición sugerida del nuevo tipo de tarea. Hay que tener en cuenta que este diálogo no se muestra a un gran número de personas novatas, por lo que no podemos sacar conclusiones sobre si existen diferencias significativas entre plataformas. Lo que sí podemos concluir es que este diálogo consigue introducir nuevos tipos de tareas. Para mostrar el diálogo a un mayor número de personas nuevas, decidimos reducir de cinco a tres el número de ediciones necesarias para verlo. (T348814)
Resultado del experimento de Elogios personalizados
Para este experimento, nos centramos en el efecto de los agradecimientos sobre la retención y la productividad de las personas recién llegadas. Dado que el elogio es una respuesta a la actividad de edición, significa que habrá un cierto periodo de tiempo entre el registro y la recepción de un mensaje de elogio o agradecimiento. Por lo tanto, comenzamos con un análisis del tiempo transcurrido entre el registro y el momento en que la persona mentora pulsa el botón "Enviar reconocimiento". En ese análisis, descubrimos que la mayoría de las personas recién llegadas reciben este mensaje en los 30 días siguientes a su registro. Esto nos llevó a redefinir el periodo de tiempo para la retención y la productividad para tener en cuenta también este mismo periodo de 30 días (en lugar de nuestro valor por defecto de 14 días).
La función de reconocimientos personalizados se activió en las wikipedias en árabe, bengalí, checa y español a finales de mayo de 2023. Analizamos la Wikipedia en español por separado de las otras tres ya que en esta al 50% de las personas recién llegadas se les asigna una persona mentora al azar, lo que significa que la funcionalidad forma parte de un experimento controlado. En las otras tres wikis, a todas las personas recién registradas se les asigna un mentor o mentora.
Utilizando un enfoque de análisis Diferencia en diferencias, comparamos un periodo de tres meses antes de la activación (de enero a marzo) con un periodo similar después tras la activación (de junio a agosto), y comparamos datos de 2023 con datos de 2022 y 2018. Empleamos dos periodos de tiempo de comparación como medida de robustez, ya que 2022 se vio afectado por la pandemia de COVID.
En las wikipedias en árabe, bengalí y checo, no encontramos "ningún impacto significativo" de los elogios personalizados ni en la retención ni en la productividad. Al profundizar más en este tema, descubrimos que el uso de esta función era limitado (no publicamos recuentos específicos de acuerdo con nuestras directrices de publicación de datos). En las conversaciones con nuestros embajadores/as de Wikipedia fuimos conscientes de que el envío de reconocimientos es un proceso que lleva mucho tiempo, ya que las personas mentoras tienen que comprobar las ediciones de su mentorizadas/os, lo que explica por qué esta funcionalidad no se utiliza más ampliamente.
En lo que respecta a la Wikipedia en español, encontramos que la funcionalidad es utilizada más ampliamente. Mientras que de nuevo no encontramos un "impacto significativo" en la retención, sí que vemos un "impacto positivo significativo" en la productividad de las personas novatas. Este hallazgo es alentador ya que nuestro análisis preliminar de la mentoría encontró resultados contradictorios sobre ningún impacto o impacto negativo.
Como estos resultados no fueron lo suficientemente positivos como para justificar la inversión de tiempo de las personas mentoras, hemos decidido iniciar conversaciones con las comunidades para considerar nuevas mejoras antes de lanzar la funcionalidad de forma más amplia. Estudiaremos mejoras relacionadas con la reducción de la cantidad de trabajo que necesitan las personas mentoras, posibles mejoras de diseño así como en la forma de seleccionar a las personas novatas que son mostradas en el módulo de reconocimientos personalizados.