Aplicativos Wikimedia/Projeto de edições sugeridas para iOS/Experimento de texto alternativo

This page is a translated version of the page Wikimedia Apps/iOS Suggested edits project/Alt Text Experiment and the translation is 94% complete.
Outdated translations are marked like this.

Contexto

Por que estamos trabalhando nisso?

Imagens são cada vez mais prevalentes e podem fornecer informações: Pesquisas recentes mostram que imagens nos artigos da Wikipédia geram níveis mais elevados de engajamento com os artigos e fornecem informações além de ilustrarem os artigos.[1] Se o usuário ou a usuária não conseguir visualizar a imagem devido à uma deficiência ou falta de visão, ou problemas de conectividade com a Internet, o texto alternativo pode ser utilizado. Texto alternativo é texto que pode ser associado a uma imagem e que tem a mesma finalidade e transmite as mesmas informações essenciais que a imagem.[2]

Muitas imagens em artigos da Wikipédia não têm texto alternativo: em 2021, uma pesquisa mostrou que 46% das imagens na Wikipédia em inglês tinham legendas, 10% das imagens tinham texto alternativo e apenas 3% tinham texto alternativo eficaz.[3] Abordar a questão da falta de texto alternativo de imagens nos artigos da Wikipédia e no Commons tem sido um tópico de discussão, pesquisa e organização já faz um bom tempo. Vários eventos de edição de texto alternativo têm sido organizados por afiliados na Polônia, Irlanda, Argentina e em eventos globais, como a Semana de Descrição de Imagens 2022.

Melhorando a acessibilidade da Wikipédia: A recomendação nº 2 da Estratégia do Movimento é melhorar a experiência do usuário e usuária, apoiando a conformidade com as mais avançadas diretrizes de acessibilidade usando software livre e de código aberto (WCAG para web, boas práticas para web móvel do W3C, etc.) Um estudo recente sobre acessibilidade de imagens na Wikipédia em vários idiomas sugeriu que parte da solução é investir em ferramentas que possam exibir artigos e imagens sem cobertura de acessibilidade.[4]

O aplicativo Wikipédia para iOS foi nomeado escolha do editor 2017 da Apple em virtude das funcionalidades de acessibilidade do aplicativo para usuários e usuárias. A acessibilidade é um fator importante no nosso processo de design e desenvolvimento por parte das equipes de aplicativos, portanto, a tarefa de preencher a lacuna nas imagens com texto alternativo de qualidade é perfeita para nossa equipe.

Nosso protótipo inicial mostrou-se promissor: criamos uma versão experimental de prova de conceito para adicionar texto alternativo a imagens na Wikipedia no contexto do artigo sendo editado e isto foi compartilhado com usuários e usuárias na conferência GLAM de 2023.

Depois do feedback que recebemos, estamos confiantes que podemos dimensionar nosso experimento para a versão de produção do aplicativo. Parte desse experimento tem como base nossa recente adição ao aplicativo iOS da edição sugerida "Adicionar uma imagem" .

User stories

  • As a Spanish Wikipedia editor in LATAM using the Add an Image feature for the first time on the Wikipedia iOS app, I would like to build confidence to add alt-text while on the bus, so that I can add alt-text to future image related tasks without concern of making the state of alt-text worse on Wikipedia for low vision users.
  • As a Portuguese Wikipedia editor in Brazil, I would like to become aware of opportunities to add alt-text to images in articles I care about, so that I can ensure all editors are able to gain the full context of those articles
  • As a user navigating articles with a screen reader, I want quality alt-text to be available , so that I have the same additional context about an article as users that are not using screen readers
  • As a user with limited data, I want to read alt-text, so even if images are not loaded, I am aware of what is in the image

Objetivo

Se executarmos um teste A/B/C com o protótipo de edições sugeridas de texto alternativo na versão de produção do aplicativo iOS, poderemos saber se adicionar texto alternativo ás imagens é uma tarefa na qual as pessoas recém-chegadas podem ser bem-sucedidas e, em última análise, decidir se é impactante o suficiente para implementar como uma edição sugerida na Web e/ou nos aplicativos.

Este trabalho faz parte do plano anual 2024-2025 Experiências Wiki 1, focado nas experiências das pessoas contribuidoras.

O experimento dimensionado não será um feed de imagens que precisam de texto alternativo. Em vez disso, solicitaremos que usuários e usuárias adicionem texto alternativo às imagens depois de fazerem uma edição relacionada: seja adicionando a imagem usando recomendações de imagens ou após editar um artigo. Caso o usuário ou a usuária aceite a solicitação, será apresentado um fluxo dedicado para adicionar texto alternativo à imagem, com orientações e exemplos.

Através deste experimento, temos a oportunidade de:

  • Descobrir se pessoas editoras recém-chegadas e experientes conseguem adicionar texto alternativo com sucesso por meio de uma tarefa estruturada com orientações
  • Testar dois momentos diferentes para sugerir edições adicionais a usuários e usuárias:
    • Depois que concluírem uma edição sugerida
    • Depois que concluírem a edição de um artigo
  • Aumentar o número de imagens que contenham texto alternativo útil em Wikipédias-alvo

Design do experimento

Perguntas de pesquisa

  • Lembrar usuários e usuárias de adicionar texto alternativo é uma forma eficaz de aumentar o número de imagens com texto alternativo bem como o número de edições "Adicionar uma imagem" que incluem texto alternativo?
  • A adição de texto alternativo para imagens em artigos deveria ser uma sugestão de edição separada? (E caso positivo, esta seria uma tarefa apropriada para as pessoas recém-chegadas?)
  • Usuários e usuárias gostariam de serem solicitados a fazer melhorias adicionais no artigo que estão editando?
  • Orientações ajudam pessoas editoras recém-chegadas e experientes a completar a tarefa?

Experimento B: Adicionar uma solicitação de texto alternativo após o fluxo "Adicionar uma imagem"

Atualmente, apenas cerca de 16% das edições feitas por meio de recomendações de imagens adicionam texto alternativo. Queremos saber se lembrar aos usuários e as usuárias de adicionar texto alternativo é uma maneira eficaz de aumentar o número de edições que incluem texto alternativo. As pessoas editoras verão a solicitação apenas uma vez.

  • Hipótese: se solicitarmos uma vez a usuários e usuárias para adicionarem texto alternativo faltante à imagem após publicá-la usando a edição sugerida pela recomendações de imagem, 60% das pessoas editoras vão optar por publicar texto alternativo adicional e 10% adicionarão texto alternativo para edições futuras de recomendações de imagem realizadas nos próximos 15 dias.
  • Público-alvo: pessoas editoras conectadas que fizeram uma edição na funcionalidade “Adicionar uma imagem” onde texto alternativo = nulo e que ainda não foram classificadas no grupo experimental C.
  • Grupo A = 50% das pessoas editoras de "Adicionar uma imagem" são classificadas no grupo de controle quando esquecem o texto alternativo. Estas pessoas não são solicitadas a adicionar texto alternativo faltante.
  • Grupo B = 50% das pessoas editoras de "Adicionar uma imagem" são classificadas no grupo experimental quando esquecem o texto alternativo. Estas pessoas são solicitadas uma vez para adicionar texto alternativo faltante
  • A atribuição aos grupos A/B ocorre quando um usuário ou usuária conclui uma edição sugerida "Adicionar uma imagem", onde texto alternativo = nulo.

Experimento C: adicionar uma solicitação de texto alternativo após o fluxo de edição padrão

Queremos saber se usuários e usuárias gostariam de receber solicitações de outras melhorias que possam ser feitas no artigo que estão editando. Este é um tipo de edição sugerida em tempo hábil. A solicitação aparecerá apenas uma vez para quem está editando.

  • Hipótese: se solicitarmos a usuários e usuárias que adicionem texto alternativo faltante depois de publicarem uma edição em um artigo contendo uma imagem que precisa de texto alternativo, 4% das pessoas editoras adicionarão texto alternativo à imagem.
  • Público-alvo: pessoas editoras conectadas que tenham feito algum tipo de edição em um artigo com uma imagem sem texto alternativo e que ainda não tenham sido classificadas no grupo experimental B.
  • Grupo D = 50% das pessoas editoras são classificadas no grupo de controle, elas não veem nenhuma solicitação após concluir uma edição elegível.
  • Grupo C = 50% das pessoas editoras são classificadas no grupo experimental, elas veem 1 solicitação de texto alternativo após concluir uma edição elegível.
  • A amostragem nos grupos D/C deve ocorrer imediatamente após um usuário ou usuária publicar uma edição elegível para a solicitação
  • Edições elegíveis para solicitação de acompanhamento: qualquer edição em um artigo no namespace principal feita por um usuário ou usuária conectado

Requisitos da funcionalidade

Essenciais

  • O ponto de entrada deve variar dependendo do grupo experimental (veja abaixo)
  • Se o usuário ou a usuária responder "não" a solicitação "Adicionar texto alternativo", identifique o motivo
  • Orientações importantes para escrever um bom texto alternativo
  • Capacidade de usuários e usuárias obterem contexto sobre a imagem a partir do artigo
  • Capacidade de usuários e usuárias acessarem metadados relevantes (pode direcionar as pessoas à Web)
  • Detecção de imagens que não têm texto alternativo
  • Capacidade de publicar texto alternativo
  • A edição de texto alternativo deve ser considerada como uma edição separada SOMENTE quando enviada separadamente
  • O texto alternativo é publicado com um resumo de edição automático
  • Usuários e usuárias devem ser solicitados(as) a fornecer feedback sobre a funcionalidade
  • Instrumentação que nos permite avaliar o texto alternativo submetido
  • Campo de entrada para texto alternativo no contexto da imagem, visualização do texto alternativo no contexto do nosso editor existente
  • Aviso quando o texto alternativo exceder 125 caracteres
  • O campo de entrada não deve permitir que usuários e usuárias adicionem quebras de linha

É bom ter

  • Reforço positivo
  • Não permitir que usuários e usuárias copiem e colem na legenda da imagem
  • Sugerir texto alternativo (leia-se descrições de artigos assistidas por computador)
  • Poder reproduzir o que foi escrito na visualização
  • Apresentar e descrever categorias


Essenciais do experimento B Grupo experimental B (50% dos usuários e usuárias das edições sugeridas de recomendações de imagens). Estas pessoas entrarão no fluxo dedicado para texto alternativo APÓS adicionarem uma imagem a um artigo usando recomendações de imagens.

Ponto de entrada: Assim que a edição de recomendações de imagem for enviada; se texto alternativo = nulo:

  1. Ensinar o usuário ou a usuária sobre a importância do texto alternativo e perguntar se a pessoa estaria disposta a adicionar texto alternativo à imagem
  2. Se o usuário ou a usuária selecionar sim; iniciar o fluxo de adição de texto alternativo para a imagem adicionada mais recentemente

Após concluir a tarefa:

  1. Mostrar uma pesquisa de quando perguntar a usuários e usuárias se esta deveria ser uma tarefa separada
  2. Retornar os usuários e usuárias para a próxima sugestão de recomendações de imagens


Essenciais do experimento C Grupo experimental C: 50% de todas as pessoas editoras são encorajadas a adicionar texto alternativo a uma imagem ao editar um artigo com imagem

Ponto de entrada:

  • Após uma edição, quando uma das seguintes condições for verdadeira
  1. Nenhuma edição foi feita em uma imagem, mas há uma imagem no artigo sem texto alternativo
  2. A imagem foi editada, mas texto alternativo = nulo
  • Mostrar um aviso de que uma imagem no artigo precisa de texto alternativo e explicar a importância de adicionar texto alternativo e perguntar aos usuários e usuárias se estão dispostos a adicionar texto alternativo
  • Se o usuário ou usuária selecionar Sim, iniciar o fluxo de adição de texto alternativo para uma imagem no artigo que precisa desse texto

Após concluir a tarefa:

  1. Perguntar sobre o nível de satisfação
  2. Perguntar se esta deve ser uma tarefa dedicada
  3. Levar o usuário ou a usuária de volta ao artigo que estava lendo

É bom ter no Experimento C

  • Possibilidade de revelar/revisar texto alternativo em imagens em um artigo
  • Se alguém estiver abandonando uma edição, solicite a adição de uma imagem se essa pessoa tiver mais de 50 edições

Wikis-alvo

Embora o feedback de todas as pessoas seja bem-vindo, temos interesse especial em ouvir:

  • Falantes de espanhol, francês e português nas Américas (Norte, Sul e Central) e no Caribe
  • Falantes de chinês na América do Norte

Planejamos realizar este experimento em parceria com as seguintes wikis:

  • Wikipédia em espanhol
  • Wikipédia em francês
  • Wikipédia em português
  • Wikipédia em chinês

Como saberemos se tivemos sucesso?

Avaliando a qualidade do texto alternativo:

Durante nossa pesquisa preliminar, vimos que as adições de texto alternativo não são formalmente patrulhadas, e por isso talvez não possamos depender apenas da taxa de reversão para compreender a qualidade do texto alternativo adicionado. Planejamos fazer uma parceria com uma organização de acessibilidade para avaliar a qualidade do texto alternativo produzido por meio deste experimento. Solicitaremos a esta organização que avalie cada entrada de texto alternativo de 1 a 5, sendo 5 a qualidade mais alta e 1 a qualidade mais baixa. Eles também irão disponibilizar uma pontuação de reversão prevista, respondendo à pergunta: se vissem este texto alternativo adicionado a uma imagem, removeriam este texto da Wikipédia?

Principais indicadores a serem medidos após 15 dias

  1. Aumento de 10% no número médio de edições não revertidas por usuário ou usuária recém-chegado(a) único(a) nos grupos experimentais em comparação com os grupos de controle*
  2. 100 edições com valores de texto alternativo, de pelo menos 25 pessoas editoras únicas. Pelo menos 25 edições são de pessoas recém-chegadas
  3. Mais de 15 editores únicos foram atribuídos a cada grupo experimental
  4. Taxa de aceitação da tarefa de 70% para o grupo B, taxa de aceitação de pelo menos 10% para o grupo C (% de pessoas que entram no fluxo/impressões da solicitação)
  5. A taxa de reversão para edições de pessoas recém-chegadas nos grupos A e B não excede 18%
  1. More than 15 unique editors have been assigned to each experiment group
  1. 70% task acceptance rate for group B, at least 10% acceptance rate for group C (# of people who enter the flow / impressions of prompt)
  1. Revert rate for newer editors edits in any single group does not exceed 18%

Indicadores chave

  1. 60% das pessoas editoras do grupo B publicam uma edição adicional com texto alternativo para a imagem para a qual foram solicitados
  1. 4% dos usuários e usuárias do grupo C adicionam texto alternativo quando solicitado após editar um artigo
  2. Das pessoas editoras do grupo B que fazem uma edição subsequente de recomendações de imagens nos próximos 15 dias, 25% adicionam texto alternativo como parte dessa edição
  3. 200 imagens são melhoradas com texto alternativo, por pelo menos 50 pessoas editoras diferentes

Matriz de decisão para os próximos passos

  1. If 71% of edits are scored a 3 or higher* we will scale the feature. If less than 70% of edits are scored a 3 or higher we will improve guidance or use AI to better assist users.
  2. If quality scores* for newer editors are more than 50% worse than quality scores for experienced editors, we will not recommend this task be available to newer editors.
  3. If we see at least 60% say they would use feature that provided a feed of images in need of alt text, then we will have the confidence to pursue a feed of alt-text suggested edits
  4. If 60% or more of respondents say they would be interested in similar edit notifications for articles they are working on, and 60% of respondents are satisfied with the feature (Group C survey responses), we share this information and consider future edit prompts.

Barreiras de proteção

  1. A Taxa de retorno de edições das pessoas editoras do grupo B ou C que receberam uma solicitação de texto alternativo não difere em mais de 10% dos grupos de controle
  2. A taxa de reversão de edições dos grupos experimentais não excede a dos grupos de controle em mais de 5 pontos percentuais
  3. A taxa de reversão avaliada por humanos* ou real para pessoas recém-chegadas nos grupos experimentais não excede 18%
  4. A taxa de conclusão de tarefas de texto alternativo para pessoas recém-chegadas é superior a 25% (taxa de conclusão = número de edições de texto alternativo publicadas/pessoas que responderam “sim” a solicitação e iniciaram o fluxo)

Curiosidades

  1. Como as taxas de conclusão de tarefas e de reversão de edições de texto alternativo por parte de pessoas recém-chegadas se comparam às de pessoas editoras experientes? Com as taxas comparáveis das edições sugeridas pelo Growth?
  2. Como a taxa de reversão avaliada por humanos* se compara à edição sugerida de legendas de imagens do Android?
  3. Existe uma diferença nas métricas por idioma e localização geográfica? (por exemplo, detalhando as edições da América Latina versus Europa para espanhol)
  4. Qual é o motivo mais comum pelo qual usuários e usuárias decidem não responder a solicitação?

* Observação: para as pontuações de qualidade e pontuações de reversão avaliadas por humanos, faremos uma parceria com uma organização de acessibilidade que revisará e avaliará o texto alternativo.

Definition of newer editors: Editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment

Designs

Experimento B (fluxo de recomendações de imagens)

Experimento C (fluxo de edição de artigos)

Como acompanhar

Criamos T357437, Alt-Text Suggested Edit Scaled Experiment on iOS como nosso epic Phabricator. Encorajamos sua colaboração lá ou em nossa página de discussão. Também atualizaremos periodicamente esta página à medida que avançamos no experimento.

Atualizações

Junho 2024

  • Concluímos a análise dos testes de usabilidade para os fluxos B e C em inglês e atualizaremos os designs com base nesses resultados e na revisão do design. T360567
    • Resumo dos resultados:
      • Houve um entendimento claro sobre o que a solicitação do texto alternativo pedia que fosse feito
        • Para o fluxo B: 5/5 pessoas entenderam que estavam sendo solicitadas a adicionar texto alternativo à imagem anterior porque esse texto estava faltando
        • Para o fluxo C: 5/5 pessoas entenderam que estavam adicionando texto alternativo a uma imagem do artigo em que haviam acabado de corrigir uma palavra com erro ortográfico.
      • A integração, as dicas de contexto e as orientações foram claras e úteis para os usuários e usuárias, com algumas pequenas melhorias possíveis
        • 10/10 pessoas acharam que a integração foi clara
        • 9/10 pessoas acharam as dicas de contexto claras e úteis
      • Os usuários e usuárias podiam dar um zoom, mas a primeira escolha não era compatível
        • 5/10 pessoas clicavam na imagem primeiro para depois dar um zoom
        • 5/10 pessoas davam um zoom primeiro na miniatura para depois clicar e abrir
      • A maioria dos usuários e usuárias conseguiram encontrar as orientações necessárias
        • 06/10 pessoas abriam o link "Orientações para escrever texto alternativo"
      • Usuários e usuárias conseguiram encontrar informações adicionais sobre a imagem
        • 6/10 pessoas souberam clicar no info-i ao lado da imagem, 1/10 pessoa encontrou após ser solicitada
        • 1/10 pessoa clicou na imagem primeiro e depois encontrou o botão info-i. A maioria das pessoas testadoras achou que as informações fornecidas sobre a imagem estavam completas, enquanto outras pessoas acharam que pequenas melhorias eram possíveis
        • 6/10 pessoas acharam que as informações estavam completas e nada de importante estava faltando
      • As pessoas testadoras entenderam a tarefa e foram capazes de resumi-la com sucesso posteriormente
      • Todas as pessoas testadoras estavam confiantes de que poderiam adicionar texto alternativo a uma nova imagem

setembro de 2024

  • The alternative text experiment is now live in production! You can view the work that went into this release on this task: T357440
  • Our preliminary 15-day analysis shows that:
    • 150 app users have been assigned into the experiment.
    • For those shown the prompt to add alt text, 55.3% are accepting the task after having completed an Image recommendation, and 16.0% are accepting the task after making an article edit. The acceptance rate for image recommendations was lower than we expected, but for article editing it was higher than expected.
    • 7 successful alternative text edits have been published by 7 unique users, and 0% have been reverted so far.
  • We are planning to extend the length of the experiment to 60-days, and to display another announcement about “Add an image” to motivate more users to enter the experiment. The experiment is now scheduled to run until 5 November.
  • We will be partnering with the accessibility organization, Fundación Dalat, for evaluating the results of the experiment. Native speakers for Chinese, French, Spanish, and Portuguese who will grade the respective alternative text entered, and review the edits.

agosto de 2024 Special Update

  • The alt text experiment has been released to Beta Testers, on Spanish, Portuguese, French, and Chinese Wikipedias. Editors making edits on articles containing images without alt text, or adding images using “Add an Image” may see one prompt asking them to add alternative text to an image. The experiment will run until early November.
  • Check out a demo of the flow on Portuguese Wikipedia:
    Two A/B tests running in the iOS App that prompt users to add alternative text after a relevant edit
  • If you would like to download the beta version of the app to test, please follow these testing instructions.

agosto de 2024

  • We began work on the Alternative Text experiment. We added a new capability in the app: developer settings. This will allow us to move quickly and deploy things behind feature flags more in the future. Tasks completed included:
    • Add developer settings option in the app. T334848
    • Add feature flag and toggle into Developer settings for alt text experiment. T370221
    • Update ABTestsController, Assign groups for alt text experiment. T370228
    • Publish Wikitext for Alt Text experiment - Flow B. T370236
    • Trigger Alt-Text task from Image Recommendations (flow B) and create Modal. T370229
    • Bypass edit count logic in existing explore feed card logic for target wikis. T370224
    • Add ability to send analytics events to wmflabs. T371412
  • All tasks are visible in Sub epic: T357437

julho de 2024

  • We held a Deep dive meeting with the team and stakeholders from the GLAM and Research teams to review the experiment plan, designs, and timeline. Most recent designs have been added above
  • We defined our comparison group for learning how newer editors performed on the task as: editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment. We’ll use the term “newer editors” to refer to this group, as not to confuse them with brand new accounts.
  • The team began development on the Alt text experiment, you can follow our work on the Engineering Epic: T357440
  • We learned that in iOS, the baseline for image recommendation edits that contain alt text is 16%.
  • We reviewed a sample of the alt text that had been entered by users in Image Recommendations. We saw that 15% of edits evaluated repeated the exact same text in the image caption as in the alt text, and that only 14% of edits evaluated had alt text of reasonable quality. This stresses the importance of adding guidance for writing effective alt text in our flow, and for preventing users from copy / pasting between the fields.
  • We learned about a new form of AI that is creating alt text for images on the London Museum’s website. If results from this experiment show that users struggle with writing alt text, this could be an avenue to explore for adding AI assistance.

junho de 2024

  • We completed analysis of usability testing for flows B and C in English, and will be updating the designs based on these results and design review. T360567
    • Summary of results:
      • There was clear understanding on what the alt text prompt was asking them to do
        • For flow B: 5/5 understood that they were being asked to add alt text to the previous image because it's missing
        • For flow C: 5/5 understood that they were adding alt text for an image from the article you just corrected the misspelled word in.
      • The onboarding, tooltips, and guidance were clear and helpful to users, with some room for small improvements
        • 10/10 thought the onboarding was clear
        • 9/10 thought the tooltips were clear and helpful
      • Users would be able to zoom, but their first choice was not supported
        • 5/10 tapped on the image first, then pinch and zoom
        • 5/10 would pinch and zoom first on thumbnail, then tap to open
      • Most users could find the guidance they needed
        • 6/10 would open the "Guidance for writing alt text" link
      • Users could find additional information about the image
        • 6/10 knew to click on the info-i next to the image, 1/10 found it after being prompted.
        • 1/10 tapped on the image first, then found the info-i button -Most testers thought the image information provided was complete, while others noted room for small improvements
        • 6/10 felt the information was complete and not missing anything important
      • Testers understood the task, and were able to successfully summarize it afterwards
      • All testers felt confident they could add alt text to a new image

maio de 2024

  • A análise dos testes de usuários e usuárias está em andamento em inglês e chinês. O teste foi feito com dois protótipos dos fluxos para adiçionar texto alternativo:
    • Fluxo B solicitando que usuários e usuárias adicionem texto alternativo à imagem que acabaram de adicionar usando “Adicionar uma imagem”
      Protótipo para o Fluxo B do experimento de texto alternativo

Fluxo C solicitando que usuários e usuárias adicionem texto alternativo a uma imagem em um artigo no qual acabaram de corrigir um erro de digitação ou editar

Protótipo para o fluxo C do experimento de texto alternativo

Setembro 2023 - Abril 2024

Para atualizações anteriores sobre a edição sugerida no texto alternativo, consulte as atualizações da página de visão geral.

Abaixo estão os designs do experimento em abril de 2024:

References