Objetivos e métodos
Esta seção mostra o que cada trabalho faz como pesquisa, além do assunto de que trata. Cada trabalho foi classificado em quatro aspectos: o objetivo, o tipo de pesquisa, as técnicas usadas e o tipo de resultado. Juntos, esses aspectos mostram como o campo pesquisa: o que se propõe a fazer, como conduz o estudo, com que técnicas e o que entrega. Nenhuma classificação desta seção mede a qualidade de um trabalho. Ela diz apenas em que categoria o trabalho foi colocado. Cada classificação vem com um grau de confiança, e esse grau se refere à classificação, e não ao trabalho classificado.
Um modelo de IA (Claude), e não uma pessoa, leu o resumo de cada trabalho e classificou os objetivos e os métodos. Os pesquisadores responsáveis decidiram o que classificar. O modelo escreveu os critérios e os aplicou. Isto significa que podem existir erros em alguns casos. O modo como a conferência foi feita está descrito em Procedimentos.
Foram classificados 437 trabalhos, todos os da base. 313 têm mais de um objetivo, por exemplo propor e relatar a aplicação, ou descrever e avaliar. Em 321, o resumo informa com clareza o que os critérios pedem, e por isso a classificação não precisou deduzir nada. São os casos de confiança alta, e essa confiança se refere à classificação, e não ao trabalho. Por fim, 169 passaram por uma terceira leitura, porque as duas primeiras classificações não podiam ser conciliadas.
O que o trabalho se propõe
O objetivo principal de cada trabalho. Cada trabalho recebe um único objetivo principal. Clique numa barra para ver logo abaixo os trabalhos com esse objetivo.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Descrever | 103 |
| Propor método | 72 |
| Conceituar | 69 |
| Avaliar | 58 |
| Revisar | 38 |
| Relatar experiência | 35 |
| Propor artefato | 34 |
| Comparar | 18 |
| Registrar depoimento | 10 |
ler a análise
Descrever é o objetivo mais frequente. Junto com conceituar, ele aparece em quase quatro de cada dez trabalhos. Isso indica um campo que ainda está caracterizando aquilo que estuda, mais do que um campo que já projeta a partir de uma base estabelecida.
Os trabalhos que propõem algo também são muitos: propor método e propor artefato somam 106 trabalhos. Isto significa que o campo descreve e propõe, e que a descrição vem em primeiro lugar.
Tudo o que o trabalho se propõe
Todos os objetivos de cada trabalho, e não só o principal. 313 dos 437 trabalhos têm mais de um objetivo. Por isso, a soma das barras passa do número de trabalhos.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Descrever | 166 |
| Conceituar | 150 |
| Propor método | 128 |
| Avaliar | 111 |
| Relatar experiência | 63 |
| Revisar | 63 |
| Propor artefato | 58 |
| Comparar | 31 |
| Registrar depoimento | 10 |
ler a análise
Sete em cada dez trabalhos têm mais de um objetivo. A combinação mais comum é descrever e conceituar. A segunda é propor método e relatar experiência: quem propõe um método costuma contar como o aplicou.
Por isso, os critérios registram duas informações: o objetivo principal e a lista completa de objetivos. Se só o objetivo principal fosse registrado, boa parte do que os trabalhos fazem ficaria de fora. A diferença entre este painel e o anterior mostra essa parte.
Como o trabalho é conduzido
O tipo de pesquisa de cada trabalho. Cada trabalho recebe um único tipo. Clique numa barra para ver logo abaixo os trabalhos desse tipo.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Análise de corpus | 85 |
| Ensaio teórico | 80 |
| Pesquisa-ação ou projeto | 80 |
| Estudo de caso | 48 |
| Estudo com pessoas | 44 |
| Revisão | 40 |
| Experimento | 16 |
| Relato de prática | 14 |
| Resenha | 12 |
| Entrevista | 10 |
| Posicionamento | 8 |
ler a análise
Os três tipos de pesquisa mais frequentes estão quase empatados: análise de corpus, isto é, de um conjunto de documentos ou imagens, ensaio teórico e pesquisa-ação ou projeto. São três modos muito diferentes de trabalhar, em proporções parecidas. Isso distingue este campo de uma disciplina que usa um único método.
O experimento é raro: são 16 trabalhos em 22 anos. O campo trata de compreensão, legibilidade e desempenho de leitura, mas testa pouco o que afirma sobre esses temas.
Com que técnica
As técnicas citadas no resumo. Um trabalho pode citar várias. Só entra o que o resumo diz, porque os critérios proíbem deduzir a técnica a partir do assunto do trabalho.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Análise documental | 114 |
| Análise gráfica | 112 |
| Prototipação | 50 |
| Teste de usabilidade | 43 |
| Questionário | 38 |
| Entrevista | 37 |
| Análise de conteúdo | 25 |
| Observação | 24 |
| Cocriação | 20 |
| Oficina | 16 |
| Análise estatística | 12 |
| Grupo focal | 10 |
| Bibliometria | 7 |
| Etnografia | 3 |
| Rastreamento ocular | 1 |
ler a análise
Análise documental e análise gráfica são as técnicas mais frequentes. Juntas, aparecem em quase metade dos trabalhos. Isso é esperado num campo que analisa artefatos e textos.
As técnicas que envolvem pessoas somam bem menos. Teste de usabilidade, questionário, entrevista, grupo focal e observação, somados, ficam abaixo das duas primeiras técnicas. Sessenta trabalhos não citam nenhuma técnica. Os critérios mandam registrar esses casos como não identificado, em vez de adivinhar.
O que o trabalho entrega
O tipo de contribuição de cada trabalho. Cada trabalho recebe um único tipo. A categoria indica o tipo de resultado, e não o seu valor. Clique numa barra para ver logo abaixo os trabalhos dessa categoria.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Diagnóstico | 138 |
| Reflexão teórica | 129 |
| Modelo | 68 |
| Artefato | 49 |
| Diretrizes | 34 |
| Evidência de efeito | 19 |
ler a análise
Diagnóstico e reflexão teórica somam seis em cada dez trabalhos que a revista publica. Nenhum dos dois exige construir alguma coisa: o diagnóstico descreve o que se encontrou, e a reflexão teórica discute o que isso significa.
No outro extremo, evidência de efeito aparece em 19 trabalhos. Esse resultado exige uma comparação controlada, por exemplo entre dois grupos ou entre o antes e o depois. O número é próximo ao dos experimentos no painel do tipo de pesquisa, que são 16. Já as diretrizes, isto é, recomendações para quem projeta, aparecem em 34 trabalhos, quase o dobro. Isso significa que, nesta revista, mais trabalhos fazem recomendações do que medem o efeito delas.
Os tipos de pesquisa ao longo do tempo
Os seis tipos de pesquisa mais frequentes, ano a ano. Sem a série no tempo, não se sabe se o campo mudou o modo de pesquisar ou se sempre pesquisou da mesma forma.
- Análise de corpus
- Ensaio teórico
- Pesquisa-ação ou projeto
- Estudo de caso
- Estudo com pessoas
- Revisão
ver os dados
| Ano | Análise de corpus | Ensaio teórico | Pesquisa-ação ou projeto | Estudo de caso | Estudo com pessoas | Revisão |
|---|---|---|---|---|---|---|
| 2004 | 0 | 1 | 0 | 0 | 2 | 0 |
| 2005 | 0 | 1 | 1 | 2 | 0 | 0 |
| 2006 | 1 | 1 | 1 | 0 | 0 | 0 |
| 2007 | 2 | 3 | 3 | 0 | 0 | 1 |
| 2008 | 5 | 5 | 2 | 0 | 0 | 0 |
| 2009 | 2 | 5 | 5 | 1 | 3 | 0 |
| 2010 | 1 | 6 | 0 | 2 | 0 | 1 |
| 2011 | 2 | 6 | 5 | 0 | 3 | 1 |
| 2012 | 1 | 3 | 6 | 2 | 5 | 0 |
| 2013 | 5 | 0 | 5 | 3 | 5 | 1 |
| 2014 | 4 | 4 | 2 | 2 | 1 | 6 |
| 2015 | 5 | 6 | 10 | 1 | 0 | 0 |
| 2016 | 5 | 5 | 0 | 3 | 1 | 3 |
| 2017 | 3 | 2 | 8 | 1 | 2 | 3 |
| 2018 | 1 | 1 | 3 | 2 | 3 | 4 |
| 2019 | 12 | 9 | 4 | 5 | 0 | 3 |
| 2020 | 6 | 4 | 6 | 3 | 3 | 0 |
| 2021 | 7 | 2 | 5 | 2 | 3 | 6 |
| 2022 | 4 | 6 | 3 | 6 | 2 | 3 |
| 2023 | 6 | 3 | 3 | 5 | 3 | 3 |
| 2024 | 7 | 4 | 1 | 4 | 4 | 4 |
| 2025 | 5 | 3 | 6 | 3 | 4 | 0 |
| 2026 | 1 | 0 | 1 | 1 | 0 | 1 |
ler a análise
O ensaio teórico é o tipo de pesquisa mais frequente na primeira década, de 2004 a 2013, e perde a frente depois. Na segunda década, de 2014 a 2023, a análise de corpus passa à frente e é o tipo que mais cresce, seguida da pesquisa-ação. O estudo com pessoas tem o mesmo número de trabalhos nas duas décadas.
Os primeiros e os últimos anos têm poucos trabalhos e variam muito. Por isso, a comparação é mais segura nos anos do meio da série.
Como a classificação foi feita
O modelo de linguagem classificou cada resumo duas vezes, com os critérios publicados em Procedimentos. Na segunda vez, os trabalhos foram lidos na ordem alfabética do título, e não na ordem do número de identificação. Assim, a decisão dependeu do resumo, e não dos trabalhos lidos logo antes.
A segunda vez foi feita na mesma sessão da primeira. As primeiras 214 classificações dessa segunda vez foram feitas com a primeira à vista e, por isso, foram descartadas. Esses 214 trabalhos foram classificados de novo, sem a primeira classificação à vista.
As duas classificações coincidiram em 84,9% dos objetivos principais, 79,2% dos tipos de pesquisa e 85,4% dos resultados. Dois aspectos aceitam vários valores por trabalho: a lista completa de objetivos e as técnicas. Neles, a coincidência exata é menor, porque exige que as duas listas sejam idênticas. Em média, três quartos dos valores das duas listas coincidem.
169 trabalhos tiveram classificações incompatíveis e passaram por uma terceira leitura, feita com as duas anteriores à vista. Quando a diferença era só de detalhe, as duas classificações foram somadas. O que uma leitura encontrou e a outra não foi tratado como acréscimo, e não como contradição.
O que esta seção não mede. O grau de confiança se refere à classificação, e não ao trabalho. Ele indica o quanto o resumo deixou claro aquilo que os critérios pediam. Um resumo muito curto baixa a confiança da classificação até de um trabalho excelente. Da mesma forma, a categoria de resultado indica o tipo de contribuição, e não o seu valor. Um diagnóstico não vale menos do que uma evidência de efeito, e os critérios não têm escala de qualidade em nenhum aspecto.
Esta medida não é a concordância entre avaliadores independentes. As duas classificações foram feitas pelo mesmo modelo, com os mesmos critérios. Elas mostram se os critérios produzem resultados estáveis, e não se duas pessoas chegariam à mesma resposta. Está prevista a conferência de uma amostra por uma pessoa, que ainda não foi feita. Até lá, os números acima devem ser lidos como o valor máximo da concordância.