Objetivos e métodos
O que os trabalhos fazem, e não do que eles tratam. Cada resumo foi lido sob uma rubrica escrita antes da leitura. Daqui sai o retrato de uma prática de pesquisa: o que o campo se propõe, como conduz, com que técnica e o que entrega. NADA AQUI MEDE A QUALIDADE DE UM TRABALHO. Cada eixo diz em que categoria o trabalho foi colocado pela leitura, e a confiança declarada é a da própria leitura, e não a do trabalho lido.
Foram lidos 437 trabalhos, o censo inteiro. 313 declaram mais de um objetivo, propondo e relatando ou descrevendo e avaliando. Em 321 o resumo diz os três eixos, e por isso a leitura os classificou sem inferir nada; a confiança aqui é a dela, e não a do trabalho. Por fim, 169 foram ao desempate porque as duas leituras eram incompatíveis.
O que o trabalho se propõe
O objetivo principal, um por trabalho. Clique numa barra para ver no catálogo os trabalhos que o declaram.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Descrever | 103 |
| Propor método | 72 |
| Conceituar | 69 |
| Avaliar | 58 |
| Revisar | 38 |
| Relatar experiência | 35 |
| Propor artefato | 34 |
| Comparar | 18 |
| Registrar depoimento | 10 |
ler a análise
Descrever é o objetivo mais frequente, e junto com conceituar responde por quase quatro em cada dez trabalhos. É o perfil de um campo que ainda caracteriza o próprio objeto, e não o de um campo que já projeta sobre base assentada.
A proposição existe e não é pequena: propor método e propor artefato somam 106 trabalhos. A distribuição diz que o campo faz as duas coisas, e que a descrição vem primeiro.
Tudo o que o trabalho se propõe
A lista inteira, e não só o principal: 313 dos 437 trabalhos declaram mais de um objetivo, e a soma aqui passa do número de trabalhos.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Descrever | 166 |
| Conceituar | 150 |
| Propor método | 128 |
| Avaliar | 111 |
| Relatar experiência | 63 |
| Revisar | 63 |
| Propor artefato | 58 |
| Comparar | 31 |
| Registrar depoimento | 10 |
ler a análise
Sete em cada dez trabalhos fazem mais de uma coisa. O par mais comum junta descrever a conceituar, e o segundo junta propor método a relatar experiência: quem propõe costuma contar como aplicou.
Por isso, adotaram-se os dois campos na rubrica, de modo a não apagar metade do que o campo faz. Registrar só o objetivo principal apagaria essa metade, e a diferença entre este painel e o de cima é exatamente essa metade.
Como o trabalho é conduzido
O desenho da investigação, um por trabalho. Clique numa barra para ver no catálogo os trabalhos que o adotam.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Análise de corpus | 85 |
| Ensaio teórico | 80 |
| Pesquisa-ação ou projeto | 80 |
| Estudo de caso | 48 |
| Estudo com pessoas | 44 |
| Revisão | 40 |
| Experimento | 16 |
| Relato de prática | 14 |
| Resenha | 12 |
| Entrevista | 10 |
| Posicionamento | 8 |
ler a análise
Os três primeiros delineamentos ficam quase empatados: análise de corpus, ensaio teórico e pesquisa-ação ou projeto. São três modos de trabalhar muito diferentes convivendo em proporções parecidas, e é isso que separa este campo de uma disciplina de método único.
Contudo, o experimento é raro: dezesseis trabalhos em vinte e dois anos. Um campo que fala de compreensão, legibilidade e desempenho de leitura testa pouco o que afirma, e este é o achado mais desconfortável desta seção.
Com que técnica
As técnicas declaradas no resumo, e um trabalho pode declarar várias. Só é registrado o que o resumo diz, porque a rubrica proíbe inferir procedimento a partir do tema.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Análise documental | 114 |
| Análise gráfica | 112 |
| Prototipação | 50 |
| Teste de usabilidade | 43 |
| Questionário | 38 |
| Entrevista | 37 |
| Análise de conteúdo | 25 |
| Observação | 24 |
| Cocriação | 20 |
| Oficina | 16 |
| Análise estatística | 12 |
| Grupo focal | 10 |
| Bibliometria | 7 |
| Etnografia | 3 |
| Rastreamento ocular | 1 |
ler a análise
Análise documental e análise gráfica aparecem à frente das demais, e juntas cobrem mais da metade dos trabalhos. É o que se esperaria de um campo que lê artefatos e lê literatura.
As técnicas com pessoas somam bem menos: teste de usabilidade, questionário, entrevista, grupo focal e observação, as cinco juntas, ficam abaixo dos dois primeiros sozinhos. E sessenta trabalhos não declaram procedimento algum, o que a rubrica manda registrar como não identificado, em vez de adivinhar.
O que o trabalho entrega
A categoria de contribuição que a leitura atribuiu, uma por trabalho. É o tipo de resultado, e nunca o mérito dele. Clique numa barra para ver no catálogo os trabalhos que ela reúne.
ver os dados
| Categoria | Trabalhos |
|---|---|
| Diagnóstico | 138 |
| Reflexão teórica | 129 |
| Modelo | 68 |
| Artefato | 49 |
| Diretrizes | 34 |
| Evidência de efeito | 19 |
ler a análise
Diagnóstico e reflexão teórica respondem por dois terços do que a revista publica. São os dois resultados que não exigem construir nada: um descreve o que se encontrou, o outro discute o que aquilo quer dizer.
Do outro lado, evidência de efeito aparece em dezenove trabalhos. É o resultado que exige comparação controlada, e ele acompanha de perto a raridade do experimento no painel anterior: o campo prescreve mais do que demonstra.
A prática ao longo do tempo
Os seis delineamentos mais frequentes, ano a ano. Uma distribuição sem tempo não diz se o campo mudou de prática ou se sempre foi assim.
- Análise de corpus
- Ensaio teórico
- Pesquisa-ação ou projeto
- Estudo de caso
- Estudo com pessoas
- Revisão
ver os dados
| Ano | Análise de corpus | Ensaio teórico | Pesquisa-ação ou projeto | Estudo de caso | Estudo com pessoas | Revisão |
|---|---|---|---|---|---|---|
| 2004 | 0 | 1 | 0 | 0 | 2 | 0 |
| 2005 | 0 | 1 | 1 | 2 | 0 | 0 |
| 2006 | 1 | 1 | 1 | 0 | 0 | 0 |
| 2007 | 2 | 3 | 3 | 0 | 0 | 1 |
| 2008 | 5 | 5 | 2 | 0 | 0 | 0 |
| 2009 | 2 | 5 | 5 | 1 | 3 | 0 |
| 2010 | 1 | 6 | 0 | 2 | 0 | 1 |
| 2011 | 2 | 6 | 5 | 0 | 3 | 1 |
| 2012 | 1 | 3 | 6 | 2 | 5 | 0 |
| 2013 | 5 | 0 | 5 | 3 | 5 | 1 |
| 2014 | 4 | 4 | 2 | 2 | 1 | 6 |
| 2015 | 5 | 6 | 10 | 1 | 0 | 0 |
| 2016 | 5 | 5 | 0 | 3 | 1 | 3 |
| 2017 | 3 | 2 | 8 | 1 | 2 | 3 |
| 2018 | 1 | 1 | 3 | 2 | 3 | 4 |
| 2019 | 12 | 9 | 4 | 5 | 0 | 3 |
| 2020 | 6 | 4 | 6 | 3 | 3 | 0 |
| 2021 | 7 | 2 | 5 | 2 | 3 | 6 |
| 2022 | 4 | 6 | 3 | 6 | 2 | 3 |
| 2023 | 6 | 3 | 3 | 5 | 3 | 3 |
| 2024 | 7 | 4 | 1 | 4 | 4 | 4 |
| 2025 | 5 | 3 | 6 | 3 | 4 | 0 |
| 2026 | 1 | 0 | 1 | 1 | 0 | 1 |
ler a análise
O ensaio teórico domina a primeira década e cede espaço depois. Em seguida, a pesquisa-ação e o estudo com pessoas crescem na segunda, e é aí que a revista passa a receber trabalho de programa de pós-graduação em volume.
A análise de corpus atravessa a série inteira sem grande variação: é a prática mais estável do campo, e a que menos depende do arranjo institucional em volta.
Entretanto, os anos das pontas têm poucos trabalhos e oscilam muito, e por isso a leitura vale no meio da série.
Como esta camada foi lida
Cada resumo foi lido duas vezes sob a rubrica publicada em Sobre o projeto, por modelo de linguagem. A segunda leitura foi conduzida na ordem do título, e não na do identificador, para que a decisão viesse do resumo e não da vizinhança.
As duas leituras concordaram em 84,9% dos objetivos, 79,2% dos delineamentos e 85,4% dos resultados. Nos dois eixos de valor múltiplo a concordância exata é menor, porque exigir conjuntos idênticos é a medida mais dura possível; a sobreposição média entre eles fica em três quartos.
169 trabalhos tiveram divergência incompatível e passaram por uma terceira leitura, com as duas anteriores à vista. Onde a divergência era de detalhe, as duas leituras foram somadas: o que um juiz viu e o outro não é acréscimo, e não contradição.
O QUE ESTA CAMADA NÃO MEDE. A confiança de que se fala aqui é a da leitura, e não a do trabalho lido: ela diz o quanto o resumo explicitou o que a rubrica pedia, e um resumo lacônico baixa a confiança de um trabalho excelente. Do mesmo modo, a categoria de resultado é o tipo de contribuição, e não o mérito dela: diagnóstico não vale menos que evidência de efeito, e a rubrica não tem escala de qualidade em eixo nenhum.
Esta medida não é concordância entre juízes independentes. As duas passagens são releituras do mesmo leitor sob a mesma rubrica, e elas medem o quanto a rubrica é determinada, e não o quanto dois humanos concordariam. Uma amostra conferida por juiz humano está prevista e ainda não foi feita; até lá, os números acima devem ser lidos como limite superior.