Pular para o conteúdo

Objetivos e métodos

O que os trabalhos fazem, e não do que eles tratam. Cada resumo foi lido sob uma rubrica escrita antes da leitura. Daqui sai o retrato de uma prática de pesquisa: o que o campo se propõe, como conduz, com que técnica e o que entrega. NADA AQUI MEDE A QUALIDADE DE UM TRABALHO. Cada eixo diz em que categoria o trabalho foi colocado pela leitura, e a confiança declarada é a da própria leitura, e não a do trabalho lido.

Foram lidos 437 trabalhos, o censo inteiro. 313 declaram mais de um objetivo, propondo e relatando ou descrevendo e avaliando. Em 321 o resumo diz os três eixos, e por isso a leitura os classificou sem inferir nada; a confiança aqui é a dela, e não a do trabalho. Por fim, 169 foram ao desempate porque as duas leituras eram incompatíveis.

O que o trabalho se propõe

O objetivo principal, um por trabalho. Clique numa barra para ver no catálogo os trabalhos que o declaram.

ver os dados
Tabela de dados de O que o trabalho se propõe
CategoriaTrabalhos
Descrever103
Propor método72
Conceituar69
Avaliar58
Revisar38
Relatar experiência35
Propor artefato34
Comparar18
Registrar depoimento10
ler a análise

Descrever é o objetivo mais frequente, e junto com conceituar responde por quase quatro em cada dez trabalhos. É o perfil de um campo que ainda caracteriza o próprio objeto, e não o de um campo que já projeta sobre base assentada.

A proposição existe e não é pequena: propor método e propor artefato somam 106 trabalhos. A distribuição diz que o campo faz as duas coisas, e que a descrição vem primeiro.

Tudo o que o trabalho se propõe

A lista inteira, e não só o principal: 313 dos 437 trabalhos declaram mais de um objetivo, e a soma aqui passa do número de trabalhos.

ver os dados
Tabela de dados de Tudo o que o trabalho se propõe
CategoriaTrabalhos
Descrever166
Conceituar150
Propor método128
Avaliar111
Relatar experiência63
Revisar63
Propor artefato58
Comparar31
Registrar depoimento10
ler a análise

Sete em cada dez trabalhos fazem mais de uma coisa. O par mais comum junta descrever a conceituar, e o segundo junta propor método a relatar experiência: quem propõe costuma contar como aplicou.

Por isso, adotaram-se os dois campos na rubrica, de modo a não apagar metade do que o campo faz. Registrar só o objetivo principal apagaria essa metade, e a diferença entre este painel e o de cima é exatamente essa metade.

Como o trabalho é conduzido

O desenho da investigação, um por trabalho. Clique numa barra para ver no catálogo os trabalhos que o adotam.

ver os dados
Tabela de dados de Como o trabalho é conduzido
CategoriaTrabalhos
Análise de corpus85
Ensaio teórico80
Pesquisa-ação ou projeto80
Estudo de caso48
Estudo com pessoas44
Revisão40
Experimento16
Relato de prática14
Resenha12
Entrevista10
Posicionamento8
ler a análise

Os três primeiros delineamentos ficam quase empatados: análise de corpus, ensaio teórico e pesquisa-ação ou projeto. São três modos de trabalhar muito diferentes convivendo em proporções parecidas, e é isso que separa este campo de uma disciplina de método único.

Contudo, o experimento é raro: dezesseis trabalhos em vinte e dois anos. Um campo que fala de compreensão, legibilidade e desempenho de leitura testa pouco o que afirma, e este é o achado mais desconfortável desta seção.

Com que técnica

As técnicas declaradas no resumo, e um trabalho pode declarar várias. Só é registrado o que o resumo diz, porque a rubrica proíbe inferir procedimento a partir do tema.

ver os dados
Tabela de dados de Com que técnica
CategoriaTrabalhos
Análise documental114
Análise gráfica112
Prototipação50
Teste de usabilidade43
Questionário38
Entrevista37
Análise de conteúdo25
Observação24
Cocriação20
Oficina16
Análise estatística12
Grupo focal10
Bibliometria7
Etnografia3
Rastreamento ocular1
ler a análise

Análise documental e análise gráfica aparecem à frente das demais, e juntas cobrem mais da metade dos trabalhos. É o que se esperaria de um campo que lê artefatos e lê literatura.

As técnicas com pessoas somam bem menos: teste de usabilidade, questionário, entrevista, grupo focal e observação, as cinco juntas, ficam abaixo dos dois primeiros sozinhos. E sessenta trabalhos não declaram procedimento algum, o que a rubrica manda registrar como não identificado, em vez de adivinhar.

O que o trabalho entrega

A categoria de contribuição que a leitura atribuiu, uma por trabalho. É o tipo de resultado, e nunca o mérito dele. Clique numa barra para ver no catálogo os trabalhos que ela reúne.

ver os dados
Tabela de dados de O que o trabalho entrega
CategoriaTrabalhos
Diagnóstico138
Reflexão teórica129
Modelo68
Artefato49
Diretrizes34
Evidência de efeito19
ler a análise

Diagnóstico e reflexão teórica respondem por dois terços do que a revista publica. São os dois resultados que não exigem construir nada: um descreve o que se encontrou, o outro discute o que aquilo quer dizer.

Do outro lado, evidência de efeito aparece em dezenove trabalhos. É o resultado que exige comparação controlada, e ele acompanha de perto a raridade do experimento no painel anterior: o campo prescreve mais do que demonstra.

A prática ao longo do tempo

Os seis delineamentos mais frequentes, ano a ano. Uma distribuição sem tempo não diz se o campo mudou de prática ou se sempre foi assim.

  • Análise de corpus
  • Ensaio teórico
  • Pesquisa-ação ou projeto
  • Estudo de caso
  • Estudo com pessoas
  • Revisão
ver os dados
Tabela de dados de A prática ao longo do tempo
AnoAnálise de corpusEnsaio teóricoPesquisa-ação ou projetoEstudo de casoEstudo com pessoasRevisão
2004010020
2005011200
2006111000
2007233001
2008552000
2009255130
2010160201
2011265031
2012136250
2013505351
2014442216
20155610100
2016550313
2017328123
2018113234
20191294503
2020646330
2021725236
2022463623
2023633533
2024741444
2025536340
2026101101
ler a análise

O ensaio teórico domina a primeira década e cede espaço depois. Em seguida, a pesquisa-ação e o estudo com pessoas crescem na segunda, e é aí que a revista passa a receber trabalho de programa de pós-graduação em volume.

A análise de corpus atravessa a série inteira sem grande variação: é a prática mais estável do campo, e a que menos depende do arranjo institucional em volta.

Entretanto, os anos das pontas têm poucos trabalhos e oscilam muito, e por isso a leitura vale no meio da série.

Como esta camada foi lida

Cada resumo foi lido duas vezes sob a rubrica publicada em Sobre o projeto, por modelo de linguagem. A segunda leitura foi conduzida na ordem do título, e não na do identificador, para que a decisão viesse do resumo e não da vizinhança.

As duas leituras concordaram em 84,9% dos objetivos, 79,2% dos delineamentos e 85,4% dos resultados. Nos dois eixos de valor múltiplo a concordância exata é menor, porque exigir conjuntos idênticos é a medida mais dura possível; a sobreposição média entre eles fica em três quartos.

169 trabalhos tiveram divergência incompatível e passaram por uma terceira leitura, com as duas anteriores à vista. Onde a divergência era de detalhe, as duas leituras foram somadas: o que um juiz viu e o outro não é acréscimo, e não contradição.

O QUE ESTA CAMADA NÃO MEDE. A confiança de que se fala aqui é a da leitura, e não a do trabalho lido: ela diz o quanto o resumo explicitou o que a rubrica pedia, e um resumo lacônico baixa a confiança de um trabalho excelente. Do mesmo modo, a categoria de resultado é o tipo de contribuição, e não o mérito dela: diagnóstico não vale menos que evidência de efeito, e a rubrica não tem escala de qualidade em eixo nenhum.

Esta medida não é concordância entre juízes independentes. As duas passagens são releituras do mesmo leitor sob a mesma rubrica, e elas medem o quanto a rubrica é determinada, e não o quanto dois humanos concordariam. Uma amostra conferida por juiz humano está prevista e ainda não foi feita; até lá, os números acima devem ser lidos como limite superior.