Medir e situar
Os 437 trabalhos foram lidos em dois eixos, definidos de modo a separar a pergunta do desempenho da pergunta do lugar. O primeiro aborda a informação pela perspectiva do desempenho, e o segundo considera o lugar de onde se fala como parte do que investiga. O design da informação chegou ao Brasil com as pioneiras que voltaram da Universidade de Reading para a UFPE, em Recife, nos anos 1980 e 1990, trazendo consigo a pergunta pela eficácia. Aqui ele se desenvolveu: a SBDI é de 2002, o CIDI é bienal desde 2003, a revista saiu em 2004, e o campo foi adquirindo uma identidade situada, aderente ao território de que trata. Os dois eixos acompanham esse percurso ao longo de vinte e dois anos, e sessenta e cinco trabalhos fazem as duas coisas ao mesmo tempo.
Dos 437 trabalhos, 164 medem desempenho, por compreensão, legibilidade, tempo, erro ou adequação a critério, e 273 não medem. No outro eixo, 141 têm o território no material que estudam e 28 o tomam como questão epistemológica; os outros 268 não se situam. As duas coisas se cruzam: 65 trabalhos fazem as duas e 169 se dedicam a outra abordagem.
As duas tradições, janela a janela
Composição percentual dos quatro grupos, em janelas de três anos. Cada janela soma cem por cento; o número de trabalhos de cada uma está na tabela de dados.
- Só desempenho
- Os dois
- Só situado
- Outra abordagem
ver os dados
| Ano | Só desempenho | Os dois | Só situado | Outra abordagem |
|---|---|---|---|---|
| 2004-2006 | 27,3% | 9,1% | 18,2% | 45,4% |
| 2007-2009 | 14% | 15,8% | 22,8% | 47,4% |
| 2010-2012 | 25% | 16,7% | 12,5% | 45,8% |
| 2013-2015 | 34,9% | 12,7% | 17,5% | 34,9% |
| 2016-2018 | 28,1% | 8,8% | 17,5% | 45,6% |
| 2019-2021 | 21,2% | 20% | 27% | 31,8% |
| 2022-2024 | 15,8% | 15,8% | 32,9% | 35,5% |
| 2025-2026 | 17,2% | 13,8% | 41,4% | 27,6% |
ler a análise
O gráfico mostra duas coisas ao mesmo tempo, e é preciso separá-las.
A primeira: o grupo que só mede desempenho encolhe. Ele responde por mais de um terço dos trabalhos na janela de 2013 a 2015, e por menos de um quinto nas duas últimas. A segunda: o grupo que só se situa cresce, e na última janela é o maior de todos. As duas curvas se cruzam entre 2019 e 2021.
Contudo, o grupo que faz as duas coisas não some, e é isso que impede a leitura fácil de substituição. Avaliar se algo funciona e perguntar de onde se fala não são incompatíveis, e um sexto do acervo faz as duas. Muda qual das duas perguntas o campo faz quando faz uma só.
Optou-se por janela de três anos, visando afastar a oscilação da amostra. A revista publica cerca de vinte trabalhos por ano, e num gráfico anual um trabalho a mais moveria quatro pontos percentuais.
A posição cresce, e o objeto acompanha a revista desde 2004
Percentual dos trabalhos de cada janela em cada nível do eixo. O território como objeto é material brasileiro tratado com as categorias correntes; como posição é o território tomado como questão de conhecimento.
- Território como posição
- Território como objeto
- Não se situa
ver os dados
| Janela | Território como posição | Território como objeto | Não se situa |
|---|---|---|---|
| 2004-2006 | 4,6% | 22,7% | 72,7% |
| 2007-2009 | 3,5% | 35,1% | 61,4% |
| 2010-2012 | 2,1% | 27,1% | 70,8% |
| 2013-2015 | 1,6% | 28,6% | 69,8% |
| 2016-2018 | 5,3% | 21% | 73,7% |
| 2019-2021 | 5,9% | 41,2% | 52,9% |
| 2022-2024 | 13,2% | 35,5% | 51,3% |
| 2025-2026 | 17,3% | 37,9% | 44,8% |
ler a análise
Neste painel é justificada a razão de o eixo ter três níveis, e o resultado justifica a escolha: as duas curvas fazem coisas diferentes.
O território como objeto é encontrado na revista desde o começo, e não vai a lugar nenhum. Oscila entre um quinto e dois quintos dos trabalhos, sem tendência: é o que se espera de uma revista brasileira, cujos autores estudam a bula daqui, a sinalização daqui, a memória gráfica daqui.
Por outro lado, o território como posição é outra história. São um ou dois trabalhos por janela até 2018, e dez e cinco nas duas últimas, o que leva a fatia de menos de dois por cento a dezessete. É pequeno em número absoluto e inequívoco em direção.
Assim, com dois níveis as duas curvas apareceriam somadas, e a soma é quase plana. A tese decolonial afirma que o campo passou a pensar a partir do Brasil, e não apenas a estudá-lo, e é a curva de baixo que responde a isso.
A curva do desempenho tem forma de corcova
Percentual dos trabalhos de cada janela que medem desempenho, por qualquer medida de eficácia declarada.
- Mede desempenho
ver os dados
| Janela | Mede desempenho |
|---|---|
| 2004-2006 | 36,4% |
| 2007-2009 | 29,8% |
| 2010-2012 | 41,7% |
| 2013-2015 | 47,6% |
| 2016-2018 | 36,8% |
| 2019-2021 | 41,2% |
| 2022-2024 | 31,6% |
| 2025-2026 | 31% |
ler a análise
A tradição de avaliação não abre a revista dominando e não termina desaparecida. Ela sobe e chega ao ponto mais alto entre 2013 e 2015, quando quase metade dos trabalhos media alguma coisa. Desde então, desce até um terço.
Nesse sentido, a forma importa porque desfaz duas narrativas correntes. A primeira diz que o campo nasceu avaliando e vem perdendo rigor; a série mostra que a primeira década avaliava menos que a segunda. A segunda diz que a virada situada é recente e ainda não tocou a prática; a queda do desempenho começa antes de a posição crescer.
No eixo é medida a orientação, e não o método: vale a pergunta que governa o trabalho, e não o instrumento que ele usou. Um artigo que traz a psicologia cognitiva para melhorar instruções e termina dizendo que ainda falta um teste com usuários está aqui dentro, porque a pergunta dele é a de Reading. Para isso, existe a camada da anatomia, que diz quem avaliou, com quem e como.
Quantos trabalhos em cada valor
Um valor por trabalho em cada eixo. Clique numa barra para ver no catálogo os trabalhos que a compõem.
ver os dados
| Valor | Trabalhos |
|---|---|
| Mede desempenho | 164 |
| Não mede desempenho | 273 |
| Território como posição | 28 |
| Território como objeto | 141 |
| Não se situa | 268 |
ler a análise
O conjunto inteiro, sem o tempo. Serve para conferir as fatias dos gráficos acima e para chegar aos trabalhos: cada barra é um recorte do catálogo.
Vinte e oito trabalhos em vinte e dois anos é o tamanho real do grupo em que o território é tomado como questão. É pouco em número. Ainda, é o suficiente para uma tendência, dado que quase todos estão nos últimos seis anos.
A posição e a língua em que se publica
Percentual dos trabalhos de cada língua que tomam o território como posição. O recorte de 2019 em diante é onde as duas línguas convivem na revista.
ver os dados
| Valor | Com posição | Quantos de quantos |
|---|---|---|
| Inglês, de 2019 em diante | 16% | 11 de 70 |
| Inglês, todo o período | 13% | 12 de 92 |
| Português, de 2019 em diante | 8% | 9 de 116 |
| Português, todo o período | 5% | 16 de 336 |
ler a análise
Este painel existe porque a curva da posição sobe na mesma janela em que a revista se internacionaliza. Os números especiais em inglês começam em 2019, a submissão passa a ser só em inglês em 2025, e é aí que a posição sai de seis por cento para treze e dezessete.
Duas leituras cabem no mesmo dado. Uma diz que o campo se voltou para a pesquisa situada. A outra diz que a revista buscou ressonância fora, onde abordagem decolonial e pluriversal circula bem, e passou a atrair esse tipo de trabalho.
O cruzamento não decide entre as duas. Em seguida, mede-se a distância: na mesma janela de anos, o trabalho publicado em inglês toma o território como posição ao dobro da taxa do publicado em português. Os nove trabalhos em espanhol, todos de 2019, não trazem nenhum, e por isso ficam de fora do gráfico.
A conclusão daqui é modesta e vale escrever. Parte do que a curva da posição mostra pode ser o que a política editorial passou a atrair, e por isso a leitura da seção precisa ser feita com essa ressalva.
Como esta camada foi lida
Cada trabalho foi lido duas vezes, por modelo de linguagem, sob a rubrica publicada em Procedimentos. A segunda passagem foi feita em ordem inversa, por um leitor sem acesso ao arquivo da primeira. Esse leitor escreveu as fronteiras difíceis antes de qualquer comparação, e daí vieram as quatro convenções que fecharam a rubrica. Onde as duas divergiam, uma terceira leitura decidiu sob essas convenções.
As duas passagens coincidiram em 90,6% no eixo do desempenho e em 77,6% nos três níveis do eixo situado; colapsando os três níveis em sim ou não, em 81,2%. 127 trabalhos foram ao desempate. Este número não é concordância entre juízes independentes no sentido usual. As duas passagens são do mesmo modelo, aplicado sob a mesma rubrica, e mede-se quanto da classificação o texto determina e quanto sobra para quem lê.
A diferença entre os dois eixos é o achado metodológico: a rubrica bastava para decidir se um trabalho mede, e não bastava para decidir onde termina o objeto e começa a posição. Esse é o eixo mais interpretativo de toda a plataforma, e o número está aqui para que ele seja lido como tal.