Pular para o conteúdo

Medir e situar

Os 437 trabalhos foram lidos em dois eixos, definidos de modo a separar a pergunta do desempenho da pergunta do lugar. O primeiro aborda a informação pela perspectiva do desempenho, e o segundo considera o lugar de onde se fala como parte do que investiga. O design da informação chegou ao Brasil com as pioneiras que voltaram da Universidade de Reading para a UFPE, em Recife, nos anos 1980 e 1990, trazendo consigo a pergunta pela eficácia. Aqui ele se desenvolveu: a SBDI é de 2002, o CIDI é bienal desde 2003, a revista saiu em 2004, e o campo foi adquirindo uma identidade situada, aderente ao território de que trata. Os dois eixos acompanham esse percurso ao longo de vinte e dois anos, e sessenta e cinco trabalhos fazem as duas coisas ao mesmo tempo.

Dos 437 trabalhos, 164 medem desempenho, por compreensão, legibilidade, tempo, erro ou adequação a critério, e 273 não medem. No outro eixo, 141 têm o território no material que estudam e 28 o tomam como questão epistemológica; os outros 268 não se situam. As duas coisas se cruzam: 65 trabalhos fazem as duas e 169 se dedicam a outra abordagem.

As duas tradições, janela a janela

Composição percentual dos quatro grupos, em janelas de três anos. Cada janela soma cem por cento; o número de trabalhos de cada uma está na tabela de dados.

  • Só desempenho
  • Os dois
  • Só situado
  • Outra abordagem
ver os dados
Tabela de dados de As duas tradições, janela a janela
AnoSó desempenhoOs doisSó situadoOutra abordagem
2004-200627,3%9,1%18,2%45,4%
2007-200914%15,8%22,8%47,4%
2010-201225%16,7%12,5%45,8%
2013-201534,9%12,7%17,5%34,9%
2016-201828,1%8,8%17,5%45,6%
2019-202121,2%20%27%31,8%
2022-202415,8%15,8%32,9%35,5%
2025-202617,2%13,8%41,4%27,6%
ler a análise

O gráfico mostra duas coisas ao mesmo tempo, e é preciso separá-las.

A primeira: o grupo que só mede desempenho encolhe. Ele responde por mais de um terço dos trabalhos na janela de 2013 a 2015, e por menos de um quinto nas duas últimas. A segunda: o grupo que só se situa cresce, e na última janela é o maior de todos. As duas curvas se cruzam entre 2019 e 2021.

Contudo, o grupo que faz as duas coisas não some, e é isso que impede a leitura fácil de substituição. Avaliar se algo funciona e perguntar de onde se fala não são incompatíveis, e um sexto do acervo faz as duas. Muda qual das duas perguntas o campo faz quando faz uma só.

Optou-se por janela de três anos, visando afastar a oscilação da amostra. A revista publica cerca de vinte trabalhos por ano, e num gráfico anual um trabalho a mais moveria quatro pontos percentuais.

A posição cresce, e o objeto acompanha a revista desde 2004

Percentual dos trabalhos de cada janela em cada nível do eixo. O território como objeto é material brasileiro tratado com as categorias correntes; como posição é o território tomado como questão de conhecimento.

  • Território como posição
  • Território como objeto
  • Não se situa
ver os dados
Tabela de dados de A posição cresce, e o objeto acompanha a revista desde 2004
JanelaTerritório como posiçãoTerritório como objetoNão se situa
2004-20064,6%22,7%72,7%
2007-20093,5%35,1%61,4%
2010-20122,1%27,1%70,8%
2013-20151,6%28,6%69,8%
2016-20185,3%21%73,7%
2019-20215,9%41,2%52,9%
2022-202413,2%35,5%51,3%
2025-202617,3%37,9%44,8%
ler a análise

Neste painel é justificada a razão de o eixo ter três níveis, e o resultado justifica a escolha: as duas curvas fazem coisas diferentes.

O território como objeto é encontrado na revista desde o começo, e não vai a lugar nenhum. Oscila entre um quinto e dois quintos dos trabalhos, sem tendência: é o que se espera de uma revista brasileira, cujos autores estudam a bula daqui, a sinalização daqui, a memória gráfica daqui.

Por outro lado, o território como posição é outra história. São um ou dois trabalhos por janela até 2018, e dez e cinco nas duas últimas, o que leva a fatia de menos de dois por cento a dezessete. É pequeno em número absoluto e inequívoco em direção.

Assim, com dois níveis as duas curvas apareceriam somadas, e a soma é quase plana. A tese decolonial afirma que o campo passou a pensar a partir do Brasil, e não apenas a estudá-lo, e é a curva de baixo que responde a isso.

A curva do desempenho tem forma de corcova

Percentual dos trabalhos de cada janela que medem desempenho, por qualquer medida de eficácia declarada.

  • Mede desempenho
ver os dados
Tabela de dados de A curva do desempenho tem forma de corcova
JanelaMede desempenho
2004-200636,4%
2007-200929,8%
2010-201241,7%
2013-201547,6%
2016-201836,8%
2019-202141,2%
2022-202431,6%
2025-202631%
ler a análise

A tradição de avaliação não abre a revista dominando e não termina desaparecida. Ela sobe e chega ao ponto mais alto entre 2013 e 2015, quando quase metade dos trabalhos media alguma coisa. Desde então, desce até um terço.

Nesse sentido, a forma importa porque desfaz duas narrativas correntes. A primeira diz que o campo nasceu avaliando e vem perdendo rigor; a série mostra que a primeira década avaliava menos que a segunda. A segunda diz que a virada situada é recente e ainda não tocou a prática; a queda do desempenho começa antes de a posição crescer.

No eixo é medida a orientação, e não o método: vale a pergunta que governa o trabalho, e não o instrumento que ele usou. Um artigo que traz a psicologia cognitiva para melhorar instruções e termina dizendo que ainda falta um teste com usuários está aqui dentro, porque a pergunta dele é a de Reading. Para isso, existe a camada da anatomia, que diz quem avaliou, com quem e como.

Quantos trabalhos em cada valor

Um valor por trabalho em cada eixo. Clique numa barra para ver no catálogo os trabalhos que a compõem.

ver os dados
Tabela de dados de Quantos trabalhos em cada valor
ValorTrabalhos
Mede desempenho164
Não mede desempenho273
Território como posição28
Território como objeto141
Não se situa268
ler a análise

O conjunto inteiro, sem o tempo. Serve para conferir as fatias dos gráficos acima e para chegar aos trabalhos: cada barra é um recorte do catálogo.

Vinte e oito trabalhos em vinte e dois anos é o tamanho real do grupo em que o território é tomado como questão. É pouco em número. Ainda, é o suficiente para uma tendência, dado que quase todos estão nos últimos seis anos.

A posição e a língua em que se publica

Percentual dos trabalhos de cada língua que tomam o território como posição. O recorte de 2019 em diante é onde as duas línguas convivem na revista.

ver os dados
Tabela de dados de A posição e a língua em que se publica
ValorCom posiçãoQuantos de quantos
Inglês, de 2019 em diante16%11 de 70
Inglês, todo o período13%12 de 92
Português, de 2019 em diante8%9 de 116
Português, todo o período5%16 de 336
ler a análise

Este painel existe porque a curva da posição sobe na mesma janela em que a revista se internacionaliza. Os números especiais em inglês começam em 2019, a submissão passa a ser só em inglês em 2025, e é aí que a posição sai de seis por cento para treze e dezessete.

Duas leituras cabem no mesmo dado. Uma diz que o campo se voltou para a pesquisa situada. A outra diz que a revista buscou ressonância fora, onde abordagem decolonial e pluriversal circula bem, e passou a atrair esse tipo de trabalho.

O cruzamento não decide entre as duas. Em seguida, mede-se a distância: na mesma janela de anos, o trabalho publicado em inglês toma o território como posição ao dobro da taxa do publicado em português. Os nove trabalhos em espanhol, todos de 2019, não trazem nenhum, e por isso ficam de fora do gráfico.

A conclusão daqui é modesta e vale escrever. Parte do que a curva da posição mostra pode ser o que a política editorial passou a atrair, e por isso a leitura da seção precisa ser feita com essa ressalva.

Como esta camada foi lida

Cada trabalho foi lido duas vezes, por modelo de linguagem, sob a rubrica publicada em Procedimentos. A segunda passagem foi feita em ordem inversa, por um leitor sem acesso ao arquivo da primeira. Esse leitor escreveu as fronteiras difíceis antes de qualquer comparação, e daí vieram as quatro convenções que fecharam a rubrica. Onde as duas divergiam, uma terceira leitura decidiu sob essas convenções.

As duas passagens coincidiram em 90,6% no eixo do desempenho e em 77,6% nos três níveis do eixo situado; colapsando os três níveis em sim ou não, em 81,2%. 127 trabalhos foram ao desempate. Este número não é concordância entre juízes independentes no sentido usual. As duas passagens são do mesmo modelo, aplicado sob a mesma rubrica, e mede-se quanto da classificação o texto determina e quanto sobra para quem lê.

A diferença entre os dois eixos é o achado metodológico: a rubrica bastava para decidir se um trabalho mede, e não bastava para decidir onde termina o objeto e começa a posição. Esse é o eixo mais interpretativo de toda a plataforma, e o número está aqui para que ele seja lido como tal.