Procedimentos

Reúne as regras de decisão que governam a leitura dos 437 trabalhos, visando que dois juízes decidam igual. Sem isto, a diferença entre juízes vira variação no resultado, e a variação parece achado.

Cada trabalho recebe uma linha:

ArticleID | objetivo | objetivos | delineamento | resultado | procedimentos | confiança

objetivos e procedimentos aceitam vários separados por vírgula, ou vazio. Qualquer valor fora do vocabulário é recusado na gravação.

Assim, lê-se o resumo, e o título quando o resumo falta. Não se lê o texto integral: a classificação recai sobre o que o trabalho declara de si, e o resumo é onde ele declara.

O que a seção declarada já resolve

A InfoDesign publica cinco seções, e três delas são gênero, e não desenho de pesquisa. Trabalho de seção Review, Interview ou Point of View recebe o delineamento correspondente sem exame: resenha, entrevista, posicionamento. Os outros três eixos continuam sendo lidos, porque uma resenha ainda tem objetivo e resultado.

A entrevista é a exceção: ela também recebe o objetivo sem exame, registrar depoimento, porque a seção inteira tem um propósito só, que é dar a palavra a um pesquisador reconhecido do campo. Sem isso, as entrevistas antigas cairiam em não identificado por trazerem a biografia do entrevistado no lugar do resumo, e o censo registraria como ausência o que é a natureza da seção.

Só as seções Articles e Undergraduate Research passam pela decisão de delineamento.

Objetivo: o que o trabalho se propõe a fazer

descrever · avaliar · comparar · revisar · conceituar · propor método · propor artefato · relatar experiência · registrar depoimento · não identificado

Decide-se pelo verbo dominante do resumo, não pelo título.

• descrever é o padrão quando o trabalho caracteriza um objeto ou um conjunto sem julgar adequação. "Analisar as características de", "mapear", "traçar um panorama".
• avaliar exige critério declarado contra o qual algo é medido: heurísticas, norma técnica, teste de compreensão, checklist. Se o resumo diz o que é bom e o que é ruim segundo uma régua, é avaliar, e não descrever.
• comparar só quando a comparação é o objetivo, e não um passo. Dois ou mais objetos postos lado a lado por desenho da pesquisa.
• revisar quando o objeto é a literatura. Revisão sistemática, panorama de artigos publicados, estado da arte.
• conceituar quando o trabalho discute uma noção sem objeto empírico próprio: propõe articulação teórica, aproxima dois campos, discute o que uma palavra significa.
• propor método entrega um procedimento, um protocolo, uma ficha, uma matriz de análise, uma metodologia de projeto ou de ensino.
• propor artefato entrega uma coisa: livro, cartilha, aplicativo, jogo, sinalização, fonte, infográfico, plataforma.
• relatar experiência quando o trabalho conta o que foi feito, e o valor está no relato. Típico de experiência didática e de extensão.
• registrar depoimento quando o propósito é recolher e publicar a fala de um pesquisador reconhecido do campo. É o objetivo de toda entrevista da revista, e vem da seção declarada.

Fronteira frequente: propor artefato contra relatar experiência. Se o resumo se organiza em torno do objeto entregue, é propor artefato; se se organiza em torno do processo vivido e do que se aprendeu com ele, é relatar experiência. Uma disciplina em que os alunos projetaram algo é relatar experiência; um projeto que resultou num livro é propor artefato.

O principal e os declarados

Propor um método e relatar a experiência de aplicá-lo são coisas distintas, e um trabalho que faz as duas não deve aparecer fazendo só uma. Por isso o eixo tem dois campos.

objetivo é o principal, escolha única, e é ele que compõe a distribuição: sem um principal, a soma dos objetivos passa de cem por cento e a leitura do conjunto deixa de ser uma repartição.

objetivos recebe todos os que o resumo declara, inclusive o principal, separados por vírgula. É onde o trabalho que propõe e relata aparece inteiro, e é o que permite ler as combinações: quantos propõem e avaliam, quantos revisam para propor, quantos relatam uma aplicação de método próprio.

Só entra em objetivos o que o resumo declara como propósito, e não o que ele faz de passagem. Um trabalho que propõe um método e diz que o validou declara dois; um que propõe um método e menciona ter lido bibliografia declara um.

Qual é o principal. É o que a entrega do trabalho responde. Um trabalho que propõe e avalia o que propôs tem propor como principal, e a avaliação entra em objetivos e no resultado. Um trabalho que revisa para fundamentar uma proposta tem propor como principal: revisar é o principal quando a revisão é o produto. Um relato de aplicação de um método já publicado tem relatar experiência como principal, ainda que o método apareça descrito.

Delineamento: como foi conduzido

estudo com pessoas · análise de corpus · estudo de caso · experimento · pesquisa-ação ou projeto · revisão · ensaio teórico · relato de prática · resenha · entrevista · posicionamento · não identificado

• análise de corpus quando há um conjunto de artefatos analisados por um protocolo: 40 embalagens, 25 infográficos, sete capas, os rótulos de uma coleção.
• estudo de caso quando o objeto é um só e é tratado em profundidade: um jogo, um hospital, uma revista, um sistema, uma empresa.
• estudo com pessoas quando há participantes e a coleta é neles: entrevista, questionário, grupo focal, teste de compreensão, observação de uso. Sem manipulação de variável.
• experimento exige condições comparadas ou manipulação deliberada: dois layouts contra o mesmo texto, três grupos, antes e depois. Se o resumo diz "experimento" mas descreve apenas aplicação com usuários sem condições contrastadas, é estudo com pessoas.
• pesquisa-ação ou projeto quando alguma coisa está sendo efetivamente projetada ou construída, e a pesquisa acompanha essa construção. É o par natural de propor artefato. Não use para trabalho que só analisa e recomenda: levantar amostras e formular recomendações é análise de corpus ou revisão, conforme o que foi levantado.
• relato de prática quando não há desenho de pesquisa, e sim a narrativa do que foi feito. Par natural de relatar experiência, sobretudo em ensino e extensão.
• revisão quando o corpus é a literatura.
• ensaio teórico quando não há coleta: o trabalho argumenta a partir de bibliografia.
• resenha, entrevista e posicionamento vêm da seção declarada, e não de exame do resumo.

Fronteira frequente: estudo com pessoas contra estudo de caso. No campo, estudo com pessoas é lido como um tipo de estudo de caso, e as duas etiquetas se sobrepõem em quase todo trabalho empírico. A precedência é do recorte: havendo um contexto único e delimitado onde a coleta acontece, uma escola, um hospital, uma turma, uma empresa, o delineamento é estudo de caso, e as técnicas usadas com os participantes vão para procedimentos. estudo com pessoas fica para a coleta que não se prende a um caso: amostra de usuários recrutada em vários contextos, questionário aberto ao público, painel de especialistas.

Fronteira frequente: dois ou três artefatos analisados. Até três objetos tratados um a um com profundidade é estudo de caso; a partir daí, com protocolo aplicado em série, é análise de corpus.

Fronteira frequente: ensaio teórico contra posicionamento. O gênero manda. Um ensaio publicado em Articles é ensaio teórico; o mesmo texto em Point of View é posicionamento. Assim, a distinção se faz pelo lugar em que o texto sai, e esse lugar é declarado.

Resultado: o que fica ao final

artefato · diretrizes · modelo · diagnóstico · evidência de efeito · reflexão teórica · não identificado

• diagnóstico é o resultado de quem descreve ou avalia: o estado de alguma coisa.
• evidência de efeito só quando há efeito medido contra alguma comparação: dois materiais, dois grupos, antes e depois, ou desempenho contra um critério numérico. Não basta dizer que os usuários gostaram, nem que o material foi testado, nem que houve aplicação com participantes. Piloto, estudo em andamento e "resultados preliminares" não são evidência de efeito: são diagnóstico. Esta é a categoria que mais tende a ser atribuída em excesso, e o excesso desmente a leitura que o observatório faz do campo.
• modelo é procedimento, matriz, taxonomia, protocolo, ficha, fluxo.
• diretrizes é lista de recomendações para quem for projetar.
• artefato é a coisa entregue, inclusive protótipo validado.
• reflexão teórica é o resultado do ensaio, da resenha, da entrevista e de boa parte dos relatos.

Procedimentos: o que foi efetivamente feito

entrevista · questionário · grupo focal · observação · teste de usabilidade · rastreamento ocular · análise documental · análise gráfica · análise de conteúdo · prototipação · oficina · cocriação · bibliometria · análise estatística · etnografia · não identificado

Só o que o resumo declara, com estas palavras ou com sinônimo evidente. Não infira procedimento a partir do tema: um trabalho sobre usabilidade cuja metodologia declarada é revisão bibliográfica recebe análise documental, e não teste de usabilidade. Vazio é resposta legítima e preferível a inventar. Na dúvida sobre um procedimento, omita-o.

Convenções firmadas:

• avaliação heurística e inspeção de interface entram como teste de usabilidade, ainda que não haja usuário, por falta de termo melhor no vocabulário.
• revisão bibliográfica e levantamento em bases entram como análise documental; bibliometria fica reservado a quem conta e mede a produção.
• análise de imagem, de layout, de tipografia e de artefato gráfico entram como análise gráfica.
• análise de discurso e de conteúdo textual entram como análise de conteúdo.
• teste de compreensão de pictograma ou de material: questionário, e análise gráfica quando o artefato também é analisado.

Confiança

alta quando o resumo diz claramente objetivo, condução e resultado.

média quando uma das três precisou de inferência, ou quando o resumo é de pesquisa em andamento e anuncia mais do que entrega.

baixa quando a classificação saiu do título por falta de resumo, ou quando o resumo é divagação sem método declarado. Marcar baixa é preferível a deixar de classificar: mantém o censo completo e deixa o caso rastreável.

Exemplos julgados, para calibrar

Dez trabalhos reais do acervo, decididos na rodada de calibração, um por tipo de decisão difícil. Valem como referência: um caso novo que se pareça com um destes recebe o mesmo rótulo.

O caso 1296 é o que fixa a leitura de objetivo duplo: o trabalho sintetiza o método que o autor vinha construindo e relata a trajetória de aplicá-lo. O principal é propor método, porque é o que ele entrega, e relatar experiência entra em objetivos, onde fica visível.

O caso 224 é o que fixa a precedência entre estudo com pessoas e estudo de caso: o trabalho propõe uma metodologia de testes e a valida com crianças surdas numa escola. Recebe estudo com pessoas, porque é de pessoas que vêm os dados, e o contexto único não basta para fazer dele um estudo de caso.

Convenções de delineamento firmadas no desempate

Os dois juízes divergiram sobretudo no delineamento, e quase sempre nas mesmas quatro fronteiras. Elas ficam declaradas aqui, e passam a valer antes do juízo:

1. De onde vêm os dados decide primeiro. Se a coleta é com pessoas, seja entrevista, questionário, teste ou observação de uso, o delineamento é estudo com pessoas, ainda que o contexto seja um só. estudo de caso fica para o objeto único examinado sem coleta com pessoas. 2. Quem desenvolve, projeta. Se o trabalho constrói, adapta ou valida um artefato, um sistema ou uma metodologia, é pesquisa-ação ou projeto, mesmo que a construção aconteça num contexto único. 3. Corpus é conjunto reunido para comparar. Três filmes, dezessete capas, cem rótulos: análise de corpus. Um objeto examinado por dentro: estudo de caso. ensaio teórico só quando não há material examinado, e sim argumento sobre literatura. 4. Revisão é método declarado. revisão quando o trabalho declara revisão sistemática, integrativa, de escopo ou levantamento em bases como o seu procedimento. Bibliografia usada como base de argumento é ensaio teórico.

No resultado, a fronteira que mais exigiu decisão é a de diagnóstico contra reflexão teórica: vale diagnóstico quando a conclusão é sobre o material examinado, e reflexão teórica quando ela é sobre o campo ou sobre o conceito.

Resultado da aplicação

Os 437 trabalhos foram lidos duas vezes sob esta régua, e a segunda passagem leu na ordem do título, e não na do identificador, para que a decisão viesse do resumo e não da vizinhança.

A primeira metade da passagem B foi descartada. Ela havia sido feita com a passagem A à vista, e por isso concordava com ela em 100% dos 214 trabalhos; uma medida que não mede nada. Aqueles 214 foram relidos sem acesso à primeira leitura, no mesmo estado em que os demais tinham sido lidos, e é essa releitura que entra na conta abaixo. O arquivo descartado ficou guardado em anatomia_passe_b_contaminada.csv, para que a decisão possa ser conferida.

Concordância entre as duas passagens, nos 437 trabalhos:

Nos dois eixos de valor múltiplo a concordância exata é a medida mais dura possível, e por isso vem acompanhada do Jaccard: em três quartos dos casos os dois juízes escreveram conjuntos que se sobrepõem, e a diferença entre eles está em quantos rótulos cada um achou que cabiam.

169 trabalhos tiveram divergência dura, ou seja, valores incompatíveis num eixo de valor único, ou conjuntos sem nenhum valor em comum num eixo múltiplo. Por isso, esses passaram pela passagem C, que leu o resumo com as duas leituras à vista. Em seguida, os demais 136 trabalhos que divergiram divergiram por detalhe, e foram consolidados por união: onde um juiz viu um procedimento a mais, ele entra; onde um escreveu não identificado e o outro nomeou, vale quem nomeou.

Duas fontes de divergência não eram juízo, e viraram regra em vez de desempate: a resenha tem revisar por objetivo, por definição do gênero, e a entrevista tem entrevista por procedimento. Fixá-las tirou 60 divergências da fila sem que ninguém tivesse de decidir nada.

Distribuição de confiança no resultado consolidado: alta em 321, média em 115, baixa em 1.

O que esta medida não é

Contudo, ela não é concordância entre juízes independentes; trata-se de outra medida. As duas passagens são releituras do mesmo leitor sob a mesma régua, separadas pela ordem de leitura e pela ausência da primeira decisão à vista. Assim, elas medem o quanto a régua é determinada: quanto de uma classificação vem do instrumento e quanto vem de quem o aplica.

Uma medida de concordância entre juízes exige um segundo leitor humano, e ela está prevista numa amostra de 40 trabalhos, ainda a fazer. Até lá, os números acima devem ser lidos como limite superior: dois leitores diferentes concordariam menos.

A busca por padrão foi corrida sobre os 435 textos integrais, de modo a reunir as 325 sentenças candidatas a definir design da informação. A busca acha; o julgamento decide, e ele foi feito por modelo de linguagem, em duas passagens independentes com desempate, no mesmo arranjo da anatomia, e descrito ao pé desta régua. Assim, cada candidata recebe uma linha:

ArticleID | sim|não | fonte | enfoque

não descarta, e, no entanto, as duas últimas colunas são deixadas vazias.

A fila é ordenada por sinal, que é a distância entre o nome do campo e o predicado que vem depois dele. São 86 de sinal forte, 39 medio e 200 fraco. O sinal não decide nada: ele só põe na frente o que rende, para que a régua chegue calibrada às últimas.

Primeiro: é definição?

sim só quando a sentença diz o que design da informação é ou faz, em enunciado próprio. Marque não para:

• Menção sem definição. É o descarte mais comum. "Este artigo aplica o design da informação a rótulos de medicamentos" cita o campo, não o define. Também: "Por outro lado, campanhas de interesse coletivo são puro Design de Informação, essenciais para a cidadania"; afirma sobre um objeto, e não sobre o campo.
• Nome de coisa que contém o nome do campo. Título de livro, de congresso, de grupo de pesquisa, de linha de pós-graduação, de revista. Exemplos que apareceram: "Una Introducción al Diseño de la Información é um livro que todos os designers deviam ter conhecimento"; "o 1º Congresso Internacional em Design da Informação"; "integra a linha de pesquisa em design da informação". Por isso, a definição ali recai sobre o livro, o congresso, a linha.
• Definição de outra coisa. A sentença define infografia, ergonomia, usabilidade, visualização de dados, e o design da informação aparece de passagem.
• Frase de rosto, cabeçalho ou nota de autoria. "Sobre as autoras", filiação, título de seção, resumo de currículo.
• Linha de palavras-chave emendada na frase seguinte. Reconhece-se pelo começo: uma lista de termos separados por vírgula, sem verbo, e só então uma frase.
• Fragmento truncado que não permite ler o que se afirma, e resíduo de extração com número de página no meio (|59|).
• Opinião sobre o campo que não o define. "I think that information design is an important area of visual communication design" afirma o valor, e não o conteúdo. Este é o caso de fronteira mais difícil; veja abaixo.

Na dúvida entre menção e definição, marque não. Um falso positivo contamina a leitura do campo; um falso negativo apenas deixa de somar.

Fronteira frequente: valorar contra definir. Se a sentença pode ser trocada por "o design da informação é importante" sem perder conteúdo, é valoração, e vai para não. Se, tirada a valoração, sobra uma afirmação sobre o que o campo faz ou de que se ocupa, é definição. "O design da informação ainda adota como base o paradigma moderno de transparência" fica em não: diz do estado do campo num momento, e não do que ele é. A idade também não define: "é uma área relativamente nova", sozinho, é não; mas atenção, porque a frase costuma continuar, e o que vem depois pode definir.

Segundo: de quem é a definição?

• própria quando os autores enunciam por conta, sem atribuir.
• Sobrenome do autor citado quando a sentença atribui: Pettersson, Frascara, Twyman, Horn, Redig, Bonsiepe. Use só o sobrenome, sem ano nem iniciais.
• Havendo dois autores, escreva os dois: Wildbur e Burke.
• Se a atribuição for a uma entidade, use o nome dela: IIID, SBDI.
• A atribuição vale mesmo quando indireta: "Sue Walker (2007) afirma que o design da informação é uma atividade que…" recebe Walker.

Terceiro: qual o enfoque?

Um só, o dominante.

Fronteira frequente: funcional contra cognitiva. Se a ênfase está no que a mensagem faz, é funcional; se está no que acontece na cabeça de quem lê, é cognitiva. "Apresentar a informação de forma clara e objetiva" é funcional; "reduzir o esforço de compreensão" é cognitiva.

projetual é para quando o objeto da definição é a atividade, e não a mensagem: "O Design da Informação é a área do conhecimento que lida com a transferência de dados complexos para representações que visam comunicar" tem os dois lados, e decide-se pelo que governa a frase; aqui, pela transferência e pela representação, é projetual.

disciplinar quando a frase se ocupa de onde o campo fica no mapa do conhecimento: "The study of information design is a multi-disciplinary, multi-dimensional and worldwide consideration."

Convenções firmadas

Esta seção é escrita durante a aplicação, e recebe as decisões que se repetirem. Fica aqui, e não na cabeça de quem julgou. As seis abaixo saíram do desempate: cada uma resolve uma família inteira de divergências, e não um caso.

1. O predicado principal. O campo tem de ser aquilo de que a sentença fala, e não uma caracterização que viaja de carona. "É o caso do design da informação, cujas atividades tratam da comunicação visual" vai para não: o predicado é "é o caso de", e a definição está na oração relativa. Já "o design de informação pode ser considerado um recurso para apresentar conteúdos" é sim, porque o campo é o sujeito do que se afirma.

2. Premissa contra achado. A definição vale mesmo quando vem amarrada ao domínio do estudo, desde que enunciada como princípio: "parte-se do princípio de que o design de informação é um mediador para o uso de ambientes urbanos" é sim. Não vale quando o que se enuncia é o resultado daquele estudo naquele domínio: "destaca-se o papel do Design da Informação como mediador da acessibilidade no transporte público" é não.

3. funcional contra projetual: o que governa a frase. Quase toda definição nomeia um ato e um fim, ou seja, organizar para comunicar, configurar para satisfazer. Nesse caso, a oração de finalidade não decide; decide o que governa a frase. "A transferência de dados complexos para representações que visam comunicar" é projetual, porque o que se afirma é a transferência. Ainda, o enfoque só é funcional quando o ato não aparece, e a sentença fala da clareza, a eficiência ou o cumprimento da tarefa.

4. Mais de uma fonte na mesma sentença. Vão todas, na ordem em que aparecem, separadas por ponto e vírgula: IIID; Pettersson. A contagem por fonte separa depois. Autores de uma mesma obra continuam juntos por "e": Erlhoff e Marshall.

5. Atribuição sem nome legível. Quando a sentença atribui mas o nome ficou fora dela , seja por anáfora ("Para o autor, …"), seja por corte da extração ("(2013) approach …"), a fonte é não identificado. própria é para quem enuncia por conta, e usá-la aqui inventaria uma autoria.

6. Definição de vizinho não conta. Quando a sentença define information interaction design, infografia ou usabilidade, e o design da informação entra como uma das partes, o registro é não, ainda que a frase seja informativa sobre o campo.

Resultado da aplicação

Como foi julgado

As 325 candidatas foram lidas duas vezes, por modelo de linguagem, sob esta régua.

• Passagem A, na ordem do arquivo, do sinal forte ao fraco.
• Passagem B, em ordem inversa, por um segundo leitor que não teve acesso a A: nem ao arquivo da passagem A, nem ao consolidado, nem a qualquer relato do que A havia decidido. A separação é a condição da medida, e sem ela ela não vale nada.
• Passagem C, o desempate, feita com as duas à vista. Onde a divergência se repetia, a decisão virou regra na seção acima, e a regra foi aplicada à família toda.

O que as duas passagens concordaram

O desempate confirmou B em 28 casos e A em 10. A maior família de divergência foi funcional contra projetual, com dez casos, todos foram resolvidos pela convenção 3, que é o que a régua já dizia, e a passagem A é que havia derivado dela.

Isto não é concordância entre juízes independentes no sentido usual. As duas passagens são do mesmo modelo, sob a mesma régua, e a medida diz quanto desta régua é determinado pelo texto e quanto sobra para o leitor. Um número comparável com a literatura exigiria uma segunda pessoa lendo uma amostra às cegas, e essa leitura não foi feita.

Uma nota sobre o trecho que se publica

A janela da extração às vezes atravessa uma quebra de seção e traz a frase anterior colada na candidata, com o cabeçalho no meio: "…oswaldiana. 1 Introduction Information design is…". O julgamento foi feito sobre a janela inteira, e é ela que fica gravada no CSV. Na exibição, o trecho é aparado quando o nome do campo aparece só depois do cabeçalho, o que prova que a parte de cima é de outro assunto, em nove dos oitenta e cinco. Nos seis casos em que o nome aparece dos dois lados, nada se corta: ali decidir qual metade é a definição seria decidir por conta, e o leitor vê a janela como ela veio.

O que ficou

• 85 definições, em 45 dos 437 trabalhos.
• 240 candidatas descartadas: menção, nome de coisa, definição de vizinho, valoração, fragmento truncado.
• Enfoque: projetual 31, funcional 27, disciplinar 13, sociotécnica 7, cognitiva 6, crítica 1.
• Fonte: própria 41, e depois Pettersson 9, Horn 7, SBDI 5, IIID 5, Frascara 3. Duas ficaram em não identificado.

Reúne as regras que governam a leitura dos 437 trabalhos em dois eixos, visando que dois juízes decidam igual. Elas foram escritas antes da leitura, e não durante ela. A pergunta que ela responde é se a pesquisa da revista mede se a informação cumpre a função dela, e se ela toma o lugar de onde fala como parte do que investiga.

A leitura é feita em duas passagens independentes sob régua escrita antes, de modo a separar o que vem do instrumento do que vem de quem o aplica, com desempate registrado, e alcança os 437 trabalhos até 2026, incluindo os anos em que a revista passou a publicar só em inglês.

Cada trabalho recebe uma linha:

ArticleID | desempenho | situado | evidencia

evidencia é o trecho do resumo que sustentou a decisão, e não é opcional: sem ele a classificação não pode ser conferida.

Assim, a leitura é do resumo, e do título e das palavras-chave quando o resumo falta. O texto integral não é lido, pela mesma razão declarada na régua da anatomia: a classificação recai sobre o que o trabalho declara de si, e o resumo é onde ele declara. Um trabalho cuja posição só aparece na conclusão não a declarou; ele a deixou implícita, e implícito não se conta.

Primeiro eixo: o trabalho mede desempenho?

Valores: sim ou não.

sim quando o trabalho avalia se uma solução funciona, por qualquer medida de eficácia: compreensão, legibilidade, tempo, erro, preferência, satisfação, usabilidade, acessibilidade verificada. É a tradição que as pioneiras trouxeram de Reading, e ela se define pela pergunta que faz: isto cumpre o que se propõe?

São incluídos:

• Teste com pessoas para medir compreensão, uso ou preferência.
• Comparação entre duas ou mais soluções para dizer qual funciona melhor.
• Avaliação de artefato existente contra critério declarado: norma, diretriz, heurística.
• Análise gráfica que julga adequação ao leitor, e não só descreve o artefato.

Não entram:

• Descrever um artefato, um repertório ou um processo sem julgar se ele funciona.
• Propor um método ou um artefato sem avaliá-lo.
• Ensaio teórico, história, revisão de literatura sem medida.
• Relatar uma experiência de projeto ou de ensino sem apurar resultado.

Fronteira frequente: propor contra avaliar. Muito trabalho propõe um artefato e no fim mostra que ele foi bem recebido. Quando a avaliação é o que o trabalho apura e relata como resultado, ela é classificada como sim. Por outro lado, se ela aparece como nota final de validação, sem medida nem critério, é não. Na dúvida, não: o eixo quer identificar a tradição de avaliação, e não toda menção a ela.

Segundo eixo: o trabalho se situa?

Valores: não, objeto ou posição. Este eixo tem três níveis de propósito, e a razão está escrita mais abaixo.

objeto quando o material é do Brasil ou de um contexto local, e o trabalho o trata com as categorias correntes do campo. Uma bula brasileira, uma sinalização de hospital em Recife, o repertório gráfico de uma cidade. O território está no objeto, ao passo que a régua com que ele é olhado continua sendo a de sempre.

posição quando o trabalho toma o território como questão epistemológica, e não só como material. Reconhece-se por afirmar ao menos uma destas coisas:

• Que as categorias, os métodos ou o cânone do campo não servem, ou servem mal, ao contexto de onde se fala.
• Que o conhecimento vem de um lugar, e que esse lugar é parte do que se conhece, perspectiva decolonial, pluriversal, do Sul global.
• Que o trabalho se faz com uma população historicamente excluída da produção do campo, e que essa condição informa o método, como em povos indígenas, comunidades quilombolas, populações periféricas, pessoas com deficiência tomadas como sujeito e não como usuário.
• Que a questão é de justiça, de acesso ou de poder, e não de eficácia.

não quando nada disso aparece.

Por que três níveis. Quase todo trabalho da revista tem objeto brasileiro: é uma revista brasileira. Se situado quisesse dizer "trata de alguma coisa do Brasil", o eixo não distinguiria nada, e o crescimento que ele mostrasse seria o crescimento da revista. A tese decolonial afirma que o campo passou a pensar a partir do Brasil, e não apenas a estudá-lo. O objeto é separado da posição, e é essa separação que permite dizer se o que cresceu foi o material ou a epistemologia.

Fronteira frequente: inclusão como tema contra inclusão como posição. Um estudo que avalia se um site é acessível para pessoas cegas tem inclusão como tema e método de avaliação: é objeto, e provavelmente desempenho: sim. Um estudo que pergunta quem decidiu o que é acessível, e para quem, é posição.

Fronteira frequente: história. História do design gráfico brasileiro é objeto. A história que argumenta que a historiografia do campo apagou o que se fez aqui é classificada como posição.

Convenções firmadas

Esta seção é escrita durante a aplicação, e nela são registradas as decisões que se repetirem.

1. O eixo do desempenho mede orientação, e não método. A primeira leva mostrou a ambiguidade. Um trabalho de 2004 traz a psicologia cognitiva para melhorar instruções de procedimento, e conclui dizendo que ainda falta um teste com usuários; ele propõe sem avaliar. Contudo, a pergunta que o governa é a da tradição de Reading, isto cumpre o que se propõe?, e por isso ele é sim.

Nesse caso, vale o que o trabalho pergunta, e não o que ele executa. É sim quando a pergunta que governa é se a informação cumpre a função dela para quem lê: compreensão, legibilidade, eficiência, carga cognitiva, uso, erro, adequação a critério. não quando a pergunta é descritiva, histórica, propositiva sem critério de eficácia, ou crítica.

O método já está lido noutra camada, a da anatomia, que diz quem avaliou, com quem e como. Repetir isso aqui gastaria 437 leituras para produzir o que já existe.

2. O objeto conta quando o território está no material, e não na autoria. Toda a revista é brasileira e quase todo autor também. Uma resenha de livro brasileiro sobre teoria da cor é situado: não: o assunto é a cor, e o Brasil está só em quem escreveu. Uma análise de bula de remédio brasileira é objeto: o material é daqui, e a particularidade dele importa para o que se conclui.

As quatro que seguem foram escritas depois das duas passagens, a partir das fronteiras que o segundo juiz apontou por escrito antes de ver a primeira passagem, e governam o desempate. Elas não reabrem o que as duas passagens decidiram igual.

3. A eficácia precisa governar o trabalho, e não só justificá-lo. A convenção 1 manda ler a pergunta, e sozinha ela transformaria em sim todo guia, diretriz ou sinalização que abre dizendo que a informação precisa funcionar. É sim quando o trabalho apura desempenho, ou quando propõe um artefato declarando o critério pelo qual ele deve ser julgado: norma, heurística, medida, comparação, compreensão apurada. É não quando a eficácia aparece só na frase que justifica a pesquisa, e o trabalho se limita a descrever, mapear, propor sem critério ou reunir literatura.

Para a revisão de literatura vale o produto declarado: recomendação de legibilidade ou de formatação para quem lê é sim; estado da arte, tipologia ou mapeamento é não.

4. A inclusão como tema não basta para objeto. O eixo se chama situado, e ele mede território. Um estudo de acessibilidade, de daltonismo, de baixa visão ou de pessoa idosa é objeto quando o material ou o campo é local, como o Moodle de uma universidade brasileira ou um serviço oncológico daqui, e é não quando a população entra como usuário genérico e o material não tem lugar. A fronteira escrita acima, que manda ler inclusão como tema contra inclusão como posição, continua valendo para separar objeto de posição; esta convenção diz que a primeira porta ainda exige território.

5. Território estrangeiro conta como objeto. História do design mexicano, cartazes portugueses, o Isotype na África Ocidental: o material tem lugar, e o trabalho trata desse lugar como particular. A régua diz "do Brasil ou de um contexto local", e vale a letra. São poucos casos, e o resultado os reporta à parte, para que o crescimento brasileiro possa ser lido sem eles.

6. posição não exige território. A quarta porta da lista, que diz ser a questão de justiça, de acesso ou de poder, se abre sem que o Brasil apareça. Crítica feminista da norma gráfica, arqueologia foucaultiana do discurso do campo, crítica do cânone da visualização entram por ela. É a convenção mais consequente das seis, e é ela que faz posição medir a virada epistemológica do campo, e não só a virada territorial dele.

Resultado da aplicação

Inicialmente, os 437 trabalhos foram lidos duas vezes. A passagem A foi feita na ordem do identificador; a B, na ordem inversa, por um segundo juiz que não teve acesso ao arquivo da primeira e em que as fronteiras difíceis foram escritas antes de qualquer comparação; é dali que vieram as convenções 3 a 6. A passagem C desempatou as divergências sob essas convenções.

Concordância entre as duas passagens

127 trabalhos foram ao desempate: 86 só no eixo situado, 29 só no do desempenho e 12 nos dois. O eixo situado é o mais interpretativo dos três de toda a plataforma, e o número precisa ser lido assim: a régua original bastava para decidir o desempenho, e não bastava para decidir onde termina o objeto e começa a posição.

Distribuição final

Cruzando os dois eixos, com objeto e posição colapsados em um só: só desempenho 99, só situado 104, ambos 65, nenhum dos dois 169.

A série no tempo, em janelas de três anos, porque a revista publica cerca de vinte trabalhos por ano e o ano isolado é ruído:

O que cresce é a posição, e não o objeto. O material brasileiro está na revista desde o começo, oscilando entre um quinto e dois quintos dos trabalhos sem tendência, enquanto os trabalhos que tomam o território como questão epistemológica saem de um ou dois por janela para dez e cinco nas duas últimas. A separação em três níveis era necessária para ver isso; com dois, as duas curvas somadas mostrariam um campo estável.

O desempenho tem forma de corcova: sobe até 2013-2015, quando quase metade dos trabalhos media eficácia, e desce desde então. As duas curvas não se cruzam por acaso.

O que a leitura não alcança. A régua manda ler só o resumo, e trabalhos cuja posição aparece só na conclusão contam como não. As convenções 3 a 6 valeram para o desempate, e não para os 310 trabalhos em que as duas passagens já concordavam, uma vez que reabri-los seria trocar dois juízes independentes por um terceiro sozinho. Sabe-se de ao menos um caso assim: o @631, com estudo em Moçambique, ficou situado: não porque as duas passagens assim decidiram antes de a convenção 5 existir.

Reúne as regras de decisão que governam a leitura dos editoriais da InfoDesign, visando que dois juízes decidam igual. Sem isto, a diferença entre juízes vira variação no resultado, e a variação parece achado.

Cada editorial recebe uma linha:

ArticleID | funcao | funcoes | artigos | define | definicao | confianca

funcoes aceita vários separados por vírgula. Qualquer valor fora do vocabulário é recusado na gravação.

Por isso, lê-se o texto integral do editorial, e não o resumo: editorial não tem resumo, e a classificação recai sobre o que ele faz, que só o corpo mostra.

O que entra

Dos 48 itens que ficam fora do corpus, entram os 42 que são texto editorial e têm texto integral: 40 da seção Editorial e 2 da Open letter to the readers.

Ficam de fora, por regra e sem exame:

• os 5 da seção Editorial Team, que são expediente. Uma lista de nomes de conselho não faz nada do que esta régua pergunta, e classificá-la produziria cinco linhas de ruído;
• um editorial de 2004, cujo PDF nunca existiu e que por isso não tem texto a ler. Ele continua na base, e a ausência fica declarada.

O período que esta camada alcança

Os 42 editoriais legíveis vão de 2013 a 2026, e não de 2004 a 2026 inteiro.

O portal registra um editorial em 2004 e nenhum entre 2005 e 2012: são vinte edições sem qualquer item fora do corpus. A revista publicou nesses anos, e o que falta é o editorial como item próprio no sumário, com página e identificador. Não dá para saber daqui se ela não o publicava separado ou se o portal não o publica assim.

Assim, o efeito para a leitura é direto: toda série desta seção começa em 2013. Ler a primeira década da revista pelo editorial não é possível com o que existe, e qualquer afirmação sobre mudança ao longo do tempo vale para catorze anos, e não para vinte e três.

Eixo 1: o que o editorial faz

apresentar o número · situar o campo · prestar contas da revista · anunciar mudança editorial · marcar data

Um editorial costuma fazer mais de uma coisa. funcoes traz a lista inteira e funcao traz a principal, que é a que ocupa mais espaço no texto. Havendo empate de espaço, a principal é a que aparece primeiro.

apresentar o número: diz o que este número traz. É o gênero dominante, e vale mesmo quando a apresentação é uma frase só. Não se confunde com resenha do eixo 2: pergunta-se aqui se o editorial apresenta o número, e lá quanto ele desce aos artigos.

situar o campo: afirma alguma coisa sobre o design da informação, sobre a pesquisa da área ou sobre o estado de um assunto, para além do que este número traz. É a diferença entre <!-- redacao:ignorar --> "este número reúne artigos sobre infografia" e "a infografia tem sido utilizada como recurso poderoso para o tratamento de informações complexas". A segunda situa; a primeira não. <!-- redacao:fim -->

prestar contas da revista: fala da revista como instituição, e agradece a equipe, relata o percurso, informa indexação, tiragem, avaliação, fluxo de submissão.

anunciar mudança editorial: comunica alteração no funcionamento, com troca de editor, mudança de periodicidade ou de fluxo, nova política de língua, novo formato de publicação. Exige o anúncio explícito; deduzir mudança do que o número parece ser não vale.

marcar data: celebra ou lamenta, seja aniversário da revista ou do congresso, despedida, homenagem, memória de alguém.

Eixo 2: como o editorial trata os artigos

não menciona · lista · resenha

não menciona: o editorial não nomeia nenhum artigo do número.

lista: nomeia artigos, autores ou temas em enumeração, sem dizer o que cada um sustenta.

resenha: diz de cada artigo, ou da maior parte deles, o que ele faz ou defende. O corte entre lista e resenha é a presença de predicado: "Schuelter, Vassali e Santos analisam a representação negra em infográficos" resenha; "o número traz artigos de Schuelter, Santos e Oliveira" lista.

Um editorial que resenha três de dez artigos e apenas cita os outros sete recebe lista: a regra é o tratamento da maioria.

Eixo 3: a revista afirma o que o campo é

sim · não, e quando sim, a sentença inteira em definicao.

Toma-se a sentença em que o editorial diz o que design da informação é, faz ou abrange, enunciada na voz da revista. Não vale:

• a definição que o editorial atribui a um autor do número, porque essa é do artigo e a seção Como o campo se define já a lê;
• a menção ao nome do campo sem predicado, como "artigos de design da informação";
• a valoração sem conteúdo, como "o design da informação é cada vez mais relevante".

Havendo mais de uma sentença, vale aquela que diz mais. Transcreve-se a sentença como ela está escrita, sem correção nem corte, salvo o aparo do cabeçalho corrido quando ele se cola ao começo dela.

Confiança da leitura

alta · média · baixa

Mede o quanto o texto sustenta a classificação, e não a qualidade do editorial. alta quando o editorial diz com todas as letras o que faz; média quando um dos eixos exigiu inferência; baixa quando o texto é curto ou truncado a ponto de a leitura ser palpite.

Este eixo não recorta o catálogo nem entra em Cruzamentos. Ele é medida da leitura, e não do objeto, e cruzado com qualquer outra dimensão pareceria um juízo sobre os editoriais.

Como a leitura foi feita

Duas passagens sob esta régua, e uma terceira só onde as duas divergiram de forma incompatível.

A passagem A leu os editoriais em ordem cronológica.

A passagem B leu os mesmos em ordem inversa, em sessão separada, sem acesso à passagem A nem à conversa em que ela foi feita. Esta é a diferença desta camada para as três anteriores da plataforma: nelas a segunda leitura foi releitura do mesmo leitor na mesma sessão, e aqui ela foi feita por um leitor que só recebeu a régua e os textos.

A passagem C decidiu as divergências duras, com as duas leituras à vista. Divergência dura é discordância em funcao, artigos ou define, que são eixos de valor único, ou listas de funcoes sem nenhum valor em comum.

As duas passagens coincidiram em 95,2% na função principal, em 100% no tratamento dos artigos e em 97,6% em dizer se o editorial define o campo. Na lista de funções, o conjunto saiu idêntico em 73,8%, com sobreposição média de 89,2%.

O que a passagem C decidiu

Três editoriais foram ao desempate, e cada decisão está aqui porque ela é o lugar onde a régua se mostrou insuficiente.

@803, a carta de despedida de 2020. A passagem A leu anunciar mudança editorial como função principal e a B leu prestar contas da revista. Vale a regra do espaço: o anúncio da sucessão e a apresentação da editora que entra ocupam cerca de seiscentos caracteres, e o relato do percurso mais os agradecimentos ocupam mais de mil. Fica prestar contas da revista.

@859, o editorial da pandemia de 2020. A passagem B aceitou como definição a sentença "eles podem nos ajudar a refletir no que diz respeito ao importante papel do Design da Informação em mediar experiências sociais". O predicado ali é dos artigos, e o campo aparece dentro de um complemento nominal. Aceitar esta e recusar a de @1040, que é asserção plena sobre o que o design faz na saúde, seria ler com duas réguas. Fica nao.

@1217, os vinte anos. A passagem A leu marcar data como principal e a B leu apresentar o número. A efeméride emoldura o texto e ocupa 2.336 caracteres; as resenhas dos quatro artigos ocupam 5.169. Fica apresentar o número. A lista de funções recebe também anunciar mudança editorial, que a passagem B viu e a A não: o editorial anuncia inglês só a partir de 2025, novos editores associados e a saída da editora-chefe.

As divergências de funcoes que não zeraram a interseção não foram ao desempate, e nelas vale a passagem A, que é a leitura de referência. Elas ficam declaradas linha a linha na coluna divergencia de editoriais.csv.

O quadragésimo segundo, lido em 6 de agosto de 2026

Inicialmente, os 41 primeiros foram lidos de uma vez, em 4 de agosto de 2026. O editorial do v. 23 n. 1, @1432, entrou depois, porque a revista o pôs no portal em 31 de julho, três meses depois da edição, e a base só o alcançou na remontagem de 6 de agosto.

Ele foi lido no mesmo arranjo, e não por atalho, de modo a manter comparável o que dele se afirma: uma passagem A, e uma passagem B feita por leitor de contexto limpo, que recebeu a régua e o texto e mais nada, com instrução explícita de não abrir editoriais.csv nem as passagens gravadas. As duas coincidiram nos três eixos, na lista inteira de funções e na sentença escolhida, e por isso ele não foi ao desempate.

A leitura foi apresentar o número como principal, com situar o campo e prestar contas da revista na lista, resenha no tratamento dos artigos, e define igual a sim. A sentença aceita é "Taken together, the articles in this issue demonstrate that the scope of information design extends well beyond the organization of visual artifacts". Ela pede a mesma decisão que @859 e @1040 puseram na passagem C: o campo é sujeito de oração com predicado próprio, e não complemento nominal dentro de um predicado que é dos artigos. É por isso que a confiança ficou em média.

Com ele, as definições passam a seis, e a última janela da série recolhe cinco anos, de 2022 a 2026, em vez de quatro.

O que esta medida não é

Ela não é tomada como concordância entre juízes independentes no sentido usual. Contudo, os dois leitores são o mesmo modelo de linguagem, sob a mesma régua, e a diferença entre eles está na ordem de leitura e a ausência da primeira decisão à vista.

Nesse sentido, ela mede o quanto a régua é determinada: quanto de uma classificação vem do instrumento e quanto vem de quem o aplica. Uma medida de concordância entre juízes exige um segundo leitor humano, e ela não foi feita.