Sobre o projeto

Reúne as regras de decisão que governam a leitura dos 437 trabalhos, para que dois juízes decidam igual. Sem isto, a diferença entre juízes vira variação no resultado, e a variação parece achado.

Cada trabalho recebe uma linha:

ArticleID | objetivo | objetivos | delineamento | resultado | procedimentos | confiança

objetivos e procedimentos aceitam vários separados por vírgula, ou vazio. Qualquer valor fora do vocabulário é recusado na gravação.

A leitura é do resumo, e do título quando o resumo falta. Não se lê o texto integral: o que se classifica é o que o trabalho declara de si, e o resumo é onde ele declara.

O que a seção declarada já resolve

A InfoDesign publica cinco seções, e três delas são gênero, e não desenho de pesquisa. Trabalho de seção Review, Interview ou Point of View recebe o delineamento correspondente sem exame: resenha, entrevista, posicionamento. Os outros três eixos continuam sendo lidos, porque uma resenha ainda tem objetivo e resultado.

A entrevista é a exceção: ela também recebe o objetivo sem exame, registrar depoimento, porque a seção inteira tem um propósito só, que é dar a palavra a um pesquisador reconhecido do campo. Sem isso, as entrevistas antigas cairiam em não identificado por trazerem a biografia do entrevistado no lugar do resumo, e o censo registraria como ausência o que é a natureza da seção.

Só as seções Articles e Undergraduate Research passam pela decisão de delineamento.

Objetivo: o que o trabalho se propõe a fazer

descrever · avaliar · comparar · revisar · conceituar · propor método · propor artefato · relatar experiência · registrar depoimento · não identificado

Decide-se pelo verbo dominante do resumo, não pelo título.

• descrever é o padrão quando o trabalho caracteriza um objeto ou um conjunto sem julgar adequação. "Analisar as características de", "mapear", "traçar um panorama".
• avaliar exige critério declarado contra o qual algo é medido: heurísticas, norma técnica, teste de compreensão, checklist. Se o resumo diz o que é bom e o que é ruim segundo uma régua, é avaliar, e não descrever.
• comparar só quando a comparação é o objetivo, e não um passo. Dois ou mais objetos postos lado a lado por desenho da pesquisa.
• revisar quando o objeto é a literatura. Revisão sistemática, panorama de artigos publicados, estado da arte.
• conceituar quando o trabalho discute uma noção sem objeto empírico próprio: propõe articulação teórica, aproxima dois campos, discute o que uma palavra significa.
• propor método entrega um procedimento, um protocolo, uma ficha, uma matriz de análise, uma metodologia de projeto ou de ensino.
• propor artefato entrega uma coisa: livro, cartilha, aplicativo, jogo, sinalização, fonte, infográfico, plataforma.
• relatar experiência quando o trabalho conta o que foi feito, e o valor está no relato. Típico de experiência didática e de extensão.
• registrar depoimento quando o propósito é recolher e publicar a fala de um pesquisador reconhecido do campo. É o objetivo de toda entrevista da revista, e vem da seção declarada.

Fronteira frequente: propor artefato contra relatar experiência. Se o resumo se organiza em torno do objeto entregue, é propor artefato; se se organiza em torno do processo vivido e do que se aprendeu com ele, é relatar experiência. Uma disciplina em que os alunos projetaram algo é relatar experiência; um projeto que resultou num livro é propor artefato.

O principal e os declarados

Propor um método e relatar a experiência de aplicá-lo são coisas distintas, e um trabalho que faz as duas não deve aparecer fazendo só uma. Por isso o eixo tem dois campos.

objetivo é o principal, escolha única, e é ele que compõe a distribuição: sem um principal, a soma dos objetivos passa de cem por cento e a leitura do conjunto deixa de ser uma repartição.

objetivos recebe todos os que o resumo declara, inclusive o principal, separados por vírgula. É onde o trabalho que propõe e relata aparece inteiro, e é o que permite ler as combinações: quantos propõem e avaliam, quantos revisam para propor, quantos relatam uma aplicação de método próprio.

Só entra em objetivos o que o resumo declara como propósito, e não o que ele faz de passagem. Um trabalho que propõe um método e diz que o validou declara dois; um que propõe um método e menciona ter lido bibliografia declara um.

Qual é o principal. É o que a entrega do trabalho responde. Um trabalho que propõe e avalia o que propôs tem propor como principal, e a avaliação entra em objetivos e no resultado. Um trabalho que revisa para fundamentar uma proposta tem propor como principal: revisar é o principal quando a revisão é o produto. Um relato de aplicação de um método já publicado tem relatar experiência como principal, ainda que o método apareça descrito.

Delineamento: como foi conduzido

estudo com pessoas · análise de corpus · estudo de caso · experimento · pesquisa-ação ou projeto · revisão · ensaio teórico · relato de prática · resenha · entrevista · posicionamento · não identificado

• análise de corpus quando há um conjunto de artefatos analisados por um protocolo: 40 embalagens, 25 infográficos, sete capas, os rótulos de uma coleção.
• estudo de caso quando o objeto é um só e é tratado em profundidade: um jogo, um hospital, uma revista, um sistema, uma empresa.
• estudo com pessoas quando há participantes e a coleta é neles: entrevista, questionário, grupo focal, teste de compreensão, observação de uso. Sem manipulação de variável.
• experimento exige condições comparadas ou manipulação deliberada: dois layouts contra o mesmo texto, três grupos, antes e depois. Se o resumo diz "experimento" mas descreve apenas aplicação com usuários sem condições contrastadas, é estudo com pessoas.
• pesquisa-ação ou projeto quando alguma coisa está sendo efetivamente projetada ou construída, e a pesquisa acompanha essa construção. É o par natural de propor artefato. Não use para trabalho que só analisa e recomenda: levantar amostras e formular recomendações é análise de corpus ou revisão, conforme o que foi levantado.
• relato de prática quando não há desenho de pesquisa, e sim a narrativa do que foi feito. Par natural de relatar experiência, sobretudo em ensino e extensão.
• revisão quando o corpus é a literatura.
• ensaio teórico quando não há coleta: o trabalho argumenta a partir de bibliografia.
• resenha, entrevista e posicionamento vêm da seção declarada, e não de exame do resumo.

Fronteira frequente: estudo com pessoas contra estudo de caso. No campo, estudo com pessoas é lido como um tipo de estudo de caso, e as duas etiquetas se sobrepõem em quase todo trabalho empírico. A precedência é do recorte: havendo um contexto único e delimitado onde a coleta acontece, uma escola, um hospital, uma turma, uma empresa, o delineamento é estudo de caso, e as técnicas usadas com os participantes vão para procedimentos. estudo com pessoas fica para a coleta que não se prende a um caso: amostra de usuários recrutada em vários contextos, questionário aberto ao público, painel de especialistas.

Fronteira frequente: dois ou três artefatos analisados. Até três objetos tratados um a um com profundidade é estudo de caso; a partir daí, com protocolo aplicado em série, é análise de corpus.

Fronteira frequente: ensaio teórico contra posicionamento. O gênero manda. Um ensaio publicado em Articles é ensaio teórico; o mesmo texto em Point of View é posicionamento. A distinção não é de conteúdo, é de lugar, e o lugar é declarado.

Resultado: o que fica ao final

artefato · diretrizes · modelo · diagnóstico · evidência de efeito · reflexão teórica · não identificado

• diagnóstico é o resultado de quem descreve ou avalia: o estado de alguma coisa.
• evidência de efeito só quando há efeito medido contra alguma comparação: dois materiais, dois grupos, antes e depois, ou desempenho contra um critério numérico. Não basta dizer que os usuários gostaram, nem que o material foi testado, nem que houve aplicação com participantes. Piloto, estudo em andamento e "resultados preliminares" não são evidência de efeito: são diagnóstico. Esta é a categoria que mais tende a ser atribuída em excesso, e o excesso desmente a leitura que o observatório faz do campo.
• modelo é procedimento, matriz, taxonomia, protocolo, ficha, fluxo.
• diretrizes é lista de recomendações para quem for projetar.
• artefato é a coisa entregue, inclusive protótipo validado.
• reflexão teórica é o resultado do ensaio, da resenha, da entrevista e de boa parte dos relatos.

Procedimentos: o que foi efetivamente feito

entrevista · questionário · grupo focal · observação · teste de usabilidade · rastreamento ocular · análise documental · análise gráfica · análise de conteúdo · prototipação · oficina · cocriação · bibliometria · análise estatística · etnografia · não identificado

Só o que o resumo declara, com estas palavras ou com sinônimo evidente. Não infira procedimento a partir do tema: um trabalho sobre usabilidade cuja metodologia declarada é revisão bibliográfica recebe análise documental, e não teste de usabilidade. Vazio é resposta legítima e preferível a inventar. Na dúvida sobre um procedimento, omita-o.

Convenções firmadas:

• avaliação heurística e inspeção de interface entram como teste de usabilidade, ainda que não haja usuário, por falta de termo melhor no vocabulário.
• revisão bibliográfica e levantamento em bases entram como análise documental; bibliometria fica reservado a quem conta e mede a produção.
• análise de imagem, de layout, de tipografia e de artefato gráfico entram como análise gráfica.
• análise de discurso e de conteúdo textual entram como análise de conteúdo.
• teste de compreensão de pictograma ou de material: questionário, e análise gráfica quando o artefato também é analisado.

Confiança

alta quando o resumo diz claramente objetivo, condução e resultado.

média quando uma das três precisou de inferência, ou quando o resumo é de pesquisa em andamento e anuncia mais do que entrega.

baixa quando a classificação saiu do título por falta de resumo, ou quando o resumo é divagação sem método declarado. Marcar baixa é preferível a deixar de classificar: mantém o censo completo e deixa o caso rastreável.

Exemplos julgados, para calibrar

Dez trabalhos reais do acervo, decididos na rodada de calibração, um por tipo de decisão difícil. Valem como referência: um caso novo que se pareça com um destes recebe o mesmo rótulo.

O caso 1296 é o que fixa a leitura de objetivo duplo: o trabalho sintetiza o método que o autor vinha construindo e relata a trajetória de aplicá-lo. O principal é propor método, porque é o que ele entrega, e relatar experiência entra em objetivos, onde fica visível.

O caso 224 é o que fixa a precedência entre estudo com pessoas e estudo de caso: o trabalho propõe uma metodologia de testes e a valida com crianças surdas numa escola. Recebe estudo de caso, porque a coleta acontece num contexto único, e questionário entra em procedimentos.

Resultado da aplicação

(a preencher: concordância entre os dois juízes por eixo, taxa de desempate, distribuição de confiança e comparação com a amostra conferida à mão)

A busca por padrão localizou 325 sentenças candidatas a definir design da informação nos 435 textos integrais. A máquina achou; a pessoa decide. Cada candidata recebe uma linha:

ArticleID | sim|não | fonte | enfoque

não descarta, e as duas últimas colunas ficam vazias.

A fila vem ordenada por sinal, que é a distância entre o nome do campo e o predicado que vem depois dele. São 86 de sinal forte, 39 medio e 200 fraco. O sinal não decide nada: ele só põe na frente o que rende, para que a régua chegue calibrada às últimas.

Primeiro: é definição?

sim só quando a sentença diz o que design da informação é ou faz, em enunciado próprio. Marque não para:

• Menção sem definição. É o descarte mais comum. "Este artigo aplica o design da informação a rótulos de medicamentos" cita o campo, não o define. Também: "Por outro lado, campanhas de interesse coletivo são puro Design de Informação, essenciais para a cidadania" — afirma sobre um objeto, e não sobre o campo.
• Nome de coisa que contém o nome do campo. Título de livro, de congresso, de grupo de pesquisa, de linha de pós-graduação, de revista. Exemplos que apareceram: "Una Introducción al Diseño de la Información é um livro que todos os designers deviam ter conhecimento"; "o 1º Congresso Internacional em Design da Informação"; "integra a linha de pesquisa em design da informação". O que se define ali é o livro, o congresso, a linha.
• Definição de outra coisa. A sentença define infografia, ergonomia, usabilidade, visualização de dados, e o design da informação aparece de passagem.
• Frase de rosto, cabeçalho ou nota de autoria. "Sobre as autoras", filiação, título de seção, resumo de currículo.
• Linha de palavras-chave emendada na frase seguinte. Reconhece-se pelo começo: uma lista de termos separados por vírgula, sem verbo, e só então uma frase.
• Fragmento truncado que não permite ler o que se afirma, e resíduo de extração com número de página no meio (|59|).
• Opinião sobre o campo que não o define. "I think that information design is an important area of visual communication design" afirma o valor, e não o conteúdo. Este é o caso de fronteira mais difícil; veja abaixo.

Na dúvida entre menção e definição, marque não. Um falso positivo contamina a leitura do campo; um falso negativo apenas deixa de somar.

Fronteira frequente: valorar contra definir. Se a sentença pode ser trocada por "o design da informação é importante" sem perder conteúdo, é valoração, e vai para não. Se, tirada a valoração, sobra uma afirmação sobre o que o campo faz ou de que se ocupa, é definição. "É uma área relativamente nova e podemos dizer que é uma disciplina emergente" fica em não: diz da idade do campo, e não do que ele é.

Segundo: de quem é a definição?

• própria quando os autores enunciam por conta, sem atribuir.
• Sobrenome do autor citado quando a sentença atribui: Pettersson, Frascara, Twyman, Horn, Redig, Bonsiepe. Use só o sobrenome, sem ano nem iniciais.
• Havendo dois autores, escreva os dois: Wildbur e Burke.
• Se a atribuição for a uma entidade, use o nome dela: IIID, SBDI.
• A atribuição vale mesmo quando indireta: "Sue Walker (2007) afirma que o design da informação é uma atividade que…" recebe Walker.

Terceiro: qual o enfoque?

Um só, o dominante.

Fronteira frequente: funcional contra cognitiva. Se a ênfase está no que a mensagem faz, é funcional; se está no que acontece na cabeça de quem lê, é cognitiva. "Apresentar a informação de forma clara e objetiva" é funcional; "reduzir o esforço de compreensão" é cognitiva.

projetual é para quando o objeto da definição é a atividade, e não a mensagem: "O Design da Informação é a área do conhecimento que lida com a transferência de dados complexos para representações que visam comunicar" tem os dois lados, e decide-se pelo que governa a frase; aqui, pela transferência e pela representação, é projetual.

disciplinar quando a frase se ocupa de onde o campo fica no mapa do conhecimento: "The study of information design is a multi-disciplinary, multi-dimensional and worldwide consideration."

Convenções firmadas

Esta seção é escrita durante a aplicação, e recebe as decisões que se repetirem. Fica aqui, e não na cabeça de quem julgou.

(a preencher)

Resultado da aplicação

(a preencher ao fim do julgamento: candidatas levantadas, descartadas como menção, definições confirmadas, distribuição de enfoque e de fonte, e a concordância entre os dois leitores)