Você tem publicação relevante?

Infelizmente, caminhamos ou fomos empurrados para um modelo de avaliação acadêmica e em pesquisa, em que o nosso valor é medido pelo número de publicações relevantes (?) que tivemos competência para emplacar em journals da nossa área (não pode ser de outra área…). E não se esqueceu de lançar no curriculo Lattes, ou mencionou na sua página web, ou no LinkedIn, ou em outro lugar qualquer que fique público e ao alcance de quem vai julgar sua competência acadêmica por algum motivo.

Origem da imagem: http://www.freshbrainz.com/

Hoje, a pergunta clássica e que antecede qualquer outra consideração ou avaliação é: você tem publicação relevante? Se tem, ai sim, então nós vamos olhar o seu projeto ou a sua proposta, afinal você é gente e faz parte do nosso seleto grupo. Se não tem, ou se tem poucas, ou se somente publicou em congressos e eventos, tudo muda de figura: seu projeto nem é analisado, ou é analisado superficialmente, e lá se vão pelo menos um par de anos de trabalho de orientação e esforço para a prateleira, esperando uma nova oportunidade de financiamento, isso se o tema não ficar desatualizado. E esse tipo de consideração se alastrou como um câncer para outros níveis de avaliação. Por exemplo, na avaliação dos cursos de mestrado e doutorado no pais, feita a cada três anos pela CAPES que é o órgão do governo federal que cuida disso de maneira centralizada, há vários parâmetros que devem ser cumpridos e observados pelos cursos. Mas, o que tem maior influência, maior peso, e que distingue um curso do outro, é exatamente: os docentes do seu curso têm publicação relevante? Publicaram em journals de peso? A regra passou a ser: só vamos contar publicação em eventos (congressos, simpósios,…) relevantes, se o grupo tiver também publicação em journals, na proporção de 1:3 (uma publicação em journal relevante dá direito a contar 3 publicações em eventos). Está parecendo mais um mantra, mais que discutido e criticado mundo afora: tem que publicar, tem que publicar… Até me lembra uma propaganda da TV de uns tempos atrás: eu quero Baton, eu quero Baton

Argumentos  e discussões sobre o assunto estão disponiveis na web aos montes, a um toque de mouse. Procurem por publish or perish para terem uma idéia. Sistemas de premiação são auto-corrompiveis por definição, e levam a tantas distorções com o tempo, que em algum momento eles entram em colapso total, e têm que ser repensados. O problema de avaliação é dinâmico, seus parâmetros variam com o tempo. Não existe sistema perfeito,  essa é a verdade, e os problemas que podem ser apontados aqui, também podem ser apontados no resto do mundo. Número de publicações parece que foi o único parâmetro encontrado pelos teóricos da avaliação acadêmica, para poder medir a estatura científica de pesquisadores de qualquer área em qualquer lugar do mundo. Não importa se o pesquisador está lá nos confins da Sibéria, com todas as dificuldades possiveis e imagináveis para tocar uma pesquisa adiante, sem bolsas de estudo para os alunos, sem internet para se conectar com o mundo,  ou se ele é pesquisador de uma universidade topten estadunidense. A comparação é somente pelas publicações, e nada mais. Se você não é pesquisador de uma topten, azar o seu.

E as distorções deste sistema de premiação? Relatos existem aos montes, os mais citados são: me cita que eu te cito, pois o número de citações de um artigo científico é um parâmetro utilizado para medir sua relevância e impacto; inclui meu nome como co-autor do seu paper que eu incluo o seu nome como co-autor no meu paper, obviamente isso aumenta o número de artigos em que o pesquisador aparece como autor, e vamos por ai afora. Sem contar os menos óbvios, como por exemplo a questão do auto-plágio que mais recentemente tem sido percebido com mais clareza: um artigo único gera um monte de filhotes submetidos a veiculos diferentes, com mudanças cosméticas apenas (ordem dos autores, título da publicação, etc.) sem que se verifique uma mudança no conteúdo do artigo, para justificar uma nova publicação. Eu mesmo já topei com uma situação dessas como revisor de uma conferência, um mesmo grupo submeteu vários artigos idênticos, mudando apenas a área de aplicação no título e alguns dos co-autores. A estrutura do artigo foi mantida idêntica, e foram submetidos várias instâncias com uns 90% de coincidência em conteúdo, mudando apenas algumas tabelas de resultados, até a Conclusão dos artigos era a mesma. Vocês acham que essa é uma prática condenável? Só mais recentemente é que esse assunto entrou na pauta das discussões e tem sido tratado explicitamente nas politicas de publicação dos melhores journals de cada área.

Minha opinião é a de que esse sistema de avaliação atual está à beira do colapso, trancou geral. Avaliações são indispensáveis, têm que ser feitas sem sombra de dúvida, mas têm que ser repensadas e ajustadas periodicamente. Avaliações são dinâmicas, têm que evoluir antes que o status quo de quem já foi premiado impeça essa evolução, como já estamos vendo acontecer. O resultado é esse ai: o sistema engorda os que já são gordos, que levam sempre os financiamentos, as bolsas, as viagens para congresso, etc. Quem é magro está condenado a continuar cada vez mais magro, para permitir a alimentação do topo da pirâmide. Ou então entrar na onda de outra forma: agarra em alguém mais forte, do topo, que esteja disposto a arrastar você junto com ele, e vai subindo até ter competência própria. São distorções sistêmicas, que têm um padrão de ocorrência conhecido, discutido no excelente livro A quinta disciplina, que recomendo aos leitores.

O assunto é muito mais complexo do que se poderia discutir em uma postagem curta de blog, como essa ai. A idéia aqui é apenas chamar atenção, mais uma vez, para um sistema a meu ver não funciona mais e que avalia muito pouco ou quase nada, com muitas falhas e distorções conhecidas. Tem que ser repensado e readaptado aos novos tempos de web2, web3, revistas e journals eletrônicos, cooperação e colaboração, interseções imensas entre áreas onde estão as principais oportunidades de inovação (vejam postagem O efeito Medici), blogs, etc.

Pequena trilha de artigos relacionados: Avaliar quem, quando e como?; Produção e produtividade no meio acadêmico; Publish or perish.

ATUALIZAÇÃO (31/março/2011): acabo de receber dois links relatando mais um caso triste, dessa vez pesquisador brasileiro sendo obrigado a recolher 11 artigos publicados em revistas internacionais de peso, por fraude nos resultados (em investigação). Vejam aqui e aqui as duas noticias. Nosso modelo é podre, ninguém enxerga isso?

ATUALIZAÇÃO (13/janeiro/2011, Athlone, Irlanda): li hoje o artigo do prof. Miguel Nicolelis, em que ele avalia a ciência e a pesquisa cientifica no Brasil. Uma leitura indispensável para quem quer entender melhor os rumos que o Brasil tomou nesse particular. Leiam aqui.

ATUALIZAÇÃO (16/fevereiro/2011, Viçosa, MG): recebi o artigo que vai no link, enviado pelo André Castro (obrigado). Mais uma visão sobre o tema, que incomoda muita gente. Leiam aqui.

(este artigo foi escrito por zeluisbraga, e postado no meu blog zeluisbraga . wordpress . com) (this post is authored by zeluisbraga, published on zeluisbraga . wordpress . com)

Consultor Independente, Treinamento Empresarial, Gerência de Projetos, Engenharia de Requisitos de Software, Inovação. Professor Titular Aposentado, Departamento de Informática, Universidade Federal de Viçosa, Minas Gerais, Brasil. Doutor em Informática, PUC-Rio, 1990. Pós-Doutoramento, University of Florida, 1998-1999

Marcado com: , ,
Publicado em Pesquisa, Reflexões, Sustentabilidade, ZeRaivoso
11 comentários em “Você tem publicação relevante?
  1. Leo de Carvalho disse:

    É, Zé, infelizmente esse padrão de sucesso para quem já tem sucesso acaba minando as chances dos menores que querem crescer, pra não dizer extinguindo. É preciso balancear os recursos de quem já consegue caminhar com as próprias pernas para permitir o crescimento dos menores. Espero que a situação mude.

  2. Luana disse:

    Concordo completamente. Premiar por artigos é bom. Premiar só por artigos é péssimo. A pressão para publicar é tão grande, que no meio da pesquisa, ao invés de testar vários caminhos, para aprender com erros, evoluir, mostrar possibilidades, você tem que pegar o mais “rentável” para já começar a escrever artigos desde o primeiro resultado preliminar.

  3. Roberto disse:

    Prezado José Luis,

    Interessante sua postagem, mas acho que o sistema de “métrica de publicações” para avaliação veio para ficar, feliz ou infelizmente. Há que ser aprimorado, sempre.
    Obrigado por citar meu texto “Avaliar quem, quando e como?”. Talbém escrevi outros sobre este assunto e outros relacionados:
    “Qualidade da ciência no Brasil preocupa” (http://quiprona.wordpress.com/2010/04/25/qualidade-da-ciencia-no-brasil-preocupa/)
    “QUALIS” (http://quiprona.wordpress.com/2009/06/18/qualis/)
    “Eu te cito, tu me citas, ele te cita, nós te citamos, vós nos citais, eles nos citam” (http://quiprona.wordpress.com/2009/12/22/eu-te-cito-tu-me-citas-ele-te-cita-nos-te-citamos-vos-nos-citais-eles-nos-citam/)
    “Re-cherche, Re-search” (http://quiprona.wordpress.com/2010/08/23/re-cherche-re-search/)

    abraço,
    Roberto

    • Olá, Roberto. Concordo plenamente, a métrica de publicações dificilmente vai ser mudada. Mas ela não pode ser considerada um indicador, é apenas uma métrica, é fundamental termos um indicador de perfil do professor-pesquisador, que leve em consideração as demais atividades a que temos que nos dedicar: professor, pesquisador, secretário, limpador de sala, consultor sentimental, escritor, orientador, escritor de paper, consultor, e mais um monte de papéis que desempenhamos. Como exemplo, cito o blog que, do ponto de vista acadêmico de publicações não tem valor nenhum, é até encarado como uma perda de tempo ou até como uma forma de auto-promoção por alguns colegas. Mas, o lado positivo é que nossos alunos tomam o blog como referência para várias decisões que têm que tomar, e nesses quatro e poucos anos de existência do meu blog, só tenho colhido ótimas referências dos ex-alunos, já é quase um site educativo. E dá trabalho manter, dá trabalho escrever, colocar referências, etc. Você sabe disso tão bem quanto eu, pois também mantém um blog de qualidade. E isso não vale nada? não é um trabalho de divulgação/extensão universitária? Abraço,

  4. Léo disse:

    tenho a impressão que o caminho é de centralização no dblp, acm , ieee, citeseer e sbc. sendo assim, ou publica em congresso, workshop referenciado lá ou então vai trabalhando para melhorar o artigo.

  5. Roberto Berlinck disse:

    Caro José Luis,

    O problema é que o que era métrica já passou a ser indicador. Veja no blog do Marcelo Hermes-Lima, “Ciência Brasil”, postagem sobre a reunião dos grupos do INCT, na última semana, em que um dos focos da discussão foi o fator de impacto (FI) das revistas onde os pesquisadores dos INCTs estão publicando (http://cienciabrasil.blogspot.com/2010/11/meia-vida-das-citacoes.html). Qual a relevância de se discutir tal ponto no âmbito de avaliação dos INCTs? Nenhuma. O FI não indica nada. Mas, já está sendo utilizado como indicador.

    Aonde existe uma instituição que avalia um professor-pesquisador por seu desempenho em suas múltiplas tarefas? Que eu saiba, em lugar nenhum. Nem aqui nem na Europa ou nos EUA. Isso não existe. O que se mede é a produção científica. Ponto. O resto é adereço.

    Manter um blog de ciência ou sobre ciência é um tipo de atividade de extensão. Isso é inegável, por mais que se queira questionar. O problema é que um blog necessariamente reflete as opiniões de seu autor, mesmo que não sejam expressas explicitamente. E tais opiniões podem não agradar a todos. Consequentemente, sempre existirão aqueles que irão criticar tal atividade. Felizmente, os estudantes e o público em geral agradeçe nosso trabalho. Isso é o que importa!

    abraço,
    Roberto

  6. Léo disse:

    Eu ia indicar o blog do MHL, mas o Roberto já fez isso🙂 Ele postou, já há algum tempo, sobre o caso de uma revista que “orientava” os autores a citarem artigos da própria revista, para aumentar o FI.

    Concordo com você, Zé: estou apenas começando, mas falo pelo que observo: vai ter concurso? “Ah, olha lá, o candidato X é ruim, nem tem publicação”. Vai pedir verba para participar de congresso? “Ih, nem pede, você vai concorrer com os grandes”. E por aí vai. E, internamente, há pressão para participar disso, daquilo e daquilo outro: comissões, projetos de extensão, chefias, colegiados, coordenadorias … Se depender “deles”, é trabalhar 80 horas por semana: mas não pode “lançar” que trabalhou isso tudo, por que ninguém quer pagar hora-extra.

    Abraços,

    Léo

    • Com o tempo, você vai perceber como o sistema é viciado e não tem solução, a não ser começar de novo em outras bases de avaliação. Eu, fim de carreira, já vi de tudo, inclusive esse sistema ir pro brejo. abraço,

  7. railer disse:

    nossa, não sabia disso tudo. será que não vai ter gente publicando qualquer coisa só pra contar pontos? as pessoas agem e se comportam de acordo com a forma com que são avaliadas. assim, isso vai passar a ser mais importante do que o ensino em si e pode não ter consequências boas.

  8. Há um incentivo a implantação de projetos, no mundo todo, visando o interesse das crianças na iniciação científica. A produção científica está aumentando, respondendo à iniciativas com esse objetivo, mas não há revisores com competência para avaliar os trabalhos, principalmente se eles apresentarem um novo paradigma para as Geociências, montando o quebra-cabeça. Estão no último degrau do conhecimento de suas áreas, mas não conseguem ver o degrau que acaba de ser construído, pois o paradigma vigente a TP distorce a observação.
    Vejam se há competência para avaliar o que está chegando e disponível, para todos, em: VenusTerra.com.br

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: