Les mathématiciens ne semblent pas faire confiance aux chiffres, du moins lorsqu’il est question de bibliométrie.

C’est que constate un rapport publié en juin dernier par un co­mité de l’Union internationale des mathématiques (UIM) qui sou­ligne que l’argument selon lequel l’importance de plus en plus grande accordée aux statistiques — éta­blies souvent à partir de données de citations — parce qu’elles ser­aient supérieures à des jugements plus complexes pour évaluer les travaux de recherche scientifique est tout simplement « sans fondement ».

Le comité de l’évaluation quantitative de la recherche de l’UIM, présidé par John Ewing, directeur général de l’American Mathematical Society, était chargé de formuler des observations sur la tendance à utiliser l’évaluation algorithmique comme indicateur de qualité.

Le rapport intitulé Citation Statistics (statistiques de citations) examine les indicateurs tels que les facteurs d’impact des revues, qui servent à évaluer les travaux de re­cherche en fonction de la ré­putation de la revue dans laquelle ils sont publiés, et les nombres de citations, qui sont censés me­surer la visibilité des travaux scientifiques selon le nombre de fois que ceux-ci sont cités par leurs pairs.

Le recours accru à des méthodes « simples et objectives » comme la bibliométrie tient à l’idée que les données chiffrées seraient fondamentales plus précises que toute conclusion fondée sur des jugements plus complexes, voire plus subjectifs, qui découlent d’évaluations par les pairs.

Le comité développe dans son rapport les idées suivantes : les statistiques ne sont pas plus exactes que d’autres méthodes parce qu’elles peuvent induire en erreur si elles sont mal utilisées; l’objectivité du nombre de citations peut être « illusoire » et les statistiques de citations peuvent être même plus subjectives que les évaluations par les pairs; limiter l’évaluation de la performance dans la recherche à de seules données de citations est une démarche au mieux incomplète qui réduit souvent la compréhension de la recherche à quel­que chose de superficiel.

Si le comité ne rejette pas totale­ment l’exploitation des statistiques de citations comme outil valable d’évaluation de la recherche, il souligne cependant que « les chiffres ne sont pas, par nature, supérieurs à ce que peut apporter un jugement solide » et que le recours à des statistiques du seul fait qu’elles sont « facilement disponibles » est injustifiable.

« Les données de citations ne don­nent qu’un aperçu limité et incomplet de la qualité de la re­cherche, et les statistiques établies à partir de ces données sont parfois mal comprises et mal utilisées », concluent les auteurs du rapport.