Dans votre livre Les dérives de l’évaluation de la recherche : Du bon usage de la bibliométrie, vous procédez à une démolition en règle des indicateurs de performance. Quels sont vos principaux arguments?
Que l’on parle de facteurs d’impact, d’indice h ou de classements d’institutions, le problème n’est pas une question d’évaluation. Le monde universitaire est évalué depuis le 17e siècle. Même Newton a été évalué quand il a envoyé un article dans une revue scientifique. L’enjeu est de savoir qui contrôle cette évaluation et ce que l’on contrôle dans cette évaluation. Le vrai problème avec les indicateurs de performance est que l’on veut sortir le contrôle de l’évaluation des mains des chercheurs. L’évaluation par des pairs est encore largement répandue, mais les indices bibliométriques font du chemin et c’est dangereux. Si tu veux savoir une température, tu utilises un thermomètre, pas un hydromètre. Aucun des indicateurs de performance n’a des propriétés sensées être les leurs et aucun des indicateurs n’a été agrégé. Il serait absurde d’utiliser les indicateurs de performance pour prendre des décisions, car ils peuvent dire une chose et son contraire. Pour bien évaluer la performance d’un individu ou d’un département, par exemple, il faut se servir de son jugement. Si une personne envoie des tonnes d’articles à des revues depuis trois ans et que pas un seul n’a été publié, ça en dit long sur la qualité de sa recherche. Remplacer le jugement par des chiffres, c’est stupide.
Que pensez-vous des entreprises comme Data180 et Elsevier qui vendent des outils d’évaluation du personnel académique?
Depuis 10 ans, il s’est créé un marché de l’évaluation. On frappe aux portes des universités en leur offrant un produit qui mesure la productivité. Les administrateurs trouvent que c’est génial et dépensent sans compter. Ils sont pris dans la nouvelle idéologie de gestion publique qui a commencé dans les hôpitaux et qui est maintenant rendue dans nos universités. Ils veulent des chiffres. Ils veulent un tableau de bord avec des voyants. Si on nomme un professeur qui est un vrai professeur pour diriger une université, il va vite voir que ces indicateurs sont ridicules. Si on met un gestionnaire qui ne connaît pas le milieu académique, il se sentira démuni et ce genre de mesures peut servir à le rassurer.
En tant que titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences et professeur à l’Université du Québec à Montréal, vous êtes bien placé pour expliquer comment ces indicateurs pénalisent certains domaines.
C’est flagrant. Quand on parle des classements des universités, par exemple, elles sont essentiellement classées en fonction de leur positionnement en sciences de la nature. Et il faut se demander qui va faire une spécialité comme l’histoire du Manitoba si on sait que nos recherches ne seront jamais publiées dans des revues qui sont cotées? En classant de cette façon, on fait disparaître des domaines de recherche. En sciences de la nature ou biomédicales, on fait connaître ses travaux de recherche en publiant dans des revues savantes. Mais on ne peut pas exporter cette façon de faire en sociologie ou en histoire. En sciences sociales et en sciences humaines, le mode de diffusion le plus important est le livre et le livre compte moins que des citations dans des revues.
Comment les indicateurs de performance influencent la valeur que l’on donne à l’enseignement et aux services que les universitaires rendent à la communauté?
Tout ce que ces indicateurs mesurent, c’est la recherche. Alors ça pousse les gens à ne valoriser que la recherche. Des professeurs se font dire qu’ils donnent de bons cours, mais on leur donne une mauvaise évaluation parce qu’ils n’ont pas assez publié. Si vous voulez mon avis, on est en train de scier la branche sur laquelle on est assis, car 80 % de nos étudiants sont au premier cycle et ne se destinent pas à faire de la recherche. La recherche, c’est la cerise sur le gâteau. Former un avocat, c’est un bac. Même chose pour un chimiste ou un ingénieur. On dévalorise l’enseignement, alors les professeurs n’ont pas le choix. Ils donnent le moins de cours possible pour publier le plus possible et avoir des promotions.
Que pensez-vous des palmarès des universités?
Ils sont manipulables. Il y a une université en Arabie saoudite qui est montée en flèche dans les classements en procédantà des nominations de chercheurs parmi les plus cités au monde comme professeurs auxiliaires. Ils n’enseignaient pas là, mais ils avaient ajouté l’adresse de l’institution. Résultat: le nombre d’articles cités a grimpé et leur classement aussi, mais aucun nouveau laboratoire n’avait été construit. La manœuvre a été démasquée, mais ça démontre que ces classements sont manipulables. Le classement de Shanghai est un autre exemple. Un des indicateurs calculé est l’obtention d’un prix Nobel. C’est absurde. Une personne reçoit un Nobel souvent pour du travail fait il y a 20 ans. En quoi ce qu’on a fait dans le passé est garant de la qualité de l’éducation dans cette institution maintenant? On s’en fout. C’est juste de l’air.