Que disent vraiment les indicateurs qui mesurent la qualité de travaux scientifiques ?
Suite à une demande formulée par l'Union Internationale des Mathématiques (IMU), cette dernière a publié, le 11 juin 2008, en commun avec le Conseil international de l'industrie et des mathématiques appliquées (ICIAM) et l'Institut des Mathématiques statistiques (IMS), un rapport intitulé "Citation Statistics" (statistiques de citation). Des statisticiens et mathématiciens des trois organisations ont co-rédigé le rapport, tirant des conclusions sur les méthodes d'évaluation telles que le facteur d'impact [1], l'indice H [2] et autres grandeurs apparentées. Dans ce rapport, il est recommandé de ne pas faire catégoriquement confiance à ces chiffres.
En effet, des chiffres comme le facteur impact, calculé via une exploitation statistique des citations dans la littérature scientifique, sont de plus en plus utilisés pour évaluer les travaux de recherche. D'après la publication, ces indicateurs, bien souvent, ne méritent pas l'exactitude, l'objectivité et la simplicité qui leur est attribuée.
Les principales idées développées dans le rapport sont les suivantes : - les statistiques ne sont pas plus exactes que d'autres méthodes si elles sont obtenues de façon incorrecte et elles peuvent induire en erreur si elles sont mal utilisées ou mal comprises ; - l'objectivité du nombre de citations est illusoire car la définition même d'une citation est mal comprise. Souvent, les citations n'ont rien à voir avec l'"impact" tel qu'on l'entend ; - limiter l'évaluation de la performance dans la recherche à un seul chiffre est certes d'une agréable simplicité, mais peut néanmoins réduire la compréhension de la recherche à quelque chose de superficiel. De fait, les chiffres ne sont pas, par nature, supérieurs à ce que peut apporter un jugement de travaux réalisé plus en détail.
Dans leur rapport, les auteurs revendiquent une utilisation raisonnable des statistiques de citations pour évaluer la qualité des travaux de recherche et indiquent les cas où elles ne doivent pas être utilisées. Ils reconnaissent toutefois que les méthodes simples, pratiques et maniables doivent faire partie des processus d'évaluation et que les citations sont à prendre en compte, mais ils mettent en garde leur public contre la seule utilisation du facteur d'impact et des grandeurs apparentées, qui ne permettent de tirer que des conclusions restreintes sur la qualité de la recherche. Ils insistent sur le fait que la recherche est trop importante pour être réduite à une mesure réalisée à l'aide d'un outil grossier.
"Citation Statistics" repose sur une vaste littérature traitant de l'utilisation du nombre de citations pour l'évaluation de performances dans la recherche. Le rapport analyse en particulier le facteur d'impact, l'indice H et leurs variantes et évalue différents rapports de mathématiciens et autres scientifiques du monde entier sur l'utilisation de ces indicateurs dans la pratique.
