Principales critiques formulées

Les critiques formulées à l'encontre des indices bibliométriques remettent en cause la pertinence d'une évaluation chiffrée uniformisée qui représenterait une évaluation "scientifique", et donc objective et sans appel d'activités de recherche pourtant très complexes et composées de multiples facettes, comme l'indique un rapport sur le sujet de l'INRIA (Institut National de Recherche en Informatique et en Automatique): « Si les indicateurs peuvent donner des tendances sur un nombre réduit d’aspects de la vie scientifique, il convient d’être très circonspect dans leur usage en raison de la possibilité d’interprétations erronées, des erreurs de mesure (souvent considérables) et des biais dont ils sont affectés. Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel. » http://www.inria.fr/inria/ organigramme/ce.fr.html

Cette critique globale s'applique particulièrement au secteur des sciences humaines et sociales qui se retrouvent très défavorisées par les mesures adoptées, notamment car le modèle d'analyse utilisé par l'ISI est basé sur deux ans, parce que moins de revues sont prises en compte et que la majorité est anglo-saxonne, parce que les usages diffèrent vis-à-vis des sciences appliquées notamment par la prédominance des monographies. Une réflexion a donc été lancée pour ajuster les indicateurs existants mais aussi pour trouver des alternatives à la bibliométrie.