Manuel Durand-Barthez, S.C.D. Université Paul Sabatier (Toulouse 3)

L’évaluation des publications scientifiques : du facteur d’impact à l’indice de notoriété

 

« Be cited or perish ! ». La profusion actuelle des publications scientifiques, en croissance permanente, rend nécessaire un filtrage qualitatif concrétisé de plus en plus par la citation.

Exiger d’un chercheur qu’il soit cité dans des revues à fort facteur d’impact est un acte institutionnel courant, supposé garantir d’une part un avancement individuel plus rapide au chercheur lui-même, et d’autre part la consolidation des arguments de demandes de subventions pour son équipe.

Sur le plan strictement informatif, on voit ainsi s’accroître l’importance du nom propre par rapport à celle du concept (sujet). Autrement dit, une veille documentaire pourra tendre à privilégier l’interrogation  liée aux noms composant une équipe (ou aux intitulés des laboratoires) dont on connaît la réputation mondiale dans un domaine bien circonscrit, ces mêmes personnes pouvant par ailleurs être mises en relation par le biais de colloques et d’échanges internautiques (messagerie et fichiers attachés).

On interrogera certes aussi par sujets, mais il y a fort à parier que ceux-ci soient étroitement liés aux ensembles institutionnels et donc humains qui sont déjà connus pour concentrer leurs travaux dessus. A certains égards l’usager, que caractérise un pedigree notable dans sa sphère d’activité, ira plus sûrement chercher l’actualité dans l’orbe de ses pairs. C’est là que les outils documentaires axés sur la citation prennent toute leur importance.

 

On distingue à cet égard deux types d’évaluation : celle des Auteurs et celle des Sources (i.e. des revues).

Dès 1960, l’Institute for Scientific Information (I.S.I.) de Philadelphie, sous l’impulsion d’Eugen Garfield, a mis en œuvre le Science Citation Index (S.C.I) pour l’évaluation des auteurs, suivi en 1975 par le Journal Citation Reports (J.C.R.) pour celle des revues.

En 2004, le SCI Sciences exactes et appliquées version On line comprend environ 5900 titres (qui se reportent sur le corpus du JCR), tandis que le SSCI relatif aux Sciences humaines en compte 1700.

On connaît la très forte influence exercée par l’ISI sur la communauté scientifique internationale. Le modèle statistique qu’il a mis en œuvre conditionne l’avancement des chercheurs dans un nombre croissant de pays. Les administrations qui en ont la tutelle utilisent fréquemment la combinaison Citations + Impact Factor pour « noter » ces chercheurs.

Si nous sommes amenés à développer ci-après la déclinaison de quelques critiques à l’encontre de ce modèle, c’est pour ensuite explorer la voie de nouvelles approches : d’une part sur le modèle élaboré par le CNRS pour évaluer les revues en Sciences humaines et sociales, d’autre part sur l’algorithme mis au point par l’équipe de S.Harnad et T.Brody (Southampton /G.-B.et Cornell /Ithaca, N.-Y.) sur le miroir britannique du site d’ArXiv.org. Deux alternatives récentes à la définition d’un facteur d’impact ont été proposées par J.E. Hirsch et J. Bollen, que nous analyserons également.

Nous situerons enfin Scholar Google, avatar du moteur généraliste standard lancé sur le Net en novembre 2004, dans le réseau des alternatives au modèle de l’ISI.

Mais d’abord, tentons de synthétiser une approche critique de ce dernier.

Trois types d’observations sembleraient émerger : le premier repose sur le mode de calcul, le second sur des critères purement éditoriaux liés au support de l’information, le troisième sur des problèmes de relations humaines.

1)      Le mode de calcul. La question concerne ici aussi bien le SCI que le JCR.

a)      le SCI. Le problème envisagé est  résolu  depuis 1997 mais laisse encore des traces particulièrement sensibles dans la communauté scientifique. En effet, de 1961 à 1996, le SCI ne tenait compte que du premier auteur cité dans la séquence des noms d’auteurs figurant en tête d’un article. Concrètement, ce vice de forme imperturbablement laissé fonctionnel par l’ISI pendant trente-cinq ans, a pu inciter les équipes à débattre sur le nom qui devait figurer en tête de liste au moment de la publication d’un article. Les commissions d’évaluation ne cherchaient pas toujours à dépasser la première lecture des tableaux du SCI. Depuis 1997, lorsqu’un auteur figure en position n+1, son nom est mentionné en caractères minuscules sur les tableaux de référence, précédé d’un point de suspension… De plus actuellement, les équipes de recherche constituées d’un très grand nombre d’auteurs, s’identifient souvent par le biais exclusif de sigles qui se substituent à l’énumération des noms. Ils semblent fréquemment omis par le SCI.[1]

b)      le JCR. Le calcul du Facteur d’impact (Impact Factor) d’une revue table sur les deux années de publication précédant l’année de référence du Journal Citation Reports. On totalise le nombre d’articles publiés par cette revue dans ce délai de deux ans. On considère ensuite le nombre total de fois où ces articles sont cités dans la même période par l’ensemble des 6000 revues analysées par le JCR. Et l’on divise ce second chiffre par le premier pour obtenir l’I.F. Le délai de deux ans est en soi critiquable car certaines disciplines pourraient mieux supporter une période de cinq ans. Les index d’immédiateté (Immediacy Index) et de fléchissement des citations à mi-parcours (Cited Half-Life), parallèles à celui de l’Impact Factor, favorisent des secteurs à forte valeur ajoutée, notamment au niveau applicatif, mais pas forcément ceux qui sont plutôt l’apanage de la recherche fondamentale.

 

2)      Les critères éditoriaux : là, seul le JCR est concerné. Il s’agit de considérations d’ordre purement arithmétique dans la prise en compte des types de support. Un mensuel a plus de chances d’être cité qu’un semestriel ; un titre de revue qui change remet son compteur à zéro pour l’évaluation du facteur d’impact ; un nouveau titre (notamment « libre » de type OAI) doit effectuer un parcours minimal d’environ cinq ans pour être « connu » etc… Autant de variables indépendantes du contenu mais relevant du seul « contenant »[2].

3)      Le facteur humain. C’est sans doute le plus important. Quarante ans de fonctionnement policé par l’ISI ont fini par créer un espace cooptatif quasiment tautologique. La recherche ouverte, à risque parce que franchement innovante (de type « blue sky ») est fortement mise à mal par un milieu plutôt prédisposé aux tendances déjà affirmées de la recherche. S’en démarquer pose des problèmes mis en avant par d’éminents chercheurs qui ont initié un débat significatif sur ce thème dans la revue Nature en 2002 et 2003. D’abord à travers une chronique intitulée Errors in citation statistics[3] (le titre est suffisamment éloquent) puis sous la plume de Peter Lawrence, du Laboratoire de Biologie moléculaire de Cambridge, qui n’hésite pas à s’exprimer sur le népotisme croissant qui ronge les comités de lecture, et de David Colquhoun, du Département de Pharmacologie de l’University College de Londres, sous un autre titre parlant : Challenging the tyranny of impact factors[4] Le bouton « Analyze [Results] » situé en marge d’un affichage de résultats génère l’apparition d’histogrammes relatifs aux auteurs et aux institutions, dont l’interprétation brute et hâtive peut susciter quelques dérapages en dépit des mises en garde d’usage émises par l’ISI dans les modules d’aide associés aux bases. De même, l’utilisation systématique, pour ne pas dire exclusive[5] du logiciel "Essential Science Indicators", conçu spécifiquement par l’ISI pour extraire et analyser les données du Web of Science propres à une entité, peut laisser perplexe.

 

Examinons maintenant la première alternative évoquée par rapport à ce modèle de l’ISI.

En 2004, le Département Sciences humaines du CNRS a entrepris de réévaluer la qualité des revues qu’il subventionnait. Il a inscrit sa démarche en aval du projet de l’European Science Foundation visant à la constitution de l’ European Citation Index in Humanities. Dans un article[6] exposant les prémisses de ce projet, l’ESF ne remet pas fondamentalement en cause l’autorité de l’ISI dans le secteur des Sciences exactes et appliquées. Il conteste cet institut essentiellement vis-à-vis de la prééminence anglo-saxonne qu’il suppose, à l’instar de la réaction européenne qui a pu suivre l’annonce du projet Google Print.

C’est l’AHCI (Arts and Humanities Citation Index) publié par le même ISI qui fait l’objet d’un « contre-modèle ». Ses critères de calcul sont identiques à ceux du SCI. Le Département SHS du CNRS reprend les standards de l’ESF en Sciences humaines bien sûr, mais également en Sciences sociales :

1)      le nombre d’années de référence passe de deux à dix, ce qui peut sembler naturel dans les disciplines SHS.

2)      les sources de citations sont générées par un noyau de « revues coeur » à l’intérieur de 18 champs disciplinaires. On compte en moyenne 6 « revues coeur » par discipline - moitié anglophone, moitié francophone - jugées prééminentes dans le domaine au niveau international.

3)      Les 18 groupes sont divisés en quartiles dont l’étendue varie en fonction du nombre des titres constituant le corpus. Les trois premières strates correspondent aux trois « rangs » en vigueur au CNRS :

 A : revues internationales de très haut niveau

B : revues internationales de haut niveau

C : revues d’audience nationale

     La quatrième strate se situe « hors classement ».

Le rang C (et la remarque n’est pas superflue) accorde une importance non négligeable aux revues d’intérêt national.

 

Le Département a dépouillé 125 revues sur la décennie 1992-2001. A travers elles, 38.973 bibliographies terminales d’articles ont permis le recensement de 584.398 citations[7].

Les critères précédemment énoncés contribuent positivement à viser une certaine équité dans l’évaluation. Néanmoins, deux observations s’imposent :

1)      Ces champs disciplinaires font état de très nombreuses citations de monographies, alors que l’article de périodique est quasiment généralisé en sciences exactes et appliquées. On n’est donc plus dans le même environnement documentaire et la comparaison s’en trouve faussée

2)      La méthode ayant présidé au  choix des 125 revues n’est pas fondée, comme dans le cas du JCR, sur des calculs de facteurs d’impact, mais sur la libre appréciation de chercheurs CNRS délégués par le Département dans les 18 champs disciplinaires pour proposer des listes de revues paraissant prééminentes dans le domaine, tant au niveau national qu’international. C’est du moins ce qui résulte d’un sondage effectué par nos soins auprès de certains responsables. Ceci posé, même si la méthode peut sembler souffrir de l’empirisme, on ne peut contester à tel ou tel titre le fait qu’il soit effectivement considéré comme une référence dans la discipline.

 

En dépit d’inévitables oublis ou erreurs, et de l’objectif affiché d’une réévaluation des revues dans la perspective d’une restructuration de l’aide du CNRS, on a voulu corriger un certain nombre d’anomalies propres au modèle de l’ISI et, ne serait-ce que vis-à-vis de cette méthode, il convient d’en prendre acte favorablement.

 

Avant d’aborder le modèle de Citebase défini par Harnad et Brody, il importe de mentionner deux conceptions innovantes en matière d’évaluation : les propositions de Hirsch (pour l’évaluation des auteurs, type SCI) et de Bollen (pour celle des sources, type JCR).

 

En novembre 2005, Jorge E. Hirsch a commis dans les PNAS un article intitulé An index to quantify an individual's scientific research output[8] dans lequel il propose le concept d’ « indice h ».

Dans la relation entre un nombre total de publications et leurs citations, il fait glisser un curseur jusqu’à l’obtention d’une coïncidence approximative entre un nombre équivalent de publications et de citations. Il prend l’exemple d’un physicien renommé, particulièrement fécond en citations : E. Witten. Hirsch affirme : « The highest h among physicists appears to be E. Witten's h, which is 110[9]. That is, Witten has written 110 papers with at least 110 citations each ». Il s’agit en fait d’une moyenne calculée sur un ensemble de données particulièrement fiable dans sa discipline : nous avons effectué ce recensement sur l’archive SPIRES (High-Energy Physics Literature Database, segment d’ArXiv faisant l’objet d’un site dédié[10]) réalisée par le Stanford Linear Accelerator Center et avons abouti à de semblables résultats. A partir de cette moyenne, Hirsch propose une formule permettant d’établir un nouveau facteur a. Pour ce faire, il calcule le carré de h dont le résultat est, de fait et systématiquement, inférieur au nombre effectif total de citations.

Hirsch utilise h² dans une équation qui s’énonce : Nc,tot = ah² dont le premier membre représente le nombre total de citations.

Au terme de plusieurs tests, il obtient une moyenne de a située entre 3 et 5. Avec environ 400 articles et 68700 citations (calcul à partir de SPIRES[11] en mars 2006), Witten détient un indice a proche de 5,7.

Hirsch fait un inventaire des solutions en termes d’indices. Il conteste toutes celles-ci :

1)      Nombre total d’articles. Mesure positivement la production, mais ni sa qualité ni son impact.

2)      Nombre total de citations. Mesure l’impact global ; en revanche n’évince pas les problèmes liés à quelques articles exceptionnellement bénéficiaires de très nombreuses citations dans une masse plus médiocre, ainsi qu’à la position réelle d’un co-auteur dans une équipe rédactrice.

3)      Moyenne de citations par article. Peut mettre en évidence des spécificités de production entre chercheurs appartenant à des tranches d’âge différentes. Mais, dans la masse, difficile à déterminer ; tend à valoriser une faible productivité, à pénaliser l’inverse.

4)      Définition d’un nombre y , seuil de citations (par exemple 50) au-delà duquel un article est jugé « significatif ». Elimine les inconvénients liés aux trois propositions précédentes, donne une idée relativement juste de l’amplitude de l’impact. En revanche, cette définition, si elle est universelle, demeure aléatoire, tant dans son mode de fixation que dans les résultats engendrés (notamment par tranches d’âge).

5)      Nombre de citations associées à un nombre q d’articles les plus cités figurant en tête[12]. Dépasse les inconvénients précédemment inventoriés, mais nécessite un double calcul qui rend les comparaisons plus complexes et peut générer des incohérences au niveau individuel.

D’où, selon Hirsch, l’avantage de l’indice h. Il y associe un indice m portant sur la durée n (représentant un nombre d’années)[13]. M résulte de la pente (slope) h versus n et génère le type de hiérarchie suivante :

a)      m » 1 (h = 20 après 20 ans d’activité) : chercheur de « bon niveau »

b)      m » 2 (h = 40 après 20 ans d’activité) : chercheur responsable d’une équipe de haut niveau dans une université très cotée

c)      m » 3 et + (h = 60 après 20 ans d’activité, voire 90 après 30 ans) : chercheur hors pair, Nobel etc…

L’indice m n’est plus fonctionnel lorsque le chercheur lui-même ne l’est plus. Alors que le h conserve sa validité au-delà de la fin d’activité du chercheur.

A cette hiérarchie correspondent aussi des degrés moyens d’avancement : h=12 pour un « assistant », 18 pour un professeur, 15 à 20 pour un membre de l’American Physical Society, 45 pour un académicien…

Hirsch propose, comme l’ISI, un algorithme correctif pour les auto-citations.

Parallèlement, Johan Bollen, Marko A.Rodriguez et Herbert Van de Sompel proposent un Journal Status[14] qui tient compte de la distinction entre les deux notions de « popularité » et de « prestige ». Elles sont inversement corrélées.

Les revues « populaires » sont fréquemment citées par celles qui sont peu prestigieuses ; elles sont dotées d’un Impact Factor ISI très élevé.

Les revues « prestigieuses » sont définies de façon strictement inverse par rapport aux « populaires ».

La caractéristique déterminante qui les différencie par rapport au nouveau facteur d’impact proposé par les auteurs, c’est leur « Weighted PageRank ». Ce facteur, désigné par la lettre y dépend donc de l’intensité et de la pertinence avec lesquelles s’appliquent à ces revues les principes de l’algorithme mis en place par Google.

Ainsi le facteur y se définit-il comme le produit de l’I.F.-ISI par le Weighted PageRank.

A titre d’exemple, si l’on considère la totalité du corpus analysé par le JCR, le plus fort I.F. est celui de l’Annual Review of Immunology alors que Nature emporte la première place à la fois pour le PageRank et pour le facteur y. Nature est classé en 9ème position pour l’I.F.

Les exemples sont plus significatifs dans le cadre disciplinaire. En Physique, dans la liste de référence des dix premiers I.F. du JCR, 6 revues sont absentes des dix premières de la liste « facteur y ».

Le statut des quatre autres se décline comme suit : 1ère en JCR = 3ème en Y ; 3ème en JCR = 10ème en Y ; 7ème en JCR = 1ère en Y ; 9ème en JCR = 6ème en Y.

Quant au statut des 6 autres présentes dans la liste Y mais à l’inverse absentes dans la liste JCR : 2ème Y =  21ème JCR ; 4ème Y = 17ème JCR ; 5ème Y = 30ème JCR ; 7ème Y = 20ème JCR ; 8ème Y = 12ème JCR ; 9ème Y = 52ème JCR. On voit là un contraste très fort, notamment au niveau du 2ème Y avec un rapport de 1 à 10 par rapport au JCR (21ème)

Le 2ème en Y (Applied Physics Letters) est hebdomadaire et publié par une société savante : l’American Institute of Physics. Le 2ème en JCR (Advances in Physics) paraît 8 fois par an ; il est publié par un éditeur commercial.

Le site de la revue de la société savante, dont beaucoup de chercheurs ont intérêt à être membres, offre un page d’accueil très ouverte en termes de liens, avec notamment une partie « Accelerated articles » et un fil RSS. Moins sophistiquée, celle de l’autre revue (commerciale classique) met en avant de façon relativement spectaculaire sa position dans le JCR.

Applied Physics Letters apparaît en seconde position dans une colonne qui recense le « Top Ten » du PageRank Weight, alors qu’ Advances in Physics est absente de ce même « Top Ten ». Rappelons qu’ Applied Physics Letters apparaît également en seconde position dans le « Top Ten » de l’indice y.

 

 

L’alternative « historique » à laquelle nous faisions initialement allusion est celle que proposent Stevan Harnad et Tim Brody sur Citebase, à partir du miroir britannique du réservoir ArXiv.org[15]. C’est en 1991 que le Los Alamos National Laboratory promeut une archive ouverte en Physique théorique des Hautes énergies : hep-th[16]. Elle constituera le noyau d’ArXiv, autour duquel se développèrent, sous l’impulsion de Paul Ginsparg d’autres archives en mathématiques, en informatique, en astrophysique et en biologie quantitative notamment. Elle représente aussi un réservoir « pionnier » dans le domaine de l’Open Access.

Dans le droit fil de cette philosophie du droit à l’information outrepassant les barrières commerciales, Harnad et Brody conçurent le projet d’expérimenter un algorithme de citations qui, sans s’opposer frontalement à celui de l’ISI, propose dès 1999 une voie qui se veut plus objective et se concrétise dans l’interrogation de Citebase.

Le principe de ce modèle repose sur le rapport existant entre les déchargements et les citations.

a)      il comptabilise et met en balance le nombre d’ouvertures de fichiers correspondant au texte intégral d’un article, et celui des citations y faisant référence dans d’autres articles également répertoriés dans l’archive

b)      il met en lumière le temps de latence existant entre la période d’ouverture et la période de citation ; plus l’écart est faible et plus les citations sont nombreuses, et plus l’on a de chances de tabler sur un article intéressant le domaine

c)      les éléments qui précèdent sont matérialisés par des courbes[17]

d)      le cycle des « avatars » d’un article peut ainsi être observé : ouvert, il peut être cité, puis consulté par les lecteurs de l’article de second niveau qui, à leur tour, pourront le juger suffisamment « fondamental » pour le citer à nouveau et susciter d’autres ouvertures etc… On peut, au bout du compte, retrouver une notion approchant celles de l’Immediacy Index et du Cited Half-Life du JCR, à cette (grande) différence près qu’il s’agit là non pas d’un titre de revue mais d’un texte individualisé

 

Dans les FAQ d’ArXiv, les concepteurs répondent clairement « No » à deux questions[18] :

1)      This is pure vanity, but I’d like to know how many people (and even who) have been retrieveing my paper. Are there any plans to add this facility ? Sans rentrer dans les détails de la réponse, la perspective d’une individualisation à outrance des résultats est catégoriquement refusée pour des raisons qui relèvent d’une déontologie particulière (et qui va justement à l’encontre d’une certaine philosophie du type de celle que peut engendrer l’ISI). Le contre-argument faisant allusion à Big Brother est aussi invoqué.

2)      But it is used to be that I could receive preprint/reprint requests by mail, and thereby identify people with similar interests. Aren’t I losing something ? Là aussi, les concepteurs préfèrent le canal ascendant lecteur/auteur, via une invitation explicite à envoyer un e-mail de prise de contact, plutôt que l’inverse ; dans cette seconde hypothèse, l’auteur aurait accès aux sources d’interrogation de son texte et contacterait ses lecteurs sans demande de leur part.

 

Dans l’affichage des références bibliographiques situées en fin d’article, Citebase propose un lien vers Scholar Google[19].

Apparu fin 2004 sur le Net, ce satellite de la galaxie Google constitue un réservoir de liens vers des articles de périodiques scientifiques, appartenant pour une écrasante majorité d’entre eux aux domaines des sciences exactes et appliquées.

L’algorithme de recherche est protégé et les contours précis de la couverture sont inconnus. Il s’agit en gros des grand éditeurs commerciaux classiques auxquels s’ajoutent les réservoirs « libres ».

On peut observer un référencement à Scholar en marge des articles de certains périodiques électroniques. Par exemple dans l’American Journal of Tropical Medicine and Hygiene[20] (lecture libre au terme d’un an), les noms d’auteurs référencés dans Scholar, ainsi que les articles les citant, mentionnés par ce même moteur, font l’objet de liens appropriés.

Dans l’autre sens, Scholar propose des liens sur la British Library et sur OCLC (on peut visualiser un exemple de renvoi au WorldCat d’OCLC sur l’ouvrage de PG de Gennes[21] ayant trait aux Scaling concepts in polymer physics ). Actuellement, cette translation concerne une sélection de notices WorldCat[22] (2 millions environ sur 53), la couverture concernant 12.000 bibliothèques appartenant à ce réseau. La notice est dotées d’onglets permettant la sélection géographique des bibliothèques détentrices.

 

Ainsi, à l’inverse du modèle de l’ISI et du corpus expérimental du Département SHS du CNRS, mais au contraire à l’image du concept Brody/Harnad, Scholar Google est « ouvert ». Toutefois, alors que les communautés d’ArXiv sont relativement bien cernées, les réponses affichées par Scholar Google, quoique satisfaisantes en apparence, semblent échoir de façon quelque peu aléatoire. Ignorer les modalités exactes de la couverture expose l’outil à être considéré comme une aide certes très utile à la définition d’un paysage documentaire, mais sans la rigueur d’autres réservoirs de citations.

Le module d’aide est focalisé très sensiblement sur l’insertion des références et s’adresse au chercheur qui publie ; il veut essentiellement répondre à la question basique d’un utilisateur  classique du SCI: « comment puis-je retrouver mes propres articles dans Scholar Google ? » (question 1) et, plus loin : « pourquoi ne suis-je pas (encore) dans Scholar Google ? » (question 6). Plus simplement et plus objectivement, cette optique positionne Scholar Google comme une alternative au SCI, outil d’évaluation des auteurs pouvant accessoirement aider à  l’élaboration d’une bibliographie. Il s’ensuit deux types d’attitudes :

a)      un étudiant avancé pourra utiliser cette base comme un outil pluridisciplinaire comparable à Scirus ou Scienceresearch[23] se substituant avantageusement pour lui aux bases de données bibliographiques classiques inaccessibles sans contrat payant préalable. Il ne verra pas forcément l’utilité des citations alors même que les résultats sont rangés dans l’ordre décroissant du nombre de citations, faisant donc apparaître d’abord des documents relativement anciens.

b)      le chercheur confirmé aura tendance à substituer l’interrogation de Scholar Google à celle de l’ISI, en raison (comme dans le cas précédent) du caractère gratuit de l’un et  restreint parce que (très) onéreux de l’autre. Mais sans voir que le SCI répond malgré tout à une notion extrêmement rigoureuse (du moins depuis 1997) des critères de requête. Scholar Google peut en effet surprendre sur l’interrogation des auteurs si les initiales de prénoms sont mal concaténées aux patronymes et les homonymes exigent, dans ce réservoir pluridisciplinaire, d’être associés à des « mots-clefs » de domaines pris au hasard pour les départager. Cela peut apparaître, compte tenu du caractère « ouvert » du réservoir, comme un sérieux handicap.

 

Il est essentiel de mentionner l’accord conclu entre l’INIST/CNRS et Google. L’annonce est relayée par La Depêche du GFII le 1er février 2006 sous le titre « L’INIST fait de Google Scholar le moteur d’accès à ses portails thématiques »[24] Les usagers habilités du Portail propre au CNRS bénéficient de la passerelle entre les références affichées via Google Scholar (abrégé ci-après GS) et les textes intégraux accessibles sous lien INIST. Un service public utilise donc celui d’une entreprise comme Google pour permettre aux chercheurs d’accéder plus facilement et plus rapidement aux documents primaires, tandis que les investigations laborieuses et longues de projets tels que la Bibliothèque Numérique Européenne et Quaero se poursuivent en parallèle. N’y aurait-il pas là, sans chercher malice, un problème déontologique ?

 

Examinons en détail les échos pouvant retentir chez les usagers.

D’abord l’opinion d’un climatologue[25] dont le message envoyé sur un forum de discussion nous semble emblématique de la perception de GS par la communauté : un outil qui, bien qu’objectivement imparfait, apporte un plus. Mais il paraît clair à l’utilisateur que le statut délibérément libre de cet outil ne lui permettra pas de franchir certaines limites et donc d’accéder à une rigueur « scientifique » souhaitable.

Il constate que « cela fonctionne » et qu’il l’utilisera avant même de consulter le Web of Science dont l’interface lui semble trop complexe pour un usage fréquent.

Il admet les limites de GS : d’une part celles qu’impliquent ses relations définies avec telle ou telle entité propriétaire de sources. Si un document n’est pas directement couvert par elles, il ne le sera éventuellement que par le biais de pages personnelles.

D’autre part, le compte des citations n’est pas et ne peut pas être exhaustif. Il ne conteste pas l’utilité de leur consultation, mais refuse de les prendre en considération pour établir un modèle statistique fiable.

Il n’admet pas les critiques relatives à l’impossibilité d’ouvrir le texte intégral de publications annoncées alors que l’utilisateur n’a pas souscrit d’abonnement. Il juge normal cet état de fait,

et positive la mise à disposition d’au moins un résumé lorsque la position institutionnelle (ou « géographique » s’il interroge de son domicile sans avoir les droits nécessaires) de l’usager ne lui permet pas d’aller plus loin : « having the reference is half the battle ». Comme dit plus haut, il arrive occasionnellement que des e-prints émanant directement de l’auteur soient disponibles en sus.

Sur le plan publicitaire, il n’est pas dupe et pense que Scholar ne restera pas à l’abri de ce phénomène très longtemps. Il n’est pas a priori farouchement opposé à des annonces spécifiques aux besoins des chercheurs, y compris à celles qui pourraient apparaître automatiquement en fonction des requêtes saisies par l’utilisateur.

Deux chercheurs en Sciences de l’Environnement, Daniel Pauly et Konstantinos I. Stergiou[26], font une étude comparative SCI/Scholar qui conclut à des résultats approchants.

Ils notent d’emblée (leur article paraît en décembre 2005) qu’Elsevier a interdit à Scholar la recherche directe sur les textes intégraux, l’autorisant seulement dans les résumés ; cela ne nuit pas, selon eux, à la collecte.

Ils ont sélectionné 3 auteurs dans onze disciplines, avec un nombre bas, moyen et élevé de citations, issus de différentes aires géographiques. La période couverte est 1925-2004. De ce fait, le nombre de citations est double dans l’ISI dont le réservoir de littérature ancienne citée est conséquent. Scholar ne bénéficiera que progressivement de l’alimentation de périodiques anciens. Ils estiment qu’à la longue, GS est susceptible de dépasser l’ISI en performance. Selon eux, le calcul d’un I.F. devrait être rendu possible à moyen terme sur Scholar.

Leur argument clé est de toute manière la gratuité de Google. A service quasiment équivalent, ils jugent que le Web of Science est hors de prix notamment pour les pays en voie de développement.

 

Parmi les professionnels de la documentation, les avis de Rita Vine et Péter Jacsó paraissent faire autorité. La première est consultante à la Société Search Portfolio Inc. de Toronto et met l’accent [27] sur l’utilisation de GS dans le domaine biomédical. Avant d’entrer dans le vif du sujet, elle avance une critique émise par beaucoup, sur l’absence d’informations précises relatives à l’algorithme de recherche et sur la couverture en général. Pauly et Stergiou avaient mentionné le défaut de collecte à partir des textes intégraux publiés chez Elsevier. R.Vine reprend cet argument dans un sens plutôt négatif et ajoute au tableau des absents du moissonnage les textes intégraux de l’American Chemical Society et ceux qui sont hébergés par Highwire Press.

En février 2005, Rita Vine met en évidence une année de retard dans l’indexation de GS des publications biomédicales par rapport à PubMed[28]. Elle déplore également les insuffisances de l’interface de requête, y compris l’avancée. Ces deux défauts graves sont défavorables à l’évaluation de Scholar vis-à-vis de PubMed, lui aussi gratuit et universel, mais autrement plus sophistiqué. Il est clair que les professionnels du domaine biomédical n’hésiteront pas entre les deux. R.Vine admet toutefois que G.S reste à la portée de l’utilisateur qui n’est pas hautement spécialisé, à l’instar d’étudiants plus ou moins avancés, habitués au Google généraliste et réticents à l’utilisation d’interfaces documentaires plus évoluées.

Rita Vine reprend aussi l’argument du climatologue précité sur la possibilité de collecter via GS un exemplaire « libre et personnel » du texte commercialisé par ailleurs.

Elle suggère que l’usage intensif de Scholar, dû à sa gratuité, peut à la longue générer une inflexion des I.F. de l’ISI (on retrouve peut-être par là une incidence du facteur y). Quoiqu’il en soit selon elle, GS se range au moins pour l’instant dans une catégorie de produit « plug-in-the-keyword-and-hope-for-the-best »…

Péter Jacsó[29] est spécialiste des Sciences de l’Information à l’Université de Hawaï; il a commis un certain nombre d’articles sur l’analyse comparée ISI/Google. Il semble néanmoins graviter dans l’orbite de Gale, agence de conseil en information de Thomson Inc., éditeur de l’ISI. De ce fait, les comparaisons sont assez tranchées. Il déplore que la gratuité génère dans ce cas la médiocrité. Il juge l’interface de GS trop élémentaire par rapport à celles de Scopus et du  Web of Science, pas assez rigoureuse, peu performante. La mise à jour est lente avec parfois des conséquences catastrophiques. Des remarques similaires à celles de Rita Vine sur la collecte des textes intégraux, le flou des sources.

En décembre 2004, Jacsó effectue un test[30] sur GS en interrogeant le nombre de documents relevés sur Ingenta : ce serveur hébergeait alors 17.343.034 textes, Google n’en relevant que 128.000. Le même test effectué en avril 2006 ne montre qu’une faible progression chez GS : 304.000 relevés sur Google Scholar contre 19.931.363 effectifs chez Ingenta. Des tests identiques sont effectués par Jacsó sur PubMed etc… Ces écarts se répercutent bien évidemment sur le nombre total de documents chez GS et deux produits étudiés de façon comparative par Jacsó : WoS (Web of Science) et Scopus.

Il a par ailleurs effectué la même requête sur deux périodes différentes, ayant le même terme mais un début dissemblable. Le nombre de réponses est supérieur, dans la période courte, à celui qui couvre la longue.

Il relève des redondances chez GS, d’items identiques dotés d’URL différentes, inclus dans le total estimé des réponses.

Le booléen, soit « en toutes lettres » (i.e. avec le mot désignant l’opérateur) en mode basique, soit en fenêtre « l’un ou l’autre » du mode avancé, donne des résultats pour le moins bizarres: refaisant le test de Jacsó en avril 2006, nous obtenons:

-         protein = 10.100.000 (0.06 secondes)

-         proteins = 5.010.000 (0.33 secondes)

-         protein OR proteins = 2.110.000 (0.05 secondes)

 

Il n’est pas impossible que le facteur « temps » (lui-même variable en fonction des circonstances de l’émission de la requête) intervienne dans ce décompte, en rapport avec des problèmes de « time-out ». Quand bien même cette hypothèse se révélerait exacte, il y a là un caractère aléatoire qui laisse perplexe.

Enfin, Jacsó fait un test sur le périodique Current Science et note des réponses incluant des titres de source où, certes, ces deux mots sont présents, mais d’autres aussi. Le test effectué en avril 2006, en mode avancé, avec les deux termes en fenêtre « Publication », donne 92.300 réponses, dont un nombre important ne retient que current. On eût pu penser que Jacsó aurait omis, de façon un peu malveillante, d’introduire les guillemets dans la requête afin de charger la critique. Mais non : les guillemets génèrent 64.500 références incluant des réponses tout aussi aberrantes, du type : Current opinion in… suivi d’un terme désignant une spécialité médicale, déjà repérées dans la requête sans guillemets.

 

On examinera, en appui de cette analyse, quelques blogs représentatifs notamment des usages en bibliothèque.

Le premier cité ici date du lancement de Google Scholar. Sur Ebyblog, « Students and Information », le nommé Ryan[31], qui se présente comme une « tech support person at the library », poste un premier avis le 21 novembre 2004. Il déclare d’emblée : « I personally hate using the online indexes that my library provides » . “La haine” contre l’indexation classique est relativement bien partagée par un nombre croissant d’étudiants à l’heure actuelle qui apprécient l’interface conviviale du Google généraliste et, partant, du Scholar. Ryan souligne la différence existant effectivement entre les besoins pointus des chercheurs et ceux, plus approximatifs, des étudiants d’un certain niveau (qui pourrait correspondre en France au M1) sans que cela soit péjoratif en aucune manière. Ce n’est pas parce qu’un système d’information permet à un usager d’un certain type de « débroussailler » le terrain en visualisant une portion significative de l’état de l’art d’une question, que l’outil est pour autant à dénigrer. Ceci dit, en l’occurrence, l’état de l’art peut pâtir d’un retard à l’insertion, comme on l’a vu à travers les tests de Vine et Jacsó.

Ryan est lucide : il ne souhaite pas que les étudiants, au vu des facilités offertes par Scholar, limitent leurs investigations à cet outil. Il souhaite au contraire que, du fait de l’approximation du système GS, ou plutôt du manque de rigueur délibérément admis eu égard aux avantages considérables qu’il offre par ailleurs, les autres bases de données professionnelles disponibles en bibliothèque fassent l’objet d’une formation de la part des spécialistes en documentation, à l’intention des étudiants, d’une manière plus systématique.

Il qualifie GS de « killer feature » ; certes, lui rétorque le blogueur M, mais ce « killer » existe déjà : il se nomme ISI Web of Science, et sa doublure Scopus…   Ryan persiste : à chaque niveau son outil, sans que cela soit dévalorisant.

Chuck Richard et David Curle (Outsell consultants) mettent en avant[32] la concurrence évidente avec ces deux autres produits (WoS et Scopus), à la fois du fait de la simplicité d’utilisation et de la gratuité de GS. En contrepartie, il soulignent ses déficiences connues : manque de rigueur et flou sur les sources.

On pourra citer, en guise de conclusion, un mémoire d’analyse bibliographique d’étudiants en Master 2 Professionnel d’écologie[33]. Ils restreignent au domaine « Biology, Life Sciences, and Environmental  Science » une requête relative à l’impact des pesticides sur le développement chez la grenouille léopard  (pesticides, développement, leopard frog) : « En cherchant ces termes dans tout le texte, on obtient 217 résultats. En cherchant seulement dans le titre, on n’obtient aucun résultat. Cela va donc du tout au rien. C’est l’inconvénient de Scholar Google. Il y a beaucoup d’informations mais elles ne sont pas ordonnées. Sur les 217 résultats, il y en a beaucoup qui n’ont rien à voir avec notre question étant donné que la recherche est faite dans l’ensemble du texte. Il faudrait une échelle intermédiaire entre le texte entier et le titre. » On voit que l’outil est naturellement utilisé comme base bibliographique ;  l’ordre d’affichage directement lié aux citations n’est pas perçu comme tel. De plus, l’utilisation en parallèle d’interfaces plus performantes admettant la troncature, destinées à l’interrogation de bases classiques (Biosis, Pascal…), les a incités à utiliser l’astérisque en mode avancé de GS alors qu’elle est inopérante sur ce système (comme d’ailleurs en Google généraliste). Seul le singulier (la séquence de caractères saisie avant cette troncature inopérante) est pris en compte et fausse, de ce fait, les résultats attendus. En indiquant les variantes plurielles, tant pour les pesticides que pour les grenouilles, on atteint (dans un test effectué en avril 2006) 2070 réponses, soit le centuple de la requête précédente

Il est clair par ailleurs que l’absence totale de vocabulaire contrôlé, l’impossibilité d’inclure implicitement  les synonymes dans la requête, constituent une caractéristique fondamentale du système. Cette configuration répond bien, dans une certaine mesure, à la réticence aujourd’hui communément éprouvée vis-à-vis des index, ainsi que Ryan le signalait dans le blog cité plus haut.

Mais ces dernières considérations tendent à faire oublier que Google Scholar est, malgré tout, conçu à la base comme un outil fondé sur le principe des citations, lesquelles demeurent nonobstant le sujet principal de la présente analyse. Elles s’inscrivent de toute évidence dans un système que Boltanski et Chiapello définissent sous le vocable de « coopétition »[34]. Ils résument ainsi un état de fait assez prégnant dans la société actuelle : « La transmission d’information joue un rôle essentiel dans l’établissement du lien dans tous les secteurs où la valeur ajoutée est d’ordre cognitive, comme c’est le cas, par exemple, pour la recherche scientifique. Chacun des partenaires peut espérer avoir accès à de l’information détenue par l’autre, soit en offrant lui-même de l’information en partage soit, si la relation est asymétrique, en obtenant de l’information sans contrepartie en échange, si l’on peut dire, de la connexion elle-même ; les plus petits présentant spontanément aux plus grands l’information qui leur sera utile, pour se rendre intéressants c’est-à-dire, à la fois, pour être remarqués et identifiés et pour que les plus grands trouvent un intérêt à rester en contact avec eux. »[35]

 

Au vu de ce qui précède, il apparaît hautement souhaitable d’explorer rapidement la voie d’un nouvel outil d’évaluation libre d’accès, mais dont les règles seront clairement définies, tant au niveau de la couverture qu’à celui des critères d’analyse statistique.

Ce nouveau modèle pourrait combiner des éléments d’investigation envisagés dans certaines expériences relatées ci-dessus (CNRS/SHS, Citebase, facteurs h et y), associant avec une impartialité optimale les objectifs d’évaluation des sources et des auteurs. Vaste projet sans doute, mais d’une brûlante actualité…

 

 

Bucarest, 2 juillet 2005 / Rennes, 29 juin 2006

 

 

 



[1] Dickersin, Kay; Scherer, Roberta; Suci, Eunike Sri Tyas; Gil-Montero, Michelle. Problems with Indexing and Citation of Articles with Group Authorship JAMA 2002 ; 287, 2772-2774

[2] Voir aussi les arguments de Péter Jacsó : “A Deficiency in the algorithm for calculating the Impact Factor of scholarly journals : the Journal Impact Factor”. Cortex. 2001 Sep;37(4):590-4.

[3] Nature 415, 101 (10 January 2002) | doi: 10.1038/415101a

[5] par exemple dans l’Enseignement supérieur et la Recherche de la république fédérale d’Allemagne

[6] Sciences de l’Homme et de la Société N°69, mai 2004, p.8-10 : Building a European Citation Index in Humanities

[7] Sur les détails techniques, voir entre autres : l’ Introduction à cette enquête par Christian Henriot, ibid. p. 7, La Méthodologie de l’enquête. Ibid. pp.53 sqq et les Commentaires sur les résultats de l’enquête. Ibid. p. 55

[8] PNAS, Nov. 15, 2005, 102 (46) 16569-16572 www.pnas.org/cgi/doi/10.1073/pnas.0507655102

[9] A titre d’exemple, l’indice h de P.-G. de Gennes est de 79

[11] Les mêmes calculs effectués à partir du SCI donnent des résultats proportionnellement équivalents mais avec des valeurs considérablement inférieures : environ 140 articles, 14800 citations (dont onze ayant un nombre de citations > 110). Le débat ne porte pas ici sur les Archives Ouvertes, mais il ne serait pas, en l’occurrence, dénué d’intérêt.

 

[12] A l’instar des Top 5 de Citebase ; voir plus loin.

[13] Le facteur temps est aussi pris en compte dans Citebase

[14] Rodriguez, Marko A.; Bollen, Johan; Van de Sompel, Herbert. - Journal Status.  arXiv:cs.GL/060103 v1  9 Jan 2006  http://www.arxiv.org/PS_cache/cs/pdf/0601/0601030.pdf

[16] cf. supra le site de SPIRES

[17] cf. les liens d’aide contextuelle explicites sur ces représentations

[19] http://scholar.google.com  Les deux termes constitutifs du nom sont souvent inversés dans la pratique.

[21] Requête : {author:"pg de gennes"}

[25] Enfield (Forums Searchenginewatch Member). - Google launches search for scholars. 24 Nov. 2004

http://forums.searchenginewatch.com/showthread.php?threadid=2812

[26] Pauly1, Daniel; Stergiou, Konstantinos I. - Equivalence of results from two citation analyses: Thomson ISI’s Citation Index and Google’s Scholar service. Ethics in science and environmental politics. 2005:33–35 Published December 22 http://www.int-res.com/articles/esep/2005/E65.pdf

[27] Vine, Rita. - Google Scholar [review]. Med Libr Assoc. 2006 January; 94(1): 97–99.

http://www.pubmedcentral.nih.gov/articlerender.fcgi?artid=1324783

[28] Vine, Rita. - Google Scholar is a full year late indexing PubMed content. [Web document]. 2005 Feb 8. [cited 10 Sep 2005]. <http://www.workingfaster.com/sitelines/archives/2005_02.html#000282>

 

[30] Jacsó, Péter. – Google Scholar Beta. Péter's Digital Reference Shelf. December 2004

http://www.galegroup.com/servlet/HTMLFileServlet?imprint=9999&region=7&fileName=/reference/archive/200412/googlescholar.html

[31] Ebyblog (Students and Information Blog). – Google Scholar and The Fury Unleashed. Ebyblog. November 21st, 2004. http://blog.ryaneby.com/archives/google-scholar-and-the-furry-unleashed/  [sic 2 “r” à furry en URL, 1 seul “r” en titre de document]

[33] Capber, Stéphanie; Laborde, Nolwenn; Rougé, Christelle. – Impacts des pesticides sur le développement chez la Grenouille Léopard. Rapport d’IST, Module Ouverture, Master 2 Gestion de la Biodiversité, Univ. Toulouse III, février 2006, p.8

[34] Boltanski, Luc ; Chiapello, Eve. – Le nouvel esprit du capitalisme. Paris : Gallimard, 1999 (NRF Essais), p.197

[35] Ibid. p.196