Statistiques d’utilisation

COUNTER : harmoniser pour décider 

 

Chérifa Boukacem-Zeghmouri, Lille 3 - Geriico, boukacemc@yahoo.fr

Joachim Schöpfel, INIST-CNRS, schopfel@inist.fr

 

Pourquoi une nouvelle norme : Les « 3 C »

A l’ère des NTIC et des bibliothèques numériques, mesurer l’utilisation des ressources électroniques en ligne (revues, bases de données, livres etc.) devient une nécessité pour tous les acteurs : pour évaluer la valeur des différents produits et services, planifier l’infrastructure technique et argumenter les décisions d’achat.

La question du « qui utilise quoi quand et comment » détermine de plus en plus la politique tarifaire des éditeurs, hébergeurs et agences, en particulier à un moment où l’on commence à progresser des « big deals » vers un achat plus sélectif. Du côté des utilisateurs, cette question influence la répartition des dépenses et coûts, un aspect crucial pour les consortia et établissements multi-sites/multi-services (cf. Bevan et al. 2005).

Or, quelle information les éditeurs etc. doivent-ils proposer à l’utilisateur ? Comment interpréter ces données ? Pour être comparables et utiles, les statistiques d’utilisation doivent être crédibles, cohérentes et compatibles. Ces « 3 C » définis par Shepherd (2004) sont à l’origine des recommandations COUNTER.

Chronique du succès COUNTER

Alors que la prise de conscience du problème du manque d’harmonisation de la collecte et de la présentation des statistiques date du milieu des années 1990 (Duy 2004), COUNTER (Counting Online Usage of Networked Electronic Resources) est la seule initiative à avoir réussi à intégrer les différentes approches, à fédérer les principaux acteurs (cf. encart 1) et à susciter suffisamment d’adhésion et de dynamisme pour devenir en quatre ans une sorte de norme internationale pour les statistiques d’utilisation.

Après sa naissance début 2002, les premiers mois du projet COUNTER ont servis à faire connaître la démarche, surtout auprès de l’industrie de l’information, à préparer des recommandations pour les bibliothèques, éditeurs et autres fournisseurs d’informations, et à pérenniser l’initiative par la création d’une société à but non lucratif, « Counter Online Metrics ».

Aujourd’hui, le succès et là : Selon l’estimation du projet, les éditeurs qui ont adoptés les recommandations COUNTER (dont Elsevier, Springer, Blackwell, Taylor & Francis, Wiley) représentent plus de 60% des articles indexés par le Science Citation Index (revues avec facteur d’impact). Dans les négociations, la conformité avec les recommandations COUNTER est de plus en plus utilisée par les éditeurs comme argument de vente, par les bibliothèques comme critère d’évaluation et de sélection.

Fin 2005, la société comptait 188 membres dont 52 éditeurs et intermédiaires (« vendors »), 53 consortia, 70 bibliothèques et 13 associations professionnelles, lobbys etc. Pour le service rendu aux relations entre éditeurs et bibliothèques, COUNTER a obtenu en 2004 le prix de l’Association of Learned and Professional Society Publishers (ALPSP Award).

L’information sur COUNTER est assurée principalement via le site du projet[1]. Promotion du code et formation se font à travers de conférences, ateliers et stages (UKSG, NFAIS, NASIG etc.), diverses publications (Shepherd 2003, Boukacem-Zeghmouri et Schöpfel 2005) et une liste de discussion[2]. En concertation avec COUNTER, l’INIST-CNRS assure la traduction en français des différents documents sur son site[3].

D’un « code » à l’autre

Le projet COUNTER est conçu comme un « code de bonnes pratiques » unique, international et flexible permettant de mesurer l'utilisation des produits et services en ligne d'une manière crédible, cohérente et compatible (les « 3 C »), en se fondant sur les données mises à disposition par les éditeurs, hébergeurs et agences. Il spécifie le format, le contenu, la périodicité et le mode de transmission des statistiques sous forme de sept « usage reports ».

La première version du Code COUNTER concernant les revues et bases de données a été publiée en janvier 2003. Une 2e « release » qui intègre l’expérience et les commentaires des différents protagonistes est rentrée en vigueur depuis janvier 2006.

En parallèle, COUNTER a développé un 2e code de bonnes pratiques pour les livres et ouvrages de références. Ce nouveau code est actuellement ouvert à discussion et sera validé pour 2007 (cf. Shepherd 2006).

Comprendre les termes…

Le 1er objectif de COUNTER était d’arriver à un consensus sur le contenu des statistiques. Quelle information l’éditeur doit-il donner à l’utilisateur ? Comment ce dernier peut-il interpréter les données ? Est-on sûr de bien comprendre ce qui a été compté ? Quel est le sens exact de « search », « request », « turnaway », « full-text download », « item » ou « session » ?

Objectif atteint : le site COUNTER propose un glossaire qui contient plus de 50 notions réparties dans 7 catégories (données bibliographiques, type et origine des pages, authentification, éléments commerciaux etc.), avec une définition et une description (exemples, formats).

…lire les chiffres …

A partir de cette terminologie, COUNTER s’est attelé à définir un cadre pour la présentation des statistiques. En fait, le code COUNTER propose sept niveaux différents qui se distinguent selon leur objet (revues vs. bases de données) et leur degré de complexité.

Le niveau de base pour mesurer l’utilisation des revues est le « Journal Report 1 » (JR1) qui chiffre le nombre de requêtes réussies d’un article en texte intégral, par revue et par mois :

 

 ISSN

 print

 ISSN

  online

 Janv - 01

 Févr - 01

 Mars - 01

Cumul année

Total revues

 

 

 6637

 8732

 7550

 45897

Revue AA

 1212-3131

 3225-3123

 456

 521

 665

 4532

Revue BB

 9821-3361

 2312-8751

 203

 251

 275

 3465

Revue CC

 2464-2121

 0154-1521

 0

 0

 0

 0

Revue DD

 5355-5444

 0165-5542

 203

 251

 275

 2978

Chaque revue est identifiée par son titre et ISSN (print et/ou online). Le tableau contient également le cumul annuel pour chaque revue et le cumul mensuel pour l’ensemble des titres. La 2e version du JR1 (janvier 2006) ajoute le nom d’éditeur et la distinction HTML/PDF.

Les autres « rapports » incluent entre autre les interrogations sans accès au texte intégral, le format du document (HTML, PDF) ou le nombre des séances et les chiffres pour les bases de données.

…et communiquer les données

Pour la transmission des données (3e objectif), COUNTER préconise deux formats (csv ou xls), la mise à disposition sécurisée sur un serveur, une périodicité au moins mensuelle, une mise à jour dans les quatre semaines après la fin de chaque mois et une information sur l’année en cours N et l’année N-1. Afin de faciliter la production et transmission des statistiques, COUNTER propose depuis 2004 une DTD (COUNTER XML DTD) qui peut être adaptée à d’autres formats que ceux des rapports du code.

Pour aller plus loin, COUNTER participe aujourd’hui à un nouveau projet qui doit faciliter l’intégration automatique des statistiques dans le système d’information de l’utilisateur (cf. plus loin).

Comment devenir « COUNTER compliant » ?

Aujourd’hui, le « Journal Report 1 » tend à devenir un standard pour les éditeurs. Les plus importants éditeurs et fournisseurs d’information produisent déjà des statistiques d'utilisation « COUNTER compliant » ou sont en train de se mettre en conformité avec le code. En chiffres : Fin 2005, 46 fournisseurs d’information (dont Elsevier, Springer, EBSCO, Swets, Ingenta, HighWire, Project MUSE, Thomson Scientific, Ovid, BioOne ou la Public Library of Science) étaient en conformité avec le code COUNTER pour une partie ou toute la gamme de leurs produits et services.

Cependant, le projet COUNTER ne se contente pas de publier des recommandations. Afin de faciliter la mise en œuvre et de contrôler l’application des différents « usage reports », COUNTER préconise une méthodologie précise pour les éditeurs (cf. encart 2) qui inclut une évaluation par cinq bibliothèques « testeurs » (Cornell University, University of California San Diego,  University of Cranfield, University of Leicester, GlaxoSmithKline) et offre depuis 2005 la possibilité d’un audit selon des critères et procédures transparents et par des bureaux d’audit indépendants (cf. Appendix E du code COUNTER).

En France, l’accès aux revues et bases de données en ligne progresse rapidement, et les éditeurs français commencent à mettre leurs publications en ligne. Dans ce contexte, les statistiques revêtent une importance stratégique, et les acteurs en prennent conscience. Deux exemples : CAIRN[4] qui héberge 65 revues SHS de plusieurs éditeurs (dont De Boeck, érès, Belin, La Découverte) produit depuis janvier 2006 les statistiques d’utilisation conformes au JR1 de la « release 2 ». EDP Sciences[5] avec 36 titres actifs en ligne sera « COUNTER compliant » à l’automne de cette année.

COUNTER, une idée qui fait des petits : SUSHI

SUSHI (Standardized Usage Statistics Harvesting Initiative)[6] est une initiative de l’Organisation Nationale des Standards de l’Information (NISO), plus spécifiquement d’un groupe de travail co-présidé par A. Chandler (Cornell University) et O. Pesch (EBSCO Information Services).  SUSHI a été créé dans l’esprit des efforts COUNTER et soutenu par lui dans le but « d’aider les bibliothécaires à mesurer l’utilisation des contenus sur internet »[7]. 

En décembre 2005, SUSHI était présenté comme suit : « Le nouveau service Web standardisé SUSHI permettra donc aux bibliothèques d’accéder facilement à l’ensemble de ces données statistiques normalisées, de les collecter et de les analyser et ce depuis une application spécifique, le plus souvent reliée à un logiciel de gestion de ressources électroniques »[8]. L’objectif est d’automatiser la transmission des données statistiques par l’import des rapports en format XML dans les Electronic Resources Management Systems (ERM) des bibliothèques et par là, réduire les coûts administratifs liés à la récupération et compilation « manuelle » des statistiques.

Swets a été l’un des premiers acteurs du marché à tester SUSHI avec les SGBD d’Innovative Interfaces et d’Ex Libris. Les résultats présentés lors de la 8ème Conférence Internationale de Bielefeld se sont avérés concluants et soulignent le succès de SUSHI (Jongejan 2006). Dans la continuité de l’initiative SUSHI, ce début d’année 2006, une version d’essai du programme sera lancée ; les avancements pourront être suivis sur le site de SUSHI[9].

Clairement orienté vers les bibliothèques, mais aussi vers les fournisseurs de contenu, SUSHI est une initiative dans laquelle il n’est pas anodin que les agences d’abonnements se soient impliquées dans la mise en place (EBSCO) mais aussi dans le test (Swets). C’est clairement un service sur lequel ces acteurs misent pour démontrer la valeur ajoutée de leur rôle de médiateurs dans le contexte électronique.

Bibliographie

Bevan, S., Dalton, P. et Conyers, A. : « How usage statistics can inform national negotiations and strategies ». Serials 2005, vol. 18, no. 2, pp. 116-123.

Boukacem, C. et Schöpfel, J. : “Statistiques d’utilisation des ressources électroniques en ligne : le projet COUNTER”. Bulletin des Bibliothèques de France 2005, vol. 50, no. 4, pp. 62-66.

Duy, J. : « Usage data : issues and challenges for electronic resource collection management ». In Fowler, D.C. (éd.) : E-Serials Collection Management : Transitions, Trends and Technicalities. New York : Haworth 2004, pp. 111-138.

Jongejan, A. : « A vision for the future service landscape ». 8th International Bielefeld Conference, Février 2006, <http://conference.ub.uni-bielefeld.de/2006/docs/presentations/jongejan_biconf06_final.ppt#> (Consulté le 15 mars 2006)

Shepherd, P. T. : « COUNTER : from conception to compliance ». Learned Publishing 2003, vol. 16, no. 3, pp. 201-205.

Shepherd, P. T. : « Project COUNTER : Setting International Standards for Online Usage Statistics ». Joho Kanri (Journal of Information Processing and Management) 2004, vol. 47, no. 4, pp. 245-257.

Shepherd, P. T. : « The COUNTER Code of Practice for books and reference works ». Serials 2006, vol. 19, no. 1, pp. 23-27.

 


Encart 1

 

Les membres fondateurs de COUNTER

  • National Information Standards Organization (NISO)
  • Elsevier
  • Taylor & Francis
  • Oxford University Press
  • Blackwell Publishing
  • Lippincott Williams & Wilkins
  • Nature Publishing Group
  • Institute of Physics Publishing
  • Association of Learned & Professional Society Publishers (ALPSP)
  • Association of American Publishers
  • International Association of Scientific Technical & Medical Publishers
  • Association of Subscription Agents and Intermediaries (ASA)
  • EBSCO
  • Ingenta
  • ProQuest
  • Association of Research Libraries (ARL)
  • Joint Information Systems Committee (JISC)
  • UK Serials Group (UKSG)

 


Encart 2

Cinq questions à Peter T. Shepherd, directeur du projet COUNTER

Qui peut devenir membre du projet COUNTER ?

Tous les éditeurs, intermédiaires, bibliothèques, consortia, organisations gouvernementales et associations professionnelles (comme l’ARL – Association of Research Libraries) peuvent devenir membre de COUNTER. Nos membres – plus de 200 autour du monde - sont des organisations plutôt que des individus, et ils sont listés sur notre site Web.

Qu’est-ce qu’un éditeur ou fournisseur d’information français doit faire s’il veut se mettre en conformité avec COUNTER ?

Il doit suivre plusieurs étapes qui sont décrites en détail dans les codes COUNTER :

  • Décider quel code correspond à ses ressources en ligne. Actuellement, nous avons deux « Codes of Practice », l’un pour les revues et bases de données, l’autre pour les livres et ouvrages de référence.
  • Choisir le « usage report » de la Section 4 du code qui correspond à ses ressources et adapter ses statistiques pour être en conformité avec les spécifications du « usage report » retenu.
  • Une fois que l’éditeur pense que ses statistiques sont en conformité avec COUNTER, me contacter (pshepherd@projectCounter.org) pour que j’arrange une évaluation par nos sites test (bibliothèques).
  • Quand les sites test auront approuvé les statistiques, l’éditeur devra remplir et signer la « Declaration of COUNTER compliance » (Appendix B du Code of Practice). Ensuite, l’éditeur sera ajouté à la liste des « compliant vendors » sur le site de COUNTER.

Serait-il possible d’organiser un stage de formation sur les statistiques d’utilisation en France ?

Oui, ce serait possible. Nous l’avons fait pour les bibliothécaires au Royaume Uni avec la UK Serials Group. D’autres stages sont prévus en 2006. Un stage dure un jour et contient, à part ma présentation de COUNTER, des communications sur l’implémentation des recommandations (éditeurs) et sur l’utilisation des rapports COUNTER (bibliothécaires). Je serais heureux de discuter l’organisation d’un tel stage avec une organisation en France.

Quelles sont les difficultés majeures pour l’implémentation de COUNTER ?

En fait, il n’y en a pas vraiment car il y a des organisations capables de développer des rapports statistiques pour les petits éditeurs qui n’ont pas les moyens pour le faire eux-mêmes. Les vrais défis sont du côté des bibliothécaires, et ils sont de deux natures :

D’abord, le volume des données en provenance des différents éditeurs peut être difficile à gérer. Des fournisseurs d’information commerciaux ont développé des outils pour automatiser la collecte et la consolidation des statistiques d’utilisation de différentes sources. De même, NISOa développé un protocole – SUSHI – qui facilite la collecte automatique des statistiques. Ce protocole sera largement implémenté.

Ensuite, beaucoup de bibliothécaires ne sont pas d’experts en matière de statistiques d’utilisation et n’ont pas le temps pour les gérer. Les différentes initiatives dont nous avons parlées les aideront à trouver une solution, et nous contribuons activement à renforcer leurs compétences dans ce domaine par des stages, présentations etc.

Quel est l’avenir de COUNTER ?

Les développements majeurs de COUNTER pour 2006 et 2007 sont :

  • La publication et implémentation d’un nouveau « Code of Practice » pour les livres et ouvrages de référence en ligne.
  • L’implémentation d’audits indépendants pour les statistiques des fournisseurs d’information à partir de 2007.
  • Le développement du projet en Europe continental.