Colloque TICE Méditerranée – Gênes, 26 et 27 mai 2006

« L'humain dans la formation à distance: les enjeux de l’évaluation»

 

Description et évaluation des ressources pédagogiques :
quels modèles ?

 


Annaïg Mahé

Post-doctorante

mahe.annaig@wanadoo.fr + 33 1 43 26 13 96

Adresse professionnelle

Unité Régionale de Formation à l’Information Scientifique et Technique

17 rue des Bernardins, 75006 PARIS

 

Elisabeth Noël

conservateur de bibliothèques

noel@enssib.fr + 33 4 72 44 43 17

Adresse professionnelle

Ecole Nationale des Sciences de l’Information et des Bibliothèques

 17-21 bd du 11 Novembre 1918, 69623 VILLEURBANNE Cedex (France)

 


Laboratoire URSIDOC-DOCSI

17-21 bd du 11 Novembre 1918, 69623 VILLEURBANNE Cedex (France)

 

Résumé : Certains sites web se sont spécialisés dans le repérage de documents pédagogiques et leur évaluation, à l’instar du peer-review des publications scientifiques. Mais peut-on réaliser la description ; l’indexation et l’évaluation sans connaître le contexte d’usage de la ressource ? Si oui, selon quels critères ?

La comparaison de quelques sites proposant des documents pédagogiques validés permettra d’analyser leur fonctionnement et leurs critères d’évaluation, pour modéliser des scénarios de « description-évaluation » de ces ressources.

Summary : Some websites are specialized in the referencing of educational resources and their evaluation, as in the peer-review of scientific publications. But can their description, indexing and evaluation be done without knowing the context of use of the resource ? if so, what are the criteria ?

Through a comparison of a few web sites offering educational resources, this article proposes an analysis of the functioning and the evaluation criteria in order to draw models of “description-evaluation” of these resources.

 

Mots clés : Objet d’apprentissage, modélisation, scénarios de description, scénarios d’évaluation, peer-review

Key-word : Learning objects, modellisation, description scenarii, evaluation scenarii, peer-review


Description et évaluation des ressources pédagogiques :
quels modèles ?

1           Contexte

1.1     Nécessité d’évaluer les ressources pédagogiques

Le développement rapide d’Internet a conduit, entre autres, au développement de la formation à distance à travers la mise en place d’environnement d’apprentissage en ligne (plate-forme de formation en ligne – Learning contents management system –, campus numériques et universités virtuelles…) ainsi qu’à la constitution de banques d’objets d’apprentissage (nous utiliserons désormais l’abréviation BOA) ou learning objects repositories. L’étudiant, tout comme l’enseignant, trouve ainsi à sa disposition sur le réseau un nombre pléthorique de ressources à finalités pédagogiques.

Les concepts de base qui accompagnent traditionnellement la notion de ressources pédagogiques en ligne sont l’utilisabilité et, de manière concomitante, la modularité (permettant la séparation de la ressource pédagogique de son contexte d’utilisation original). Actuellement, cependant, force est de reconnaître que ces notions sont encore largement théoriques. Si les ressources actuellement disponibles sont peu utilisées (Martinez, 2000) et s’il est plus facile d’en produire que d’en trouver (Robertson, 2006), cela s’explique notamment par le fait que « les communautés de pratique en sont encore à leurs premiers balbutiements » et par le nombre insuffisant « d’objets d’apprentissage correctement métaréférencés, aisément accessibles en ligne » (ibidem).

Les problèmes cruciaux de l’utilisation de ces objets d’apprentissage concernent en effet leur repérage (d’où l’intérêt des banques de ressources et des liens entre elles afin d’accroître la visibilité des ressources) et les possibilités de sélection sur la base d’une validation et de l’évaluation de leur qualité.

Les concepteurs de ressources pédagogiques, quant à eux, pourraient éviter de reconstruire de nouveaux produits en réutilisant des ressources déjà constituées, si celles-ci étaient suffisamment bien structurées et signalées pour permettre leur réutilisation et leur repérage.

Aussi, les banques d’objets d’apprentissage soulèvent-elles des questions : Comment choisir une ressource, pourquoi celle-ci plutôt qu’une autre ? Comment déterminer quelle est la meilleure ressource pour les besoins de l’utilisateur ?

Certaines de ces questions trouvent des réponses à travers l’indexation des ressources pédagogiques, développée depuis peu par l’utilisation de méta-données spécifiques au champ pédagogique : Dublin core education, puis LOM IEEE, et depuis peu, LOMFR pour la France. Les éléments d’indexation vont alors renseigner sur des critères tels que : durée d’apprentissage, type d’activités mises en jeu…

Mais ces éléments ne sont pas suffisants pour choisir la meilleure ressource entre plusieurs ressources similaires. Comment donner des informations pertinentes sur l’intérêt d’une ressource pédagogique, permettre de choisir la meilleure ou la plus adaptée dans cette masse sans fin ?

1.2     FORMIST, un exemple de processus d’évaluation des ressources pédagogiques

Certaines BOA ont donc choisi d’associer des éléments d’évaluation des ressources à leur description. Ainsi, FORMIST[1], site spécialisé dans le signalement de ressources (pédagogiques ou non) sur la maîtrise de l’information, a été imaginé des 1999 avec l’idée de faire valider les ressources qui y sont disponibles par un comité d’experts. Ce processus d’évaluation des ressources a été renforcé à travers les différentes versions du site, pour aboutir à une mise en valeur très forte du résultat de cette évaluation. Les commentaires d’évaluation sont ainsi présentés dans la description des ressources de manière très visible (Fig.1).

 

 

Figure 1

Extrait d’une fiche de description d’une ressource signalée dans FORMIST avec mise en valeur des éléments d’évaluation

Cette démarche d’évaluation n’est pas systématique dans le monde des BOA, aussi est-il  intéressant de se questionner sur la mise en œuvre de cette évaluation, afin de voir quels éléments elle apporte et comment elle répond au problème de l’aide au choix de la ressource dans un contexte pédagogique. Au-delà, la description d’une ressource, son indexation intellectuelle et son évaluation peuvent-elles se concevoir sans en connaître le contexte d’usage ?

1.3     Objectifs de l’étude

Cette étude se propose donc d’examiner de manière exploratoire quelques banques d’objets d’apprentissages  afin d’analyser le circuit de dépôt d’une ressource pédagogique, pour faire ressortir les étapes propres à l’évaluation, tant au niveau de l’indexation que de l’évaluation. Enfin, la place du contexte d’usage de la ressource devra être examinée.

2             Méthodologie

2.1     Repérage et choix des banques d’objets d’apprentissages

La recherche a commencé à partir de listes recensant des BOA[2], afin d’envisager comment les BOA proposent un système d’évaluation, souvent mis en parallèle avec le peer review des revues scientifiques.

Des recherches sur internet et des recherches bibliographiques ont été menées en parallèle, avec essentiellement les termes « learning objects », « evaluation » et « peer review ». Cette recherche a permis de découvrir certaines BOA, et aussi des articles de périodiques autour de ce sujet, en pleine émergence, nous l’avons constaté.

L’analyse des pages de présentation des BOA, leur consultation ainsi que la présentation des ressources mises à disposition ont permis de déterminer si les ressources déposées dans ces BOA faisaient l’objet d’une évaluation et d’approcher la nature et le mode de mise en œuvre de cette évaluation.

2.2     Utilisation d’une grille d’analyse

Les BOA retenues ont été analysées à l’aide d’une grille, afin de faire ressortir les particularités propres à chacune, et de voir quels invariants ou spécificités s’en dégageaient. La grille d’analyse a été affinée en même temps. Ces grilles ont permis de relever des différences dans les méthodes d’évaluation, présentées ci-dessous dans un ordre « chronologique » des actions.

3           - Les étapes de la validation et de l’évaluation d’une ressource pédagogique

La consultation de ces BOA permet de constater que la notion d’évaluation, si elle est souvent mise en avant de manière très claire, est parfois présente de manière plus implicite par des systèmes d‘inscriptions ou d’appartenance à des institutions. Aussi présenterons-nous ici, de manière chronologique – à l’instar de Lundgren-Cayrol (2006) qui envisage un contrôle de qualité avant, au moment et après l’inclusion dans la BOA – les différentes étapes de la vie d’une ressource pédagogique déposée dans une banque d’objets d’apprentissage, évalués ou non. Nous établirons ainsi clairement la distinction entre « validation » (vérification de la conformité de la ressource à certaines exigences) et « évaluation » (estimation de la qualité de la ressource relativement à différents critères).

3.1     Production d’une ressource pédagogique

Certes, l’évaluation semble ne pas devoir intervenir si en amont de la production de la ressource. Cependant, l’évaluation d’une ressource pédagogique nécessite la définition et l’utilisation de critères de qualité. Ces critères sont alors utilisables en amont pour la conception et la mise en production, afin de guider dès ce moment les concepteurs de ressources.

Certains sites, comme STARTING POINT ou DLESE, proposent ainsi des « Resource quality guidelines » pour développer des ressources de qualité[3]. L’objectif est donc ici de renforcer la qualité des ressources dès la production, en y injectant directement les critères utilisés pour l’évaluation.

3.2     Dépôt d’une ressource pédagogique

Le dépôt de la ressource pédagogique se fait en mettant à disposition de la BOA un exemplaire de la ressource ou un lien vers celle-ci (selon sa nature fichier/site web). Ce dépôt est généralement accompagné d’une étape de description de cette ressource, à travers un formulaire permettant au concepteur de décrire celle-ci.

Dans certains cas, le dépôt se fait en même temps que la conception, lorsque la banque d’objet d’apprentissage est en fait une plate-forme de formation en ligne, qui autorise la conception de la ressource à travers son interface, et non simplement son dépôt ou son signalement. A l’opposé, certaines banques d’objets se définissent clairement comme des portails d’accès proposant des outils de sélection et d’accessibilité d’objets d’apprentissage qu’elles n’hébergent pas en local (c’est le cas pour DLESE - Digital Library for Earth System Education par exemple).

Ce dépôt peut se présenter sous plusieurs formes :

§         Dépôt libre

Il suffit de remplir un simple formulaire pour déposer une ressource. C’est le cas de FORMIST, qui met en ligne un formulaire de « proposition de document »[4].

L’auteur de la proposition n’a alors pas à s’identifier.

§         Dépôt sur inscription libre

Dans certains cas, une identification est nécessaire pour déposer une ressource. Il est donc nécessaire de s’inscrire, même si cette inscription se fait de manière complètement libre, à travers la demande d’une adresse de courrier électronique valide et d’un mot de passe. Dans ce cas, nul besoin d’appartenir à une institution spécialisée.

ENPAIRS permet ainsi de créer son compte[5], pour déposer ensuite une ressource.

§         Dépôt institutionnel

Il est nécessaire d’appartenir à une communauté définie, par son institution ou par un réseau, pour déposer une ressource pédagogique sur certains sites.

Ainsi, l’accès à SPIRAL[6] nécessite une identification, que ce soit pour la consultation ou pour le dépôt de ressources sur cette plate-forme. A noter, SPIRAL ne se présente pas comme une banque d’objet d’apprentissage, mais comme une plate-forme de formation en ligne (learning content management system), destinée aux enseignants de l’université Lyon1, et ouverte à tous pour la consultation de certaines ressources pédagogiques.

La plate-forme elle-même est donc bien un premier critère de sélection, puisqu’elle s’adresse ici à une communauté spécifique.

3.3     Validation de la ressource pédagogique

Après le dépôt d’une ressource, celle-ci est examinée, pour vérifier sa conformité par rapport à la banque d’objet d’apprentissage. Cette vérification peut reposer sur plusieurs critères :

§         Validation technique

Vérification de la possibilité technique d’exploiter et d’ouvrir la ressource.

§         Validation du contenu

Vérification de la cohérence du contenu par rapport aux thèmes de la banque d’objets d’apprentissage.

§         Validation du design

Vérification de la navigabilité de la ressource.

§         Validation de la description

Vérification de la description de la ressource (métadonnées, par exemple que les noms des auteurs soient effectivement renseignés) et de sa correspondance avec la ressource.

3.4     Evaluation de la ressource pédagogique par un peer-review

L’évaluation est l’étape lors de laquelle est estimée la qualité de la ressource, à travers des critères qui sont variés selon les banques d’objets d’apprentissage mais peuvent être repris sous les 4 catégories déjà vues pour l’étape de validation de la ressource pédagogique :

§         Evaluation technique

Analyse de la qualité de fonctionnement et d’exécution de la ressource pédagogique.

Ainsi, DLESE refuse explicitement les ressources en construction et requiert un fonctionnement efficace[7]. “ 2. Function reasonably well - Resources should be free of conspicuous bugs and defects that inhibit intended use. DLESE understands that not all websites and software can be completely bug-free. Resources that are still under construction would not meet this criterion for inclusion in DLESE. 

§         Evaluation du contenu

L’évaluation la plus fréquente repose sur le contenu de la ressource, sa validité et son apport.

CLOE [8]: “ Subject matter experts will be responsible for examining the LO for the validity and quality of the content, for factual information and for the overall contribution of the LO towards student learning.”

§         Evaluation du design

L’évaluation peut aussi porter sur la fonctionnalité de l’interface et son intérêt par rapport aux objectifs pédagogiques définis.

CLOE : « Instructional design experts will evaluate the degree to which the LO is likely to meet its instructional goals as described by the author(s) and defined in the CLOE Guidelines for Authors. »

§         Evaluation de la description

Enfin, la description de la ressource peut elle-même être évaluée ou vérifiée, surtout lorsque les informations sont renseignées directement par l’auteur.

Ainsi, sur STARTING POINT[9] : “ the collection records are created by Starting Point staff … and are reviewed for accuracy by a second trained cataloger before entry in into the collection.”

 

§         Modalités

L’évaluation de la ressource pédagogique peut être systématique, comme c’est le cas sur FORMIST qui a soumis à évaluation toutes les ressources proposées sur le site.

Cependant, la plupart du temps, l’évaluation n’est qu’optionnelle, même sur MERLOT. En effet, un auteur peut très bien y refuser l’évaluation de sa ressource par la banque d’objets d’apprentissage. Cela permet aussi la mise en valeur d’une collection « validée » parallèle à une collection plus générale. Certaines plate-formes proposent aussi des niveaux d’excellence permettant de valoriser certaines ressources particulièrement méritantes (c’est le cas pour les Classics et l’Editors' Choice Award de MERLOT, ainsi que le Premier Award de NEEDS).

L’évaluation est généralement réalisées par des experts, avec souvent des spécialisations dans leurs compétences (techniques / contenu / design).  Ces experts peuvent être membre d’un groupe fermé (FORMIST, MERLOT), d’un comité ouvert à toute candidature spontanée ou même être proposés par l’auteur (CLOE).

3.5     Pré-publication de la ressource pédagogique

Certaines banques d’objets d’apprentissage basées sur un examen de la ressource par des pairs mettent en ligne la ressource d’apprentissage avant d’avoir les résultats d’évaluation, un peu à la manière d’un pré-print.  La ressource est alors clairement identifiée comme en cours d’évaluation, « under review », catégorie qui peut d’ailleurs être utilisée comme critère de recherche. Il s’agit par exemple de FORMIST ou MERLOT.

3.6     Commentaires avant évaluation de la ressource pédagogique

Une banque d’objets d’apprentissage qui relève du cas précédent (pré-publication avant évaluation) peut laisser aux utilisateurs la possibilité de commenter une ressource avant même qu’elle ne soit évaluée. La seule banque d’objets d’apprentissage de ce type examinée est MERLOT.

3.7     Publication de la ressource pédagogique

La publication est l’étape où la ressource pédagogique est mise à disposition des utilisateurs de la BOA.

Les résultats de l’évaluation apparaissent souvent sous la forme d’une note, c’est-à-dire d’une valeur sur une échelle donnée, généralement sur 5 (MERLOT) ou sous une forme plus littéraire, comme sur FORMIST (cf. figure 1). Parfois, même si il y a évaluation, les résultats de celle-ci n’apparaissent pas du tout en ligne (STARTING POINT).

Les notes permettent de faire un tri des ressources, les mieux notées apparaissant les premières. Il peut aussi être possible de consulter les ressources selon qu’elles sont - ou non - évaluées.

3.8     Commentaires post-publication de la ressource pédagogique

Après son inclusion dans la BOA, la ressource pédagogique peut encore être soumise à évaluation, lorsque la banque d’objets d’apprentissage permet aux utilisateurs de faire des commentaires sur les ressources mises à disposition. Ces commentaires peuvent être faits sous forme de commentaires libres à travers un formulaire (ENPAIRS) ou sous forme de notes (ENPAIRS, MERLOT, HEAL).

Un autre type d’évaluation peut être menée par un comité d’évaluation comprenant des utilisateurs de la ressource (Nesbit, 2004).

3.9     Mise à jour de la ressource pédagogique

Enfin, pour finir ce cycle de vie d’une ressource pédagogique dans une banque d’objets d’apprentissage, il ne faut pas oublier la mise à jour de la description de la ressource ; liée à une modification ou à une mise à jour de cette dernière. Cette mise à jour peut là-encore être vue sous les quatre aspects déjà mentionnés (technique, contenu, design, description).
L’approche de DLESE est néanmoins à signaler, car cette BOA propose aux utilisateurs un formulaire pour « reconsidérer » une ressource[10]. Cela permet ainsi d’envisager une politique de désherbage des collections.

4           – Différents scénarios d’évaluation

Au vu de ces analyses, nous pouvons faire ressortir plusieurs modalités d’évaluation des objets d’apprentissages, présentées ici.

4.1     Evaluation a priori, implicite

Certaines BOA, principalement celles reposant sur un dépôt institutionnel, ne renvoient pas à d’autre évaluation que celle qui consiste à obliger les auteurs à faire partie de l’institution ou du réseau. C’est le cas de SPIRAL, proposé par l’Université de Lyon1.

Ces BOA peuvent aussi relever d’une thématique très spécifique (CSTC pour l’informatique, PRIMTICE pour les TICE dans le primaire). La sélection se fait alors par cette thématique ou la discipline concernée, qui renvoie implicitement à une spécialisation.

4.2     Evaluation par validation de la conformité, technique ou descriptive

Un autre scénario d’évaluation très simple est proposé par edNA[11] (Education Network Australia), qui en fait consiste en un répertoire de ressources autour de l’éducation en Australie. Ainsi, comme dans tout annuaire, les ressources sont juste validées, c’est-à-dire qu’une vérification de la conformité de leur sujet par rapport au sujet du répertoire est effectuée. Il ne s’agit cependant pas d’une véritable évaluation.

4.3     Evaluation par un comité scientifique (peer-reviews)

Un scénario plus riche voit l’étape précédente, la validation, enrichie par une réelle évaluation des ressources pédagogiques, comme sur FORMIST ou MERLOT. L’évaluation n’est cependant pas toujours systématique, et renvoie à des critères variés. Elle est menée par un ou plusieurs experts.

Ce processus semble être un calque direct du système du peer-review (évaluation par les pairs) utilisé pour l’évaluation des articles scientifiques avant publication dans des revues (il est d’ailleurs revendiqué comme tel par MERLOT).

4.4     Evaluation par les utilisateurs

Les utilisateurs, enfin, peuvent donner leurs propres avis, faire des commentaires sur une ressource pédagogique. Ils interviennent donc alors directement dans le processus d’évaluation.

C’est le cas d’ENPAIRS, par exemple, qui propose de déposer une ressource à travers un formulaire. Une fois celui-ci rempli et envoyé, le document est accessible aussitôt via le répertoire ENPAIRS.

L’utilisateur a ensuite la possibilité d’évaluer la ressource, par une note (de 1 à 5) et par un commentaire libre. Ces éléments sont ensuite consultables en ligne, sur le site. A noter, les commentaires libres sont rarement remplis ou sont alors très allusifs et renseignent peu sur les qualités intrinsèques à la ressource. A la date de consultation (3 mars 2006), seules 20 ressources avaient été notées (sur 507, soit moins de 4%), les notes étant élevées (6 ressources obtenaient 5 étoiles, 7 obtenaient 4 étoiles, 1 obtenait 3 étoiles, 5 ressources 2 étoiles et 1 ressource 1 étoile).

4.5     Evaluation croisée

Enfin, certaines BOA croisent ces deux derniers scénarios, comme MERLOT qui propose une évaluation via un peer-review et une évaluation par les utilisateurs.

5           – Discussion

5.1     Constats

La préoccupation de l’évaluation des ressources pédagogiques et la mise en place des circuits nécessaires est un phénomène récent (Haughey, 2005) et en pleine évolution. Cela est particulièrement visible dans les différents sites visités. Cependant, si les processus sont, pour certains, très précisément définis et élaborés, leur impact sur l’utilisation des ressources est encore loin d’être mesuré. Loin d’être un constat négatif, cela signifie bien que l’élaboration de ces circuits d’évaluation est jugée comme un élément crucial du développement de ces BOA.

Traditionnellement, l’évaluation est considérée comme le dernier stade du processus de production des ressources (Eseryel, 2002), mais des recherches récentes dans le domaine des banques d’objets d’apprentissage ont souligné la nécessité d’intégrer l’évaluation dans le processus de production des ressources (Williams, 2000). Cela a permis, en particulier, le développement d’un Guide d’évaluation des objets d’apprentissage (LORI : Learning Object Review Instrument) (Nesbit, 2002), outil actuellement utilisé et adapté par différentes plates-formes (dont MERLOT, eLera[12]).

La complexité de l’évaluation des objets d’apprentissage est telle qu’elle ne peut être prise en compte que par une grande variété de méthodes et d’outils (Nesbit, 2004), et les recherches en cours font état de deux voies complémentaires nécessaires au développement efficace des BOA :

-          une évaluation « technique » : celle-ci passe par la mise en place de critères standardisés, nécessaires pour permettre une compatibilité entre métadonnées. Cela permettrait d’intégrer des métadonnées particulières aux communautés concernées, mais aussi de créer des passerelles entre ces communautés par le biais de « traductions » automatisées diverses, selon des langues ou tout type d’ontologies pertinent (Li, 2004), rendant ainsi possible l’automatisation de la « personnalisation de masse » (Martinez, 2000).

-          une évaluation humaine : à cette évaluation technique, qui s’avère trop restrictive en ce qui concerne l’information qualitative sur les ressources et leur contexte d’usage (Nesbit, 2002), s’ajoute une évaluation humaine, sociale, selon des modèles plus ou moins fermés et sous deux formes distinctes : l’évaluation par des experts à travers le modèle du peer-review ; et l’évaluation par les utilisateurs, système qui permet l’intégration des pratiques et du contexte d’usage, encore peu développé (Halm, 2003).

L’analyse que nous avons réalisée sur les différentes BOA, dans un domaine très récent et en pleine expansion, bien qu’encore partielle, nous a néanmoins permis de faire quelques constats exploratoires qui montrent de quelle manière ces circuits sont mis en pratique sur le terrain.

Qu’il s’agisse des acteurs de l’évaluation, des outils mis en œuvre ou des résultats et de l’affichage  de cette évaluation, on constate que ce sont actuellement  les scénarios les plus formalisés qui sont le plus développés. La majorité des BOA ont un comité éditorial et/ou scientifique. Elles sont beaucoup moins nombreuses à indiquer la présence d’un éditeur ou d’un « webmestre » responsable de l’évaluation (FORMIST, CLOE). Les acteurs impliqués les plus généralement désignés sont des experts soit de la pédagogie, soit des domaines d’expertise concernés. Un certain nombre de BOA font aussi appel aux utilisateurs mais cette évaluation est souvent moins formalisée et reste généralement optionnelle. Lorsque les utilisateurs sont explicitement désignés, les enseignants le sont plus souvent que les apprenants.

La plupart des BOA respectent des standards de métadonnées et proposent un circuit de peer-review, le plus souvent basé sur des formulaires permettant de décrire la ressource selon des critères définis. On rencontre aussi assez souvent diverses modalités de préselection des ressources. Quant à l’affichage des processus et des résultats de l’évaluation, outre le fait que les critères et le circuit d’évaluation sont souvent très bien explicités et détaillés (d’autant plus lorsque ce sont les utilisateurs qui sont invités à l’utiliser), l’évaluation est généralement affichée par un classement formel, et les analyses des experts sont assez fréquemment publiées avec la ressource.

Les modalités moins formalisées mais permettant d’intégrer plus finement le contexte d’usage de la ressource sont, par contre, beaucoup moins fréquentes. Ainsi, l’évaluation a généralement lieu en amont de l’intégration de la ressource dans la BOA, et peu de BOA proposent une évaluation continue (c’est notamment le cas pour MERLOT, ENPAIRS, DLSE et Starting Point). Celle-ci intègre alors plus facilement des classements ou les commentaires des utilisateurs (enseignants ou apprenants) et peut aussi permettre des politiques de désherbage de la collection (indiqué notamment par DLSE). Cette évaluation par les utilisateurs peut avoir lieu parallèlement à l’évaluation de la ressource par les experts, mais elle est effectuée plus souvent après sa validation formelle, et généralement sous forme d’un retour d’utilisation plus ou moins formalisé (commentaires libres, classement, formulaire).

5.2     Limites autour de l’évaluation des ressources pédagogiques

Cette analyse met donc en évidence un net déficit quant à l’intégration du contexte d’usage des ressources pédagogiques dans leur évaluation. En effet, la description de la ressource pédagogique, son évaluation portent sur des critères que l’on pourrait dire « documentaires » au sens où il s’agit d’une description du contenu ou de la ressource (même si l’approche en est variée : technique, contenu, design, description). L’approche pédagogique en est très absente. On est dans une logique d’exposition de connaissances, et non de transmission de connaissances qui pourrait intervenir via des scénarios d’usage. Comment intégrer le problème du contexte d’appropriation de la ressource, de l’usage de celle-ci ?

Une des raisons de cette insuffisance semble résider dans le fait que les ressources pédagogiques sont le plus souvent évaluées à travers un système calqué directement sur le peer-review, système d’expertise portant sur la qualité scientifique d’un article mais effectivement inadapté pour l’examen de l’usage pédagogique d’une ressource. Le système du peer-review, modèle traditionnel de validation des connaissances scientifiques, est critiqué car il engendre certains problèmes et certains biais, qui peuvent être transposés pour l’évaluation des ressources pédagogiques (Harnad, 2000 ; McCook, 2006) : manque d’expertise des experts sur le sujet donné, longueur du processus d’évaluation, difficulté de sa mise en place, etc.

Le système de notation engendre lui-aussi d’autres travers, que la note soit donnée par les experts ou par les utilisateurs. Ainsi, avec un tel système, ce sont bien sûr les ressources les mieux notées qui seront les plus consultées. Les autres, par exemple, celles pour lesquelles l’auteur a refusé l’évaluation sur MERLOT, se retrouveront en fin de liste. D’où, selon Nesbit (2004) une très grande responsabilité quant à la qualité de l’évaluation réalisée par la BOA. Il signale aussi qu’un tel système trouve sa raison d’être avec un grand nombre de commentaires, masse critique qui n’est pas atteinte dans le cas des BOA.

5.3     Propositions

Ces systèmes doivent donc évoluer, comme le tente Nesbit en introduisant l’utilisateur de manière plus poussée dans la démarche d’évaluation via LORI. Car ce qui doit être interopérable, ce n’est pas tant les ressources que leurs modèles de description et d’évaluation, et ces critères doivent pouvoir permettre d’évaluer la qualité de la ressource pédagogique (expertise) mais aussi son opportunité pédagogique d’usage, en donnant les moyens d’analyser les possibilités d’adéquation à d’autres contextes pédagogiques (Martinez, 2000).

Cette évolution s’inscrit dans les possibilités offertes dans le contexte actuel du « web sémantique » (Del Moral, 2005 ; Halm, 2006) et le développement des communautés de pratiques (Li, 2004) et de la « collaborative knowledge » (Anderson, 2003), mais aussi dans un contexte d’internationalisation croissante des usagers du web où le potentiel de ces interactions est important pour répondre aux problématiques de « localisation » (adaptation à une communauté particulière), de « translocalisation » (passerelles entre communautés) et d’« internationalisation » (application des standards) (Li, 2004). Comme exemple de « traductions », il existe d’ailleurs déjà des équivalences de niveaux de validation entre les plates-formes NEEDS et MERLOT (Teng, 2004).

Et de fait, l’évaluation des ressources pédagogiques, quand elle a lieu, est surtout basée sur une indexation en strates successives : pédagogique, sémantique, technique (Kreczanik, 2004), là où elle devrait être surtout collaborative (Margaryan, 2006), continue et évolutive, intégrant les différents acteurs autour de la ressource pédagogique et aux différents stades de son développement (comme dans l’exemple LORI)(Williams, 2000 ; Nesbit, 2002 ; Richards, 2004 ; Johnson, 2005).

L’analyse des BOA réalisée dans cet article fait ressortir à la fois la complexité d’un processus devant intégrer une multitude d’acteurs aux compétences et besoins variés, mais aussi la volonté des BOA de prendre en compte cette complexité et d’y répondre en développant des modalités de description et d’évaluation multiples et hybrides (mais néanmoins basées sur des standards et de ce fait adaptatifs) afin de multiplier les potentialités d’utilisation d’une ressource pédagogique et de déboucher ainsi sur d’autres types de classements et de liens. Non seulement le contexte de développement de l’évaluation des ressources en ligne est en pleine construction, mais la notion d’évaluation elle-même est à considérer comme un processus évolutif qui se construit sur la durée et de manière complexe au sein d’une communauté d’expertise pour laquelle le contexte de la ressource fait sens et en permet l’utilisation. C’est en ce sens que la communauté d’usage rejoint la communauté d’expertise et demande à être intégrée pleinement dans le circuit d’évaluation de la ressource, en redonnant à au système de peer-review toute sa dimension d’évaluation par les « pairs », en introduisant un « peer-commenting » (Harnad, 2000 ; Nentwich, 2005).

6           – Bibliographie

Anderson J. (2003), "The Challenges of
Collaborative Knowledge" In : Learning objects : contexts and connections. Ohio state university, pp. 1-15. En ligne.
http://telr-research.osu.edu/learning_objects/documents/Anderson.pdf

Ben Kei D., Permanand M. (2004), “A Model for Evaluating Learning Objects” Fourth IEEE International Conference on Advanced Learning Technologies (ICALT'04), pp. 56-60.

Del Moral E., Cernea D. A. (2005): “Design and Evaluate Learning Objects in the New Framework of the Semantic Web”, III International Conference on multimedia and Information & Communication Technologies in Education (m-ICTE2005), Caceres, Espagne, actes : Méndez-Vilas, A. [ed.]: Recent Research Developments in Learning Technologies. FORMATEX, 2005, en ligne. http://www.formatex.org/micte2005/357.pdf

Dufresne A., Senteni A., Richards G (2002), “La contextualisation des banques de ressources - barrières et clés ” , Canadian Journal of Learning and Technology, vol 28/3.

Eseryel D. (2002), “Approaches to Evaluation of Training : Theory & Practice”, Educational Technology & Society, 5(2), pp 93-98. En ligne.  http://www.ifets.info/journals/5_2/eseryel.pdf

Halm M. (2003), "Beyond the LOM: A New Generation of Specifications", Penn State University. In : Learning objects : contexts and connections. Ohio state university, pp. 49-58. En ligne. http://telr- research.osu.edu/learning_objects/documents/Halm.pdf

Harnad S. (2000), “The invisible Hand of Peer-review”, Exploit Interactives, issue 5, april 2000.

Haughey M., Muirhead B. (o.J.)(2005)  “Evaluating Learning Objects for Schools”, E-journal of instructional science and technology, vol. 8, n°1. En ligne. .
http://www.usq.edu.au/electpub/e-jist/docs/vol8_no1/fullpapers/Haughey_Muirhead.pdf, 

Johnson J., Dyer J. (2005), « User-defined content in a constructivist learning environment », III International Conference on multimedia and Information & Communication Technologies in Education (m-ICTE2005), Caceres, Espagne, actes : Méndez-Vilas, A. [ed.]: Recent Research Developments in Learning Technologies. FORMATEX, 2005, en ligne.  http://www.formatex.org/micte2005/169.pdf

Kreczanik T. (2004) “Vers une rationalisation de l'indexation des ressources pédagogiques électroniques... ”. Mémoire de DEA Université Jean Moulin, Lyon. En ligne. http://memsic.ccsd.cnrs.fr/documents/archives0/00/00/01/63/

Li J.Z., Nesbit J., Griff R. (2004), : Crossing Boundaries with Web-Based Tools for Learning Object Evaluation. In: ICWL 2004, LNCS 3143, pp. 286-292, Springer-Verlag Berlin Heidelberg. En ligne.
http://www.sfu.ca/%7Ejzli/publications/Crossing%20Boundaries%20with%20Web-Based%20Tools%20for%20Learning%20Object%20Evaluation.pdf

Lundgren-Cayrol K., Ruelland D. (2006), “Etat de l’art : stratégies de contrôle de qualité des banques d’objets d’apprentissage”. Document de travail Normétic, non publié.

Margaryan A., Currier S., Littlejohn A., Nicol D. (2006), CD-LOR Deliverable 1 : Report on Learning Communities and Repositories, 05 Apr. 2006. En ligne. http://www.ic-learning.dundee.ac.uk/projects/CD-LOR/CDLORdeliverable1_learningcommunitiesreport.doc

Martinez M. (2000), Designing learning objects to mass customize and personalize learning, In D. A. Wiley (Ed.), The Instructional Use of Learning Objects, chapitre 3.1. En ligne. http://www.reusability.org/read/chapters/martinez.doc

McCook A. (2006), “Is peer-review broken ?”, The scientist, volume 20, Issue 2, pp. 26-34.

Nentwich M. (2005), “Quality control in academic publishing: challenges in the age of cyberscience”. In Poiesis & Praxis: International Journal of Technology Assessment and Ethics of Science, Volume 3, Number 3, pp.181 - 198 .

Nesbit J., Belfer K., Vargo J. (2002), “A Convergent Participation Model for Evaluation of Learning Objects”, Canadian Journal of Learning and Technology, Volume 28(3).

Nesbit J., Li J. (2004), “Web-Based Tools for Learning Object Evaluation”, International Conference on Education and Information

Richards G., McGreal R., Hatala M., Friesen N. (2003), “The evolution of learning object repository technologies: Portals for on-line objects for learning”.  Journal of Distance Education, vol 17.3.

Richards G., Nesbit J.C. (2004), “The teaching of quality : convergent participation for the professional development of learning object designers”, International Journal of Technologies in Higher Education, 1(3), pp.56-63 .

Robertson A. (2006), « Introduction aux banques d’objets d’apprentissage en français au Canada », Rapport préparé pour le compte du Réseau d’enseignement francophone à distance du Canada, http://www.refad.ca, En ligne. http://www.refad.ca/recherche/intro_objets_apprentissage/pdf/RapportObjetsapprentissage2006.pdf

Smith Nash S. (2005), “Learning objects, learning objects repositories, and learning theory : preliminary best practices for online courses”, Interdisciplinary Journal of Knowledge and Learning Objects, vol. 1, pp 217-228.

Teng, Xia;, Muramatsu B., Zhang J. W., Tront J.,  McMartin F., Agogino A. (2004),  “Implementation of Quality Evaluation for Web-based Courses and Digital Learning Resources”, In : Proceedings of the 3rd International Conference on Web-based Learning, Aug. 8-11, 2004, Tsinghua University, Beijing, China. En ligne. http://best.me.berkeley.edu/%7Eaagogino/papers/teng_china.pdf,

Vargo J., Nesbit J., Belfer K. Archambault A. (2003), “Learning object evaluation: Computer mediated collaboration and inter-rater reliability”, International Journal of Computers and Applications. Special Issue. 25(30).

Williams D. D. (2000).  "Evaluation of learning objects and instruction using learning objects." In D. A. Wiley (Ed.), The Instructional Use of Learning Objects: Online Version. Chapitre 3.2, En ligne. http://www.reusability.org/read/chapters/williams.doc  



[1] FORMIST - Un réseau francophone pour [APPRENDRE À] rechercher, évaluer et utiliser l'information.

http://formist.enssib.fr

[2] Plusieurs listes ont été consultées, dont les suivantes :

- Learning object repositories :

http://elearning.utsa.edu/guides/LO-repositories.htm

- Learning Objects : collection

http://www.uwm.edu/Dept/CIE/AOP/LO_collections.html

- Le répertoire Thot des dépôts d’objets d’apprentissage. 48 dépôts , plus de 1 million d’objets !

http://thot.cursus.edu/rubrique.asp?no=18059

[3] DLESE – resource quality guidelines

http://www.dlese.org/Metadata/collections/resource-quality.htm

“  Inform creators of practices for developing quality resources “

[4] FORMIST – Proposition de document

http://formist.enssib.fr/documents/proposition.php

[5] ENPAIRS – devenir membre

 http://www.enpairs.ca/inscription.php

[8] CLOE – About peer review.

http://cloe.on.ca/peerreview.html

[9] STARTING POINT – about our digital library collection.

http://serc.carleton.edu/introgeo/policy.html

[10] DLESE –  Request for reconsideration of a DLESE resource

http://www.dlese.org/resources/reconsideration.html