Colloque TICE Méditerranée – Gênes, 26 et 27
mai 2006
« L'humain dans la formation à distance: les
enjeux de l’évaluation»
Description et évaluation des ressources pédagogiques :
quels modèles ?
Annaïg Mahé
Post-doctorante
mahe.annaig@wanadoo.fr + 33 1 43 26 13 96
Adresse professionnelle
Unité Régionale de Formation à l’Information Scientifique et Technique
17 rue des Bernardins, 75006 PARIS
Elisabeth Noël
conservateur de bibliothèques
noel@enssib.fr + 33 4 72 44 43 17
Adresse professionnelle
Ecole Nationale des Sciences de l’Information et des Bibliothèques
17-21 bd du 11 Novembre 1918, 69623 VILLEURBANNE Cedex (France)
Laboratoire URSIDOC-DOCSI
17-21 bd du 11 Novembre 1918, 69623 VILLEURBANNE Cedex (France)
Résumé : Certains sites web se sont spécialisés dans le repérage de documents pédagogiques et leur évaluation, à l’instar du peer-review des publications scientifiques. Mais peut-on réaliser la description ; l’indexation et l’évaluation sans connaître le contexte d’usage de la ressource ? Si oui, selon quels critères ?
La comparaison de quelques sites proposant des documents pédagogiques validés permettra d’analyser leur fonctionnement et leurs critères d’évaluation, pour modéliser des scénarios de « description-évaluation » de ces ressources.
Summary : Some websites are
specialized in the referencing of educational resources and their evaluation,
as in the peer-review of scientific publications. But can their description,
indexing and evaluation be done without knowing the context of use of the
resource ? if so, what are the criteria ?
Through a
comparison of a few web sites offering educational resources, this article
proposes an analysis of the functioning and the evaluation criteria in order to
draw models of “description-evaluation” of these resources.
Mots clés : Objet d’apprentissage, modélisation, scénarios de description, scénarios d’évaluation, peer-review
Key-word :
Learning objects, modellisation, description scenarii, evaluation scenarii,
peer-review
Le développement rapide d’Internet a conduit, entre autres, au développement de la formation à distance à travers la mise en place d’environnement d’apprentissage en ligne (plate-forme de formation en ligne – Learning contents management system –, campus numériques et universités virtuelles…) ainsi qu’à la constitution de banques d’objets d’apprentissage (nous utiliserons désormais l’abréviation BOA) ou learning objects repositories. L’étudiant, tout comme l’enseignant, trouve ainsi à sa disposition sur le réseau un nombre pléthorique de ressources à finalités pédagogiques.
Les concepts de base qui accompagnent traditionnellement la notion de ressources pédagogiques en ligne sont l’utilisabilité et, de manière concomitante, la modularité (permettant la séparation de la ressource pédagogique de son contexte d’utilisation original). Actuellement, cependant, force est de reconnaître que ces notions sont encore largement théoriques. Si les ressources actuellement disponibles sont peu utilisées (Martinez, 2000) et s’il est plus facile d’en produire que d’en trouver (Robertson, 2006), cela s’explique notamment par le fait que « les communautés de pratique en sont encore à leurs premiers balbutiements » et par le nombre insuffisant « d’objets d’apprentissage correctement métaréférencés, aisément accessibles en ligne » (ibidem).
Les problèmes cruciaux de l’utilisation de ces objets d’apprentissage concernent en effet leur repérage (d’où l’intérêt des banques de ressources et des liens entre elles afin d’accroître la visibilité des ressources) et les possibilités de sélection sur la base d’une validation et de l’évaluation de leur qualité.
Les concepteurs de ressources pédagogiques, quant à eux, pourraient éviter de reconstruire de nouveaux produits en réutilisant des ressources déjà constituées, si celles-ci étaient suffisamment bien structurées et signalées pour permettre leur réutilisation et leur repérage.
Aussi, les banques d’objets d’apprentissage soulèvent-elles des questions : Comment choisir une ressource, pourquoi celle-ci plutôt qu’une autre ? Comment déterminer quelle est la meilleure ressource pour les besoins de l’utilisateur ?
Certaines de ces questions trouvent des réponses à travers
l’indexation des ressources pédagogiques, développée depuis peu par
l’utilisation de méta-données spécifiques au champ pédagogique : Dublin
core education, puis LOM IEEE, et depuis peu, LOMFR pour
Mais ces éléments ne sont pas suffisants pour choisir la meilleure ressource entre plusieurs ressources similaires. Comment donner des informations pertinentes sur l’intérêt d’une ressource pédagogique, permettre de choisir la meilleure ou la plus adaptée dans cette masse sans fin ?
Certaines BOA ont donc choisi d’associer des éléments
d’évaluation des ressources à leur description. Ainsi, FORMIST[1],
site spécialisé dans le signalement de ressources (pédagogiques ou non) sur la
maîtrise de l’information, a été imaginé des 1999 avec l’idée de faire valider
les ressources qui y sont disponibles par un comité d’experts. Ce processus
d’évaluation des ressources a été renforcé à travers les différentes versions
du site, pour aboutir à une mise en valeur très forte du résultat de cette
évaluation. Les commentaires d’évaluation sont ainsi présentés dans la
description des ressources de manière très visible (Fig.1).
Figure 1
Extrait d’une fiche de description d’une ressource signalée dans FORMIST avec mise en valeur des éléments d’évaluation
Cette démarche d’évaluation n’est pas systématique dans le
monde des BOA, aussi est-il intéressant
de se questionner sur la mise en œuvre de cette évaluation, afin de voir quels
éléments elle apporte et comment elle répond au problème de l’aide au choix de
la ressource dans un contexte pédagogique. Au-delà, la description d’une
ressource, son indexation intellectuelle et son évaluation peuvent-elles se
concevoir sans en connaître le contexte d’usage ?
Cette étude se propose donc d’examiner de manière exploratoire quelques banques d’objets d’apprentissages afin d’analyser le circuit de dépôt d’une ressource pédagogique, pour faire ressortir les étapes propres à l’évaluation, tant au niveau de l’indexation que de l’évaluation. Enfin, la place du contexte d’usage de la ressource devra être examinée.
La recherche a commencé à partir de listes recensant des BOA[2], afin d’envisager comment les BOA proposent un système d’évaluation, souvent mis en parallèle avec le peer review des revues scientifiques.
Des recherches sur internet et des recherches bibliographiques ont été menées en parallèle, avec essentiellement les termes « learning objects », « evaluation » et « peer review ». Cette recherche a permis de découvrir certaines BOA, et aussi des articles de périodiques autour de ce sujet, en pleine émergence, nous l’avons constaté.
L’analyse des pages de présentation des BOA, leur consultation
ainsi que la présentation des ressources mises à disposition ont permis de
déterminer si les ressources déposées dans ces BOA faisaient l’objet d’une
évaluation et d’approcher la nature et le mode de mise en œuvre de cette
évaluation.
Les BOA retenues ont été analysées à l’aide d’une grille, afin de faire ressortir les particularités propres à chacune, et de voir quels invariants ou spécificités s’en dégageaient. La grille d’analyse a été affinée en même temps. Ces grilles ont permis de relever des différences dans les méthodes d’évaluation, présentées ci-dessous dans un ordre « chronologique » des actions.
La consultation de ces BOA permet de constater que la notion d’évaluation, si elle est souvent mise en avant de manière très claire, est parfois présente de manière plus implicite par des systèmes d‘inscriptions ou d’appartenance à des institutions. Aussi présenterons-nous ici, de manière chronologique – à l’instar de Lundgren-Cayrol (2006) qui envisage un contrôle de qualité avant, au moment et après l’inclusion dans la BOA – les différentes étapes de la vie d’une ressource pédagogique déposée dans une banque d’objets d’apprentissage, évalués ou non. Nous établirons ainsi clairement la distinction entre « validation » (vérification de la conformité de la ressource à certaines exigences) et « évaluation » (estimation de la qualité de la ressource relativement à différents critères).
Certes, l’évaluation semble ne pas devoir intervenir si en amont de la production de la ressource. Cependant, l’évaluation d’une ressource pédagogique nécessite la définition et l’utilisation de critères de qualité. Ces critères sont alors utilisables en amont pour la conception et la mise en production, afin de guider dès ce moment les concepteurs de ressources.
Certains sites, comme STARTING POINT ou DLESE, proposent ainsi des « Resource quality guidelines » pour développer des ressources de qualité[3]. L’objectif est donc ici de renforcer la qualité des ressources dès la production, en y injectant directement les critères utilisés pour l’évaluation.
Le dépôt de la ressource pédagogique se fait en mettant à disposition de la BOA un exemplaire de la ressource ou un lien vers celle-ci (selon sa nature fichier/site web). Ce dépôt est généralement accompagné d’une étape de description de cette ressource, à travers un formulaire permettant au concepteur de décrire celle-ci.
Dans certains cas, le dépôt se fait en même temps que la conception, lorsque la banque d’objet d’apprentissage est en fait une plate-forme de formation en ligne, qui autorise la conception de la ressource à travers son interface, et non simplement son dépôt ou son signalement. A l’opposé, certaines banques d’objets se définissent clairement comme des portails d’accès proposant des outils de sélection et d’accessibilité d’objets d’apprentissage qu’elles n’hébergent pas en local (c’est le cas pour DLESE - Digital Library for Earth System Education par exemple).
Ce dépôt peut se présenter sous plusieurs formes :
§ Dépôt libre
Il suffit de remplir un simple formulaire pour déposer une ressource. C’est le cas de FORMIST, qui met en ligne un formulaire de « proposition de document »[4].
L’auteur de la proposition n’a alors pas à s’identifier.
§ Dépôt sur inscription libre
Dans certains cas, une identification est nécessaire pour déposer une ressource. Il est donc nécessaire de s’inscrire, même si cette inscription se fait de manière complètement libre, à travers la demande d’une adresse de courrier électronique valide et d’un mot de passe. Dans ce cas, nul besoin d’appartenir à une institution spécialisée.
ENPAIRS permet ainsi de créer son compte[5], pour déposer ensuite une ressource.
§ Dépôt institutionnel
Il est nécessaire d’appartenir à une communauté définie, par son institution ou par un réseau, pour déposer une ressource pédagogique sur certains sites.
Ainsi, l’accès à SPIRAL[6] nécessite une identification, que ce soit pour la consultation ou pour le dépôt de ressources sur cette plate-forme. A noter, SPIRAL ne se présente pas comme une banque d’objet d’apprentissage, mais comme une plate-forme de formation en ligne (learning content management system), destinée aux enseignants de l’université Lyon1, et ouverte à tous pour la consultation de certaines ressources pédagogiques.
La plate-forme elle-même est donc bien un premier critère de sélection, puisqu’elle s’adresse ici à une communauté spécifique.
Après le dépôt d’une ressource, celle-ci est examinée, pour vérifier sa conformité par rapport à la banque d’objet d’apprentissage. Cette vérification peut reposer sur plusieurs critères :
§ Validation technique
Vérification de la possibilité technique d’exploiter et d’ouvrir la ressource.
§ Validation du contenu
Vérification de la cohérence du contenu par rapport aux thèmes de la banque d’objets d’apprentissage.
§ Validation du design
Vérification de la navigabilité de la ressource.
§ Validation de la description
Vérification de la description de la ressource (métadonnées, par exemple que les noms des auteurs soient effectivement renseignés) et de sa correspondance avec la ressource.
L’évaluation est l’étape lors de laquelle est estimée la qualité de la ressource, à travers des critères qui sont variés selon les banques d’objets d’apprentissage mais peuvent être repris sous les 4 catégories déjà vues pour l’étape de validation de la ressource pédagogique :
§ Evaluation technique
Analyse de la qualité de fonctionnement et d’exécution de la ressource pédagogique.
Ainsi, DLESE refuse explicitement les ressources en
construction et requiert un fonctionnement efficace[7].
“ 2. Function reasonably
well - Resources should be free of conspicuous bugs and defects that inhibit
intended use. DLESE understands that not all websites and software can be
completely bug-free. Resources that are still under construction would not meet
this criterion for inclusion in DLESE. “
§ Evaluation du contenu
L’évaluation la plus fréquente repose sur le contenu de la ressource, sa validité et son apport.
CLOE [8]: “ Subject matter experts
will be responsible for examining the LO for the validity and quality of the
content, for factual information and for the overall contribution of the LO
towards student learning.”
§ Evaluation du design
L’évaluation peut aussi porter sur la fonctionnalité de l’interface et son intérêt par rapport aux objectifs pédagogiques définis.
CLOE :
« Instructional design experts will evaluate the degree to which the LO
is likely to meet its instructional goals as described by the author(s) and
defined in the CLOE Guidelines for Authors. »
§ Evaluation de la description
Enfin, la description de la ressource peut elle-même être évaluée ou vérifiée, surtout lorsque les informations sont renseignées directement par l’auteur.
Ainsi, sur
STARTING POINT[9] :
“ the collection records are created by Starting Point staff … and are reviewed
for accuracy by a second trained cataloger before entry in into the
collection.”
§ Modalités
L’évaluation de la ressource pédagogique peut être systématique, comme c’est le cas sur FORMIST qui a soumis à évaluation toutes les ressources proposées sur le site.
Cependant, la plupart du temps, l’évaluation n’est qu’optionnelle, même sur MERLOT. En effet, un auteur peut très bien y refuser l’évaluation de sa ressource par la banque d’objets d’apprentissage. Cela permet aussi la mise en valeur d’une collection « validée » parallèle à une collection plus générale. Certaines plate-formes proposent aussi des niveaux d’excellence permettant de valoriser certaines ressources particulièrement méritantes (c’est le cas pour les Classics et l’Editors' Choice Award de MERLOT, ainsi que le Premier Award de NEEDS).
L’évaluation est généralement réalisées par des experts, avec souvent des spécialisations dans leurs compétences (techniques / contenu / design). Ces experts peuvent être membre d’un groupe fermé (FORMIST, MERLOT), d’un comité ouvert à toute candidature spontanée ou même être proposés par l’auteur (CLOE).
Certaines banques d’objets d’apprentissage basées sur un examen de la ressource par des pairs mettent en ligne la ressource d’apprentissage avant d’avoir les résultats d’évaluation, un peu à la manière d’un pré-print. La ressource est alors clairement identifiée comme en cours d’évaluation, « under review », catégorie qui peut d’ailleurs être utilisée comme critère de recherche. Il s’agit par exemple de FORMIST ou MERLOT.
Une banque d’objets d’apprentissage qui relève du cas précédent (pré-publication avant évaluation) peut laisser aux utilisateurs la possibilité de commenter une ressource avant même qu’elle ne soit évaluée. La seule banque d’objets d’apprentissage de ce type examinée est MERLOT.
La publication est l’étape où la ressource pédagogique est mise à disposition des utilisateurs de la BOA.
Les résultats de l’évaluation apparaissent souvent sous la forme d’une note, c’est-à-dire d’une valeur sur une échelle donnée, généralement sur 5 (MERLOT) ou sous une forme plus littéraire, comme sur FORMIST (cf. figure 1). Parfois, même si il y a évaluation, les résultats de celle-ci n’apparaissent pas du tout en ligne (STARTING POINT).
Les notes permettent de faire un tri des ressources, les mieux notées apparaissant les premières. Il peut aussi être possible de consulter les ressources selon qu’elles sont - ou non - évaluées.
Après son inclusion dans la BOA, la ressource pédagogique peut encore être soumise à évaluation, lorsque la banque d’objets d’apprentissage permet aux utilisateurs de faire des commentaires sur les ressources mises à disposition. Ces commentaires peuvent être faits sous forme de commentaires libres à travers un formulaire (ENPAIRS) ou sous forme de notes (ENPAIRS, MERLOT, HEAL).
Un autre type d’évaluation peut être menée par un comité d’évaluation comprenant des utilisateurs de la ressource (Nesbit, 2004).
Enfin, pour finir ce cycle de vie d’une ressource
pédagogique dans une banque d’objets d’apprentissage, il ne faut pas oublier la
mise à jour de la description de la ressource ; liée à une modification ou
à une mise à jour de cette dernière. Cette mise à jour peut là-encore être vue
sous les quatre aspects déjà mentionnés (technique, contenu, design, description).
L’approche de DLESE est néanmoins à signaler, car cette BOA propose aux
utilisateurs un formulaire pour « reconsidérer » une ressource[10].
Cela permet ainsi d’envisager une politique de désherbage des collections.
Au vu de ces analyses, nous pouvons faire ressortir plusieurs modalités d’évaluation des objets d’apprentissages, présentées ici.
Certaines BOA, principalement celles reposant sur un dépôt institutionnel, ne renvoient pas à d’autre évaluation que celle qui consiste à obliger les auteurs à faire partie de l’institution ou du réseau. C’est le cas de SPIRAL, proposé par l’Université de Lyon1.
Ces BOA peuvent aussi relever d’une thématique très spécifique (CSTC pour l’informatique, PRIMTICE pour les TICE dans le primaire). La sélection se fait alors par cette thématique ou la discipline concernée, qui renvoie implicitement à une spécialisation.
Un autre scénario d’évaluation très simple est proposé par
edNA[11]
(Education Network Australia), qui en fait consiste en un répertoire de
ressources autour de l’éducation en Australie. Ainsi, comme dans tout annuaire,
les ressources sont juste validées, c’est-à-dire qu’une vérification de
la conformité de leur sujet par rapport au sujet du répertoire est effectuée.
Il ne s’agit cependant pas d’une véritable évaluation.
Un scénario plus riche voit l’étape précédente, la validation, enrichie par une réelle évaluation des ressources pédagogiques, comme sur FORMIST ou MERLOT. L’évaluation n’est cependant pas toujours systématique, et renvoie à des critères variés. Elle est menée par un ou plusieurs experts.
Ce processus semble être un calque direct du système du peer-review (évaluation par les pairs) utilisé pour l’évaluation des articles scientifiques avant publication dans des revues (il est d’ailleurs revendiqué comme tel par MERLOT).
Les utilisateurs, enfin, peuvent donner leurs propres avis, faire des commentaires sur une ressource pédagogique. Ils interviennent donc alors directement dans le processus d’évaluation.
C’est le cas d’ENPAIRS, par exemple, qui propose de déposer une ressource à travers un formulaire. Une fois celui-ci rempli et envoyé, le document est accessible aussitôt via le répertoire ENPAIRS.
L’utilisateur a ensuite la possibilité d’évaluer la
ressource, par une note (de 1 à 5) et par un commentaire libre. Ces éléments
sont ensuite consultables en ligne, sur le site. A noter, les commentaires
libres sont rarement remplis ou sont alors très allusifs et renseignent peu sur
les qualités intrinsèques à
Enfin, certaines BOA croisent ces deux derniers scénarios,
comme MERLOT qui propose une évaluation via un peer-review et une
évaluation par les utilisateurs.
La
préoccupation de l’évaluation des ressources pédagogiques et la mise en place
des circuits nécessaires est un phénomène récent (Haughey, 2005) et en pleine
évolution. Cela est particulièrement visible dans les différents sites visités.
Cependant, si les processus sont, pour certains, très précisément définis et
élaborés, leur impact sur l’utilisation des ressources est encore loin d’être
mesuré. Loin d’être un constat négatif, cela signifie bien que l’élaboration de
ces circuits d’évaluation est jugée comme un élément crucial du développement
de ces BOA.
Traditionnellement,
l’évaluation est considérée comme le dernier stade du processus de production
des ressources (Eseryel, 2002), mais des recherches récentes dans le domaine
des banques d’objets d’apprentissage ont souligné la nécessité d’intégrer
l’évaluation dans le processus de production des ressources (Williams, 2000).
Cela a permis, en particulier, le développement d’un Guide d’évaluation des
objets d’apprentissage (LORI : Learning Object Review Instrument) (Nesbit, 2002), outil actuellement utilisé et adapté
par différentes plates-formes (dont MERLOT, eLera[12]).
La complexité de l’évaluation des objets d’apprentissage
est telle qu’elle ne peut être prise en compte que par une grande variété de
méthodes et d’outils (Nesbit, 2004), et les recherches en cours font état de deux voies
complémentaires nécessaires au développement efficace des BOA :
-
une
évaluation « technique » : celle-ci passe par la mise en place
de critères standardisés, nécessaires pour permettre une compatibilité entre
métadonnées. Cela permettrait d’intégrer des métadonnées particulières aux communautés
concernées, mais aussi de créer des passerelles entre ces communautés par le
biais de « traductions » automatisées diverses, selon des langues ou
tout type d’ontologies pertinent (Li, 2004), rendant ainsi possible
l’automatisation de la « personnalisation de masse » (Martinez,
2000).
-
une
évaluation humaine : à cette évaluation technique, qui s’avère trop
restrictive en ce qui concerne l’information qualitative sur les ressources et
leur contexte d’usage (Nesbit, 2002), s’ajoute une évaluation humaine, sociale,
selon des modèles plus ou moins fermés et sous deux formes distinctes :
l’évaluation par des experts à travers le modèle du peer-review ;
et l’évaluation par les utilisateurs, système qui permet l’intégration des
pratiques et du contexte d’usage, encore peu développé (Halm, 2003).
L’analyse
que nous avons réalisée sur les différentes BOA, dans un domaine très
récent et en pleine expansion, bien qu’encore partielle, nous a néanmoins
permis de faire quelques constats exploratoires qui montrent de quelle manière
ces circuits sont mis en
pratique sur le terrain.
Qu’il
s’agisse des acteurs de l’évaluation, des outils mis en œuvre ou des
résultats et de l’affichage de cette
évaluation, on constate que ce sont actuellement les scénarios les plus formalisés qui sont le
plus développés. La majorité des BOA ont un comité éditorial et/ou
scientifique. Elles sont beaucoup moins nombreuses à indiquer la présence d’un
éditeur ou d’un « webmestre » responsable de l’évaluation (FORMIST,
CLOE). Les acteurs impliqués les plus généralement désignés sont des experts
soit de la pédagogie, soit des domaines d’expertise concernés. Un certain
nombre de BOA font aussi appel aux utilisateurs mais cette évaluation est
souvent moins formalisée et reste généralement optionnelle. Lorsque les
utilisateurs sont explicitement désignés, les enseignants le sont plus souvent
que les apprenants.
La plupart des BOA respectent des standards de métadonnées et proposent un circuit de peer-review, le plus souvent basé sur des formulaires permettant de décrire la ressource selon des critères définis. On rencontre aussi assez souvent diverses modalités de préselection des ressources. Quant à l’affichage des processus et des résultats de l’évaluation, outre le fait que les critères et le circuit d’évaluation sont souvent très bien explicités et détaillés (d’autant plus lorsque ce sont les utilisateurs qui sont invités à l’utiliser), l’évaluation est généralement affichée par un classement formel, et les analyses des experts sont assez fréquemment publiées avec la ressource.
Les modalités moins formalisées mais permettant d’intégrer
plus finement le contexte d’usage de la ressource sont, par contre, beaucoup
moins fréquentes. Ainsi, l’évaluation a généralement lieu en amont de
l’intégration de la ressource dans la BOA, et peu de BOA proposent une
évaluation continue (c’est notamment le cas pour MERLOT, ENPAIRS, DLSE et
Starting Point). Celle-ci intègre alors plus facilement des classements ou les
commentaires des utilisateurs (enseignants ou apprenants) et peut aussi
permettre des politiques de désherbage de la collection (indiqué notamment par
DLSE). Cette évaluation par les utilisateurs peut avoir lieu parallèlement à
l’évaluation de la ressource par les experts, mais elle est effectuée plus
souvent après sa validation formelle, et généralement sous forme d’un retour
d’utilisation plus ou moins formalisé (commentaires libres, classement,
formulaire).
Cette analyse met donc en évidence un net déficit quant à l’intégration du contexte d’usage des ressources pédagogiques dans leur évaluation. En effet, la description de la ressource pédagogique, son évaluation portent sur des critères que l’on pourrait dire « documentaires » au sens où il s’agit d’une description du contenu ou de la ressource (même si l’approche en est variée : technique, contenu, design, description). L’approche pédagogique en est très absente. On est dans une logique d’exposition de connaissances, et non de transmission de connaissances qui pourrait intervenir via des scénarios d’usage. Comment intégrer le problème du contexte d’appropriation de la ressource, de l’usage de celle-ci ?
Une des raisons de cette insuffisance semble résider dans le fait que les ressources pédagogiques sont le plus souvent évaluées à travers un système calqué directement sur le peer-review, système d’expertise portant sur la qualité scientifique d’un article mais effectivement inadapté pour l’examen de l’usage pédagogique d’une ressource. Le système du peer-review, modèle traditionnel de validation des connaissances scientifiques, est critiqué car il engendre certains problèmes et certains biais, qui peuvent être transposés pour l’évaluation des ressources pédagogiques (Harnad, 2000 ; McCook, 2006) : manque d’expertise des experts sur le sujet donné, longueur du processus d’évaluation, difficulté de sa mise en place, etc.
Le système de notation engendre lui-aussi d’autres travers,
que la note soit donnée par les experts ou par les utilisateurs. Ainsi, avec un
tel système, ce sont bien sûr les ressources les mieux notées qui seront les
plus consultées. Les autres, par exemple, celles pour lesquelles l’auteur a
refusé l’évaluation sur MERLOT, se retrouveront en fin de liste. D’où, selon
Nesbit (2004) une très grande responsabilité quant à la qualité de l’évaluation
réalisée par
Ces systèmes doivent donc évoluer, comme le tente Nesbit en introduisant l’utilisateur de manière plus poussée dans la démarche d’évaluation via LORI. Car ce qui doit être interopérable, ce n’est pas tant les ressources que leurs modèles de description et d’évaluation, et ces critères doivent pouvoir permettre d’évaluer la qualité de la ressource pédagogique (expertise) mais aussi son opportunité pédagogique d’usage, en donnant les moyens d’analyser les possibilités d’adéquation à d’autres contextes pédagogiques (Martinez, 2000).
Cette évolution s’inscrit dans les possibilités offertes dans le contexte actuel du « web sémantique » (Del Moral, 2005 ; Halm, 2006) et le développement des communautés de pratiques (Li, 2004) et de la « collaborative knowledge » (Anderson, 2003), mais aussi dans un contexte d’internationalisation croissante des usagers du web où le potentiel de ces interactions est important pour répondre aux problématiques de « localisation » (adaptation à une communauté particulière), de « translocalisation » (passerelles entre communautés) et d’« internationalisation » (application des standards) (Li, 2004). Comme exemple de « traductions », il existe d’ailleurs déjà des équivalences de niveaux de validation entre les plates-formes NEEDS et MERLOT (Teng, 2004).
Et de
fait, l’évaluation des ressources pédagogiques, quand elle a lieu, est surtout
basée sur une indexation en strates successives : pédagogique, sémantique,
technique (Kreczanik, 2004), là où elle devrait être surtout collaborative (Margaryan,
2006), continue et évolutive, intégrant les différents acteurs autour de la
ressource pédagogique et aux différents stades de son développement (comme dans
l’exemple LORI)(Williams, 2000 ; Nesbit, 2002 ; Richards, 2004 ;
Johnson, 2005).
L’analyse des BOA réalisée dans cet article fait ressortir
à la fois la complexité d’un processus devant intégrer une multitude d’acteurs
aux compétences et besoins variés, mais aussi la volonté des BOA de prendre en
compte cette complexité et d’y répondre en développant des modalités de
description et d’évaluation multiples et hybrides (mais néanmoins basées sur des standards et de ce fait
adaptatifs) afin de multiplier les potentialités d’utilisation d’une ressource
pédagogique et de déboucher ainsi sur d’autres types de classements et de
liens. Non seulement le contexte de développement de l’évaluation des
ressources en ligne est en pleine construction, mais la notion d’évaluation
elle-même est à considérer comme un processus évolutif qui se construit sur la
durée et de manière complexe au sein d’une communauté d’expertise pour laquelle
le contexte de la ressource fait sens et en permet l’utilisation. C’est en ce
sens que la communauté d’usage rejoint la communauté d’expertise et demande à
être intégrée pleinement dans le circuit d’évaluation de la ressource, en
redonnant à au système de peer-review toute sa dimension d’évaluation
par les « pairs », en introduisant un « peer-commenting »
(Harnad, 2000 ; Nentwich, 2005).
Anderson
J. (2003), "The Challenges of
Collaborative Knowledge" In : Learning objects : contexts
and connections.
Ben Kei D., Permanand M. (2004), “A
Model for Evaluating Learning Objects” Fourth IEEE International Conference
on Advanced Learning Technologies (ICALT'04), pp. 56-60.
Del Moral E., Cernea D. A. (2005): “Design and Evaluate Learning Objects in the New Framework of the
Semantic Web”, III International Conference on multimedia and
Information & Communication Technologies in Education (m-ICTE2005),
Caceres, Espagne, actes : Méndez-Vilas, A. [ed.]: Recent Research
Developments in Learning Technologies. FORMATEX,
2005, en ligne. http://www.formatex.org/micte2005/357.pdf
Dufresne A., Senteni A., Richards G (2002), “La contextualisation des banques de ressources - barrières et clés ” , Canadian Journal of Learning and Technology, vol 28/3.
Eseryel D.
(2002), “Approaches to Evaluation of Training : Theory & Practice”, Educational
Technology & Society, 5(2), pp 93-98. En ligne. http://www.ifets.info/journals/5_2/eseryel.pdf
Halm M.
(2003), "Beyond the LOM: A New
Generation of Specifications",
Harnad S. (2000), “The invisible
Hand of Peer-review”, Exploit Interactives, issue 5, april 2000.
Haughey
M., Muirhead B. (o.J.)(2005) “Evaluating
Learning Objects for Schools”, E-journal of instructional science and
technology, vol. 8, n°1. En
ligne. .
http://www.usq.edu.au/electpub/e-jist/docs/vol8_no1/fullpapers/Haughey_Muirhead.pdf,
Johnson J., Dyer J. (2005), « User-defined
content in a constructivist learning environment », III International
Conference on multimedia and Information & Communication Technologies in
Education (m-ICTE2005), Caceres, Espagne, actes : Méndez-Vilas, A. [ed.]:
Recent Research Developments in Learning Technologies. FORMATEX, 2005, en
ligne. http://www.formatex.org/micte2005/169.pdf
Kreczanik T. (2004) “Vers une rationalisation
de l'indexation des ressources pédagogiques électroniques... ”. Mémoire de
DEA Université Jean Moulin, Lyon. En ligne. http://memsic.ccsd.cnrs.fr/documents/archives0/00/00/01/63/
Li J.Z.,
Nesbit J., Griff R. (2004), : Crossing Boundaries with Web-Based Tools for
Learning Object Evaluation. In: ICWL 2004, LNCS 3143, pp. 286-292,
http://www.sfu.ca/%7Ejzli/publications/Crossing%20Boundaries%20with%20Web-Based%20Tools%20for%20Learning%20Object%20Evaluation.pdf
Lundgren-Cayrol K., Ruelland D. (2006), “Etat de l’art : stratégies de contrôle de qualité des banques d’objets d’apprentissage”. Document de travail Normétic, non publié.
Margaryan
A., Currier S., Littlejohn A., Nicol D. (2006), CD-LOR Deliverable 1 : Report on Learning Communities and Repositories,
05 Apr. 2006. En ligne. http://www.ic-learning.dundee.ac.uk/projects/CD-LOR/CDLORdeliverable1_learningcommunitiesreport.doc
Martinez M. (2000), Designing
learning objects to mass customize and personalize learning, In D. A. Wiley
(Ed.), The Instructional Use of Learning Objects, chapitre 3.1. En
ligne. http://www.reusability.org/read/chapters/martinez.doc
McCook A. (2006), “Is peer-review
broken ?”, The scientist, volume 20, Issue 2, pp. 26-34.
Nentwich M. (2005), “Quality control
in academic publishing: challenges in the age of cyberscience”. In Poiesis
& Praxis: International Journal of Technology Assessment and Ethics of
Science, Volume 3, Number 3, pp.181 - 198 .
Nesbit J., Belfer K., Vargo J.
(2002), “A Convergent Participation Model for Evaluation of Learning Objects”, Canadian
Journal of Learning and Technology, Volume 28(3).
Nesbit J., Li J. (2004), “Web-Based Tools for Learning Object Evaluation”, International
Conference on Education and Information
Richards
G., McGreal R., Hatala M., Friesen N. (2003), “The evolution of learning object repository
technologies: Portals for on-line objects for learning”. Journal
of Distance Education, vol 17.3.
Richards G., Nesbit J.C. (2004),
“The teaching of quality : convergent participation for the professional
development of learning object designers”, International Journal of
Technologies in Higher Education, 1(3), pp.56-63 .
Robertson A. (2006), « Introduction aux banques d’objets d’apprentissage en français au Canada », Rapport préparé pour le compte du Réseau d’enseignement francophone à distance du Canada, http://www.refad.ca, En ligne. http://www.refad.ca/recherche/intro_objets_apprentissage/pdf/RapportObjetsapprentissage2006.pdf
Smith Nash S. (2005), “Learning
objects, learning objects repositories, and learning theory : preliminary
best practices for online courses”, Interdisciplinary Journal of Knowledge
and Learning Objects, vol. 1, pp 217-228.
Teng, Xia;, Muramatsu
B., Zhang J. W., Tront J., McMartin F.,
Agogino A. (2004), “Implementation of
Quality Evaluation for Web-based Courses and Digital Learning Resources”, In : Proceedings
of the 3rd International Conference on Web-based Learning, Aug. 8-11, 2004,
Tsinghua University, Beijing, China. En
ligne. http://best.me.berkeley.edu/%7Eaagogino/papers/teng_china.pdf,
Vargo J., Nesbit J., Belfer K.
Archambault A. (2003), “Learning object evaluation: Computer mediated
collaboration and inter-rater reliability”, International Journal of
Computers and Applications. Special Issue. 25(30).
Williams D. D. (2000). "Evaluation of learning objects and instruction using learning objects." In D. A. Wiley (Ed.), The Instructional Use of Learning Objects: Online Version. Chapitre 3.2, En ligne. http://www.reusability.org/read/chapters/williams.doc
[1] FORMIST - Un réseau francophone pour [APPRENDRE À] rechercher, évaluer et utiliser l'information.
[2] Plusieurs listes ont été consultées, dont les suivantes :
- Learning
object repositories :
http://elearning.utsa.edu/guides/LO-repositories.htm
- Learning Objects : collection
http://www.uwm.edu/Dept/CIE/AOP/LO_collections.html
- Le répertoire Thot des dépôts d’objets d’apprentissage. 48 dépôts , plus de 1 million d’objets !
[3] DLESE – resource quality guidelines
http://www.dlese.org/Metadata/collections/resource-quality.htm
“ Inform
creators of practices for developing quality resources “
[4] FORMIST – Proposition de document
[5] ENPAIRS – devenir membre
[6] SPIRAL
[7] DLESE – Resource quality guideline.
http://www.dlese.org/Metadata/collections/resource-quality.htm
[8] CLOE – About peer review.
[9] STARTING POINT – about our digital library
collection.
[10] DLESE – Request
for reconsideration of a DLESE resource
[12] eLERA