Information et théorie mathématique: une impasse en science de l'information ?
Le cas de l'infométrie.
Thierry Lafouge
Université
Claude Bernard Lyon1 Laboratoire RECODOC
Bâtiment
OMEGA
43, Boulevard du11novembre1918
69622 Villeurbanne Cedex
Tel 04 72 44 58 34
La théorie statistique de l'information de C. Shannon, appelée souvent à tort théorie de l'information ou théorie mathématique de la communication, est souvent réduite et connue en SIC (Sciences de l'Information et de la Communication) au travers du schéma du système général de la communication : source, émetteur, signal...bruit..... La théorie de Shannon est connue en statistique par sa célèbre formule de l'entropie. La formule de Shannon est isomorphe à la formule de l'entropie de Boltzmann en physique. Cette théorie est importante car elle est à la jonction de la théorie du signal et de la statistique. Les mesures de l'entropie sons utilisés comme indicateurs en statistique unidimensionnel et bidimensionnelle .Nous essaierons au travers de cet article de donner le point de vue de l'infométrie.
Mot clef: entropie/ théorie probabiliste de l'information/ statistique
Shannon's theory is commonly aboarded in the narrow statement of the general communication scheme : signal, noise, ... The entropy formula in statistics is a caracteristic of shannon's theory which is isomorphic to Boltzman formula in physic. It's an important issue in that way this theory is between signal and statistical theory. By using entropy measures in unidmentional and bidimentional statistics, we'll try to point out this issue in a infometric approach.
Keywords : entropy/ probabilistic theory of information/ statistic
Introduction
Le mot information est utilisé dans des contextes très variés, dans des sens totalement différents suivants les disciplines scientifiques : on peut à titre d'exemples citer la thermodynamique avec le concept d'entropie, la physique avec la théorie du signal, la biologie avec la théorie du génome. Se pose alors la question, s'il est possible de construire une théorie de l'information, et si elle est unique. Notre démarche dans cet article vise non pas l'information en tant que telle, mais la quantité d'information. Lorsque l'on parle de quantité d'information et de mesure on pense à la notion de contenu ou de valeur de l'information. La science de l'information de par son objet doit se sentir concernée par ce questionnement. Si on définit l'infométrie comme l'ensemble des techniques de mesures mathématiques et statistiques de l'information, on souhaiterait avoir une définition suffisamment claire du concept de quantité d'information qui puisse nous amener à définir une mesure, c'est à dire un ensemble d'opérations parfaitement définies, nous amenant à des axiomes clairs et dont le résultat est un nombre. La synthèse que nous développons ici n'est pas si ambitieuse. De toute façon à l'heure actuelle, faute de connaissances, ou pire parce que on ne saurait vraiment pas formuler le problème une approche générale du concept de quantité d'information serait vouée à l'échec. Nous nous intéressons ici à la théorie probabiliste de l'information, connue sous le nom de théorie de Shannon, qui est la plus utilisée en science de l'information et de la communication. Ce travail qui à première vue peut paraître « risqué, prétentieux ou obsolète» en science de l'information, nous a semblé nécessaire au vue de prises de position souvent extrêmes de certains chercheurs :
- un rejet de cette théorie, souvent par ignorance et /ou par des présupposés épistémologiques : restriction de la théorie de Shannon au célèbre schéma émetteur, canal, récepteur par exemple,
- une utilisation abusive de cette théorie pour valider des résultats,
- une utilisation naïve de cette dernière.
Nous essaierons de donner au lecteur quelques repères pour lui donner l'envie d'approfondir cette théorie et de se forger sa propre opinion. Nous aborderons principalement dans cet article les relations multiples qu'entretiennent la théorie probabiliste de l'information (travaux d'Hartley, Shannon, Reyni..) et les statistiques en général. Nous n'apporterons pas de résultats théoriques nouveaux mais nous mettrons en parallèle différentes approches utilisant cette théorie et donnerons quelques exemples.
1. LA MESURE DE l'INFORMATION : de HARTLEY à SHANNON
1.1 Information d'un ensemble : la formule de Hartley en 1928
Etant donné un ensemble E de k éléments, où l'on suppose : si à chaque élément de E on associe un numéro écrit en base 2 qui permet de le coder, il est trivial de dire que n digit suffisent pour le repérer . Le nombre n est dit mesuré la quantité d'information nécessaire pour repérer un élément de E. On définit alors la quantité d'information de E, noté I(E) par la même valeur :
.
Hartley en 1928 généralise la quantité d'information pour un ensemble E ayant un nombre quelconque d'éléments par:
où désigne le nombre d'éléments de l'ensemble E.
Notation
Par la suite on notera log au lieu de log2 le logarithme en base 2, Ln le logarithme népérien, Log le logarithme lorsque l'on ne précise pas.
Soient les quatre chaînes de caractères, «islamiste, religieux, abcdefghi, xqzerdfk » : elles ont toutes la même quantité d'information, à savoir : 42,3 bit. Ici l'ensemble E est constitué de tous les arrangements possibles avec répétitions de 9 caractères choisis parmi les 26 lettres de l'alphabet soit 269 éléments; l'unité d'information est le bit, information élémentaire pour repérer les éléments d'un ensemble de cardinal 2. Cet exemple est significatif de ce qu'on appelle quantité d'information d'une chaîne : on prend uniquement en compte sa forme, réduite ici au nombre de caractères. Non seulement la signification est totalement absente mais en plus on ne tient pas compte par exemple d'informations statistiques sur les fréquences des caractères dans la langue, seul le nombre de symboles de l'alphabet est retenu. Si ce nombre de symboles est réduit à deux on retrouve les unités classiques en informatique.
Remarques
Nous parlons de mesure de quantité d'information sans avoir défini avec précision ce qu'on appelle information. Ici n est le nombre de cases élémentaires, mémoires, pour coder l'information qui est le cardinal de l'ensemble E. L'exemple ci-dessus justifie en partie l'appellation théorie du codage utilisée pour désigner la théorie de Hartley et ses prolongements que l'on développera par la suite.
1.2 Information d'un événement : la formule de Wiener en 1948
On se place ici dans le cadre de la théorie des probabilités qui repose sur la théorie des ensembles et de la mesure en mathématique. Parmi toutes les mesures d'information d'un événement O, dont la probabilité de réalisation est notée , comment mesurer l'information apportée par cet événement ? On parlera désormais d'entropie d'un événement (on justifiera par la suite cette appellation qui est selon nous abusive et trompeuse). On suppose que cette mesure ne dépend que de p. On note cette fonction sur 1]. Construire une théorie dans le cadre des probabilités nous amène à poser les propriétés (1) et (2) :
(1)est non négative
(2) est additive ,
En effet si deux événements A et B sont indépendants on a la relation :.
(3) Enfin pour des questions de normalisation (propriété non obligatoire) on suppose .
On montre que la fonction vérifiant ces trois axiomes(J. Aczel J., Z. Daroczy chapitre 1 ) est nécessairement de la forme :
ou
La condition (2) signifie que l'entropie apportée par la conjonction de deux évènements indépendants est la somme des entropies apportées par chaque événement. Comme on vient de le voir cette condition est naturelle[1]. La troisième condition qui n'est pas essentielle assigne l'unité d'information (appelé bit) à l'événement de probabilité ½ équivalent quant à sa mesure à son opposé .
Soit une distribution de descripteurs caractérisant un domaine scientifique.Les mots très fréquents (p voisin de 1) ont une entropie très faible (H voisin de 0), c'est ce qu'on appelle les mots triviaux , que connaît parfaitement l'expert du domaine. Les mots ayant une basse fréquence qui sont très nombreux ont une entropie très forte, on parle alors de bruit ou de marginalité. C'est parmi eux qu'on trouve ce qu'on appelle les signaux faibles en veille. Le problème bien connu dans les analyses bibliométriques de références bibliographiques est que ces mots sont très nombreux et ont des fréquences identiques très faibles.
1.3 Information d'une suite d'évènements : la formule de Shannon en 1948
1.3.1 Les différentes approches
L'entropie de Shannon, notée H ou , mesure la quantité d'information moyenne, elle peut être introduite de plusieurs façons, elle généralise les mesures précédentes.
· Le point de vue ensembliste : information apportée par un caractère
Soit , une partition de l'ensemble par le caractère où l'on note
, on montre facilement (M. Volle ) en se servant de la formule de Hartley que la connaissance de I permet d'économiser pour repérer les éléments de E la quantité d'information suivante :
H(I) est aussi appelée entropie de la partition de E définie par I.
On remarquera que ne dépend pas du caractère I, ni même du type de ces modalités, mais uniquement de la distribution des fréquence .
· La démarche de Shannon
Voici rapidement les hypothèses que formule Shannon. (W. Weaver, CE. Shannon) Supposons que nous ayons un ensemble n d'événement possibles dont les probabilités d'occurrence sont . Comment trouver une mesure de l'incertitude du résultat, c'est à dire du nombre de choix possibles? Les probabilités sont connues a priori et c'est tout ce que nous connaissons sur le futur. Si tous les évènements sont équiprobables il est raisonnable de considérer qu'il est souhaitable que l'incertitude soit maximum. Shannon impose à cette mesure H trois conditions:
-H est une fonction continue des ,
-si tous les sont égaux alors H est une fonction monotone croissante de n,
-si un choix se décompose en deux choix successifs le H original devra être la somme pondérée des valeurs individuelles (Cette propriété est appelée par la suite récursivité ou ''branching process"). Shannon montre que la seule fonction H satisfaisant aux trois hypothèses ci dessous est de la forme :
où k est une constante dépendant des unités.
Donnons une forme non normalisée: soit une suite de n nombres positifs ou nul quantifiant la probabilité de n évènements et vérifiant la relation : l'entropie de cette suite est définie par la quantité :
Si la suite définit une distribution de probabilité on retrouve la formule bien connue de Shannon qui est à l'origine, rappelons le, une théorie élaborée en vue de modéliser la transmission des signaux électriques.
L'approche de Shannon généralise celle de Hartley et de Wiener. Si la suite se réduit à un seul élément on retrouve la formule précédente de Wiener.
Enfin si , c'est à dire si tous les évènements sont équiprobables on obtient la formule précédente de Hartley . On montre que est la valeur maximum de l'entropie : on définit alors la quantité d'information relative variant entre 0 et 1 qui est le rapport de l'entropie sur l'entropie maximum.
· Le point de vue informationnel pragmatique
Si l'on veut définir une fonction (notée aussi H) qui mesure l'entropie d'une suite d'événements on peut ( Un système de production bibliographique (Egghe 1990) est un ensemble de sources qui produisent des items) utiliser le formalisme de la bibliométrie distributionnelle (Lafouge 1991).
- les chercheurs produisent des articles,
- les formes graphiques[2] d'un texte produisent des occurrences,
- les mots clefs de références bibliographiques produisent des occurrences,
...........................................
On écrit H sous la forme où est la probabilité qu'un événement élémentaire i se produise ( un chercheur produit i articles......) et l'information apportée par cet événement i. On définit alors par (On s'inscrit dans les hypothèses de Wiener)
H est l'espérance de la variable aléatoire. Le schéma ci-dessous résume le problème.
H mesure une quantité moyenne d'information. Nous obtenons le même résultat que Shannon. Ceci n'est pas un hasard car nous nous situons dans le cadre de la théorie des probabilités. Alors que dans la théorie de Shannon on parle de transmission de quantité d'information, ici on parle de production de quantité d'information.
Exemple
Les phénomènes précédents de production bibliométrique peuvent être décrits suivant différentes formes. Nous utilisons la représentation générale des fonctions zipfiennes étudiées par Haitum (S. D Haïtum) où une telle distribution est définie par la fonction de densité hyperbolique suivante :
où C est une constante, un nombre positif, et où
Il est possible de généraliser la définition de l'entropie lorsque on a une distribution continue :
Les entropies des distributions continues héritent de la plupart des propriétés du cas discret défini précédemment.
Si on calcule l'entropie d'une zipfienne on a :
. Il est aisé de montrer que l'entropie est une fonction décroissante de . On retrouve l'interprétation classique de la loi de Lotka qui stipule que plus est élevé, plus grand est le fossé entre le petit nombre de chercheurs qui produisent beaucoup et le grand nombre de chercheurs qui produisent très peu, et donc plus grand est la quantité d'information. Yablonsky (A. L Yablonsky) montre qu'il existe un lien entre ce type de distribution et le principe du maximum d'entropie (notée MEP), lui même lié au principe de la loi du moindre effort (PLE), résultat que nous avons prolongés (T. Lafouge, C. Michel) pour le cas de la distribution binomiale négative. Nous pensons que cette voie de recherche encore peu explorée peut être féconde.
· Le rêve idéaliste : entropie et information
Soit un langage constitué de n symboles chacun ayant une fréquence le nombre total W de messages possibles de N symboles respectant les fréquences précédentes (c'est à dire l'égalité : ) est :
(formule de Brioullin)
Si l'on pose et que l'on utilise la formule de Stirling pour calculer factoriel on obtient : : sous cette forme la mesure de Shannon est bien la quantité moyenne d'information apportée par un symbole .Son analogie avec la fonction entropie (Voir ci-dessous) de la thermodynamique est patente (D. Parrochia).
Les notions d'entropie et d'information découlent de la thermodynamique. C'est Sadi Carnot qui en formulant le premier principe va initier ces travaux. Enfin Boltzman en étudiant la mécanique va obtenir une formule identique en calculant l'énergie d'un gaz comme la moyenne des énergies correspondantes . Si on désigne par S la fonction entropie, cette dernière peut s'écrire :
où désigne le nombre d'états possibles d'un système ayant une énergie donnée E et où K est une constante . Tous ces résultats permettent de montrer qu'il existe une isomorphie entre l'entropie de Bolzmann et l'entropie de Shannon.
Il est alors tentant de postuler une équivalence entre énergie et information. L'exploitation qu'on peut faire d'une telle analogie montre maintenant ses limites. L'analogie entre entropie et information est séduisante mais inopérante pour notre discipline. Nous avons cependant gardé ici comme dans beaucoup d'ouvrages et d'articles le terme entropie.
Remarque
Lorsque que l'on travaille avec les fréquences il est souvent intéressant de mettre l'entropie de Shannon sous la forme :
Exemple
On parle en linguistique quantitative de l'entropie des lettres de l'alphabet d'une langue. Ainsi en français la fréquence moyenne de la lettre E est 0,175 ....... On définit alors l'entropie moyenne d'une lettre par ; en langue française le calcul nous donne 3,98 bit. On peut alors étudier l'utilisation des caractères dans plusieurs langues et faire des comparaisons. Il n'en est pas de même pour les formes graphiques ou les mots d'une langue car on ne travaille pas dans un univers fermé.
1.3.2 Les propriétés de la mesure de Shannon
Nous rappelons sans les démontrer les principales propriétés algébriques
de cette mesure :
(a) Symétrie où k est une permutation arbitraire sur l'ensemble {1....n}
(b) Normalité
(c) Décision
(d) Linéarité
Soient deux distributions de probabilité :
(e) Linéarité forte
Soient une distribution de probabilité et m distributions de probabilités :
(f)Récursivité
Les propriétés (a) (b) (c) sont communes à toutes les mesures statistiques de l'information ( Voir les mesures de Reyni au paragraphe 1.4, et les mesures d'ordre supérieure dans la conclusion).
· La symétrie signifie que c'est une mesure globale d'un ensemble d'événements,
· la normalité traduit que l'incertitude est maximum lorsque tous les événements sont équiprobables. Elle croît en fonction du nombre d'événements.
· la propriété de décision signifie qu 'il n'y a pas d'incertitude si un événement est sûr.
· la linéarité est l'équivalent de la propriété de Wiener pour des évènements indépendants,
· la linéarité forte joue un rôle important : elle va nous permettre de donner un sens à la notion d'entropie conditionnelle ; elle est à la base de la construction d'une série d'indicateurs (cf. 3.1.1).
1.4 Une autre approche : le gain d'information
A première vue la notion de gain d'information dans la vie courante semble plus intuitive que la notion de quantité d'information. Dans la théorie de l'information un gain d'information sera matérialisé par une quantité d'information.
Pour introduire cette notion on peut procéder comme pour le point de vue ensembliste précédent (Voir paragraphe 1.3.1) en utilisant les mêmes notations. On définit F un sous ensemble de E et on construit la partition de F : avec . La question est alors : pour repérer un élément de E, qu'apporte le fait de savoir que cet élément appartienne à F ? Cette quantité est égale est égale à l'information pour repérer un élément suivant I si on ignore que l'élément est dans F moins l'information si l'on sait que l'élément est dans F( Voir M. Volle p58 ).
(Cette information est dite information de Kullback.)
Le lecteur peut penser que nous jouons avec les mots (ou avec les notations en mathématiques) Il vérifiera cependant que cette quantité est différente de , et donc que le gain d'information n'est pas une différence de quantité d'information, c'est bien un autre concept.
De la même façon soient deux caractères X et Y définis chacun par une distribution de probabilité, et , on définit le gain d'information lorsque l'on passe des distributions marginales de X et de Y à la distribution des fréquences des évènements (i j) . On montre alors que le gain d'information est égal à :
.
On remarque que cette expression est symétrique en i et j et qu'elle est nulle si les deux distributions sont indépendantes.
Lorsque l'on élabore l'axiomatique de la théorie probabiliste de l'information deux approches sont possibles.
La première consiste à suivre les étapes suivantes :
Définition de la quantité d'information -> axiomatisation ->définition du gain d'information.
La deuxième :
Définition du gain d'information -> axiomatisation - > définition de la mesure d'information
Dans (A. Renyi) ce dernier développe la deuxième approche qui lui permet d'axiomatiser la notion de gain d'information et de construire dans un deuxième temps un ensemble de nouvelles mesures dont on trouvera la formule ci-dessous :
Soit une distribution de probabilité et un nombre il pose :
Attention
On vient de voir dans tout ce qui précède que l'entropie de Shannon est une mesure de l'incertitude. Au sens de Shannon, c'est à dire la théorie mathématique de la communication l'entropie mesure l'imprévisibilité moyenne que l'observateur a sur le message émis. Plus cette valeur est élevée plus l'incertitude augmente (en physique on dit que le désordre augmente), ce que nous traduisons en disant que l'information diminue. Quantité d'information et entropie varient en sens contraire. Si un événement est sûr, son entropie est nulle, par contre la quantité d'information est maximum. Les physiciens parlent de néguentropie pour désigner la quantité d'information..
2. STATISTIQUES ET MESURE de L'INFORMATION
L'objectif de ce paragraphe est de montrer les liaisons qui existent entre les statistiques classiques utilisées en infométrie et les mesures précédentes. Certains ouvrages de statistique ont un chapitre entier consacré à la théorie statistique de l'information (Voir par exemple M. Volle, A. Reyni dans la bibliographie ci dessous)
2.1 Statistique unidimensionnelle et mesures informationnelles
2.1.1 Indicateurs de concentration et de diversité
Pour caractériser les distributions de fréquences les statistiques unidimensionnelles utilisent trois types de mesure que sont les indicateurs de tendance centrale, de dispersion et de concentration. Les distributions rencontrées en science de l'information sont connues sous le nom de Zipfienne et ont été largement étudiées dans la littérature (S. D Haitum). Elles sont en général de forme hyperbolique et décroissantes (cf 1.3.1) et possèdent une longue queue avec un écart type supérieur à la moyenne. En général on les oppose aux distributions gaussiennes que l'on rencontre fréquemment lorsque l'on étudie des populations physiques. Aussi les indicateurs classiques (moyenne, variance, coefficient de variation ) issues de la théorie des moments ne sont pas toujours adaptés pour résumer ces distributions. Les chercheurs en biologie, économie, infométrie ont développé de nombreux autres indicateurs.
Nous allons nous intéresser aux indicateurs de concentration ou de diversité. Donnons rapidement une présentation des indices de ce type d'indice. Soit un ensemble de n sources (ouvrages, auteurs, mots, ...) qui produisent des items (prêts, articles, occurrences...). Nous désignons par le nombre d'items produits par la ième source ; un indice de concentration (respectivement de diversité) de cette distribution doit vérifier les trois propriétés :
: invariance par permutation, cela signifie que c'est bien un indice global.
) : invariance si on modifie l'échelle de mesure.
Si ces deux propriétés sont classiques pour de nombreux indicateurs il n'en n'est pas de même pour celles qui vont suivre que L. Egghe a longuement étudié (L. Egghe, R. Rousseau 1990) et appelle principe de transfert si on a :
Pour tout et :
un indice de concentration vérifie:
Cela signifie qu'un transfert d'une source pauvre vers une source riche augmente l'indice de concentration.
Un indice de diversité vérifie :
Cela signifie qu'un transfert d'une source pauvre vers une source riche diminue l'indice de diversité.
La mesure de Teil ( provenant de l'entropie qui est une mesure de diversité) est une « bonne mesure de concentration » au sens qu'elle vérifie toutes les propriétés souhaitées (L. Egghe, R. Rousseau) ; elle est souvent écrite sous la forme : on montre aisément que l'on a l'égalité :
Pielou a généralisé ce type d'indice. Ce dernier plus connu sous le nom d'entropie généralisée a été développé par Reyni, dans un tout autre contexte (Voir paragraphe 1.4). On définit l'entropie généralisée d'ordre par :
on montre que . Hill propose une approche (M. Hill) qui va définir un ensemble de mesures de diversité : . Lorsque on retrouve l'indice bien connu de Simson : .
Il est intéressant de noter que deux approches différentes, une en statistique unidimensionnelle et l'autre liée à la notion de gain d'information aboutissent à des résultats identiques.
2.1.2 Variance et Entropie
Une des propriétés selon nous la plus intéressante de l'entropie pour notre discipline est le caractère agrégatif de cette mesure semblable à celui de la variance. Comme la variance l'entropie peut être découpée en fractions après un regroupement en classes. Une classe est un regroupement de sources, on peut citer :
en scientométrie :un laboratoire regroupement des chercheurs,
en bibliométrie :un journal regroupant des articles,
en infométrie :un thème regroupant des mots spécifiques
...........................
On notera :
n nombre de sources,
m nombre de classes,
nombre d'items produit par la ieme source,
nombre d'items produits par la keme classe,
F nombre total d'items,
entropie de la keme classe.
On a alors le résultat suivant :
Où comme pour la variance (voir variance interclasse, intraclasse) :
Cette propriété est intéressante car la quantité d'information ainsi décomposée donnera une vision de la quantité d'information (ou plutôt diversité) apportée par chaque classe et par leur différenciation au sein du groupe. Cette propriété est intéressante quand il est possible de regrouper un ensemble de codes, de mots (Voir Thésaurus, Plan de classement...), en unités hiérarchiquement supérieures. C'est dans cet esprit que nous avons préconisé l'emploi de nouveaux indicateurs pour résumer les distributions Zipfiennes (J. Lhen,), l'entropie de Shannon étant la diversité d'ordre 1.
3.1 Statistique bidimensionnelle et mesures informationnelles
La statistique unidimensionnelle résume avec des indicateurs une distribution de valeurs. La statistique bidimensionnelle a pour objectif de découvrir des liens éventuels qui existent entre deux variables.
3.1.1 Entropie conditionnelle et information mutuelle
Nous allons tirer les conséquences de la propriété de linéarité forte de la mesure de Shannon. Supposons deux évènements X et Y chacun étant défini par une suite de n (respectivement de m) éventualités définis par une suite (respectivement ).
On note :
probabilité d'avoir les évènements i et j simultanément,
probabilité d'avoir j sachant i réalisé (probabilité conditionnelle),
On a entropie conjointe de X et Y :
Si les évènements sont indépendants () on obtient la relation : (Voir propriété (d) de linéarité)
On définit l'entropie conditionnelle de Y sachant X comme la moyenne de l'entropie Y pondérée pour chaque valeur de X pondérée.
On montre alors facilement que les propriétés suivantes (Voir propriété de linéarité forte) :
D'où on tire :
On en déduit le résultat : si X et Y dépendent l'un de l'autre alors la connaissance de X entraîne une diminution de l'entropie c'est à dire de l'imprévisibilité qu'on a sur Y : . De même on montre :.
Ce résultat nous permet de construire les indicateurs souvent utilisés en théorie mathématique de la transmission du signal et par certains chercheurs en scientométrie que l'on verra par la suite lors d'un exemple :
Information sur X contenu dans Y :
Information sur Y contenu dans X :
Ces indicateurs sont souvent appelés liens en statistique, ils ne sont pas symétriques.
Comme pour l'entropie relative on utilise de préférence des indicateurs quantifiant les informations relatives :
;
On résume traditionnellement toutes ces propriétés dans le schéma ci-dessous reproduit dans des contextes différents. On va développer un exemple en s'inspirant des travaux de Loet Leydesdorf (L. Leydesdorff) qui fait partie des chercheurs utilisant cette théorie dans ses nombreux travaux.
Exemple
Soit un ensemble A de m articles concernant un thème scientifique. Chaque article est caractérisé par un ensemble M de n de mots (mots clés, mots du résumé, du titre....) caractérisant son contenu. La fréquence de chaque mot (appelée également nombre d'occurrences) est connue. Soit la fréquence du moti dans l'article j on alors un tableau croisé (Articles * Mots) de n*m valeurs qu'on va traiter dans un premier temps classiquement :
nombre total d'occurrences dans les m articles,
probabilité d'occurrence du mot i dans l'article j,
probabilité d'occurrence d'un mot dans l'article j
probabilité d'occurrence du mot i dans les articles.
On utilise la formalisation précédente. On calcule en premier lieu les entropies des trois distributions :
distribution des articles au travers des mots,
distributions des mots au travers des articles,
distribution conjointe.
On en déduit les entropies conditionnelles :
Puis ce qu'on a appelé les informations mutuelles
On construit alors les indicateurs (compris entre 0 et 1) qui vont résumer l'information de ces mots distribués dans les articles :
: pourcentage d'entropie de la distribution des valeurs du tableau par rapport à l'entropie maximale .
: réduction de l'entropie concernant la distribution des mots dans les articles.
: réduction de l'entropie concernant la distribution des articles à travers les mots.
C'est en partie en utilisant ces trois indicateurs que L. Leydesdorff analyse les résultats d'une étude menée par l'Ecole des Mines qui est à l'origine de la méthode des mots associés. Le lecteur trouvera en bibliographie la référence de cet article ( L. Leydesdorf(1992)) ainsi que la réponse de J. P Courtial un des nombreux chercheurs à l'origine de cette méthode. (J. P Courtial). Leydesdorff calcule les paramètres ci-dessous sur des données avant classification et après classification (après formation de ce qu'on appelle généralement des agrégats ); dans ce cas il fait les mêmes calculs sur ces données en regroupant les mots de chaque agrégats. Il obtient un tableau Articles* Agrégat qu'il est obligé de compléter par les mots de fréquence faible qui ont été éliminés lors de classification. Cette étude est intéressante car elle manipule les mêmes données et permet de faire des comparaisons. Cette démarche est malheureusement bien rare dans notre discipline. Sans vouloir donner raison à l'un ou à l 'autre nous voulons faire une ou deux remarques sur l'utilisation de ces indicateurs comme outil d'évaluation de la méthode des mots associés.
Les mesures faite avec l'entropie sont des moyennes. Dans la pratique l'écart type calculé sur la distribution informationnelle (cf 1.3.1 approche informationnelle pragmatique ) est souvent supérieur à l'entropie et donc relativise les conclusions car il existe une dispersion tres forte autour de la moyenne. Nous avons conscience qu'il faudrait développer cette affirmation d'un point de vue théorique. Cette étude a été entreprise.
La méthode des mots associés utilise un indice de proximité appelé coefficient d'équivalence qui est la mesure du cosinus de Salton au carré. L'évaluation de la méthode des mots associés est faite avec l'entropie d'ordre 1 qui est une mesure lié à la distance du khi2. Pourquoi tester uniquement l'ordre 1 ?
3.1.2 Distance du et mesure du gain d'information
Explicitons les relations entre la distance du et de la mesure du gain d'information vue au paragraphe 1.4.
Rappel : la métrique du
Si l'on considère les trois distributions p, q, r ( ) la distance entre p et q, calculée avec la métrique du centrée sur r par :
. L'utilisation de cette métrique est justifiée par le test du (Voir la loi de probabilité du ) et ses propriétés qui en en font une distance adaptée à de nombreux problèmes en Statistique lorsque l'on croise deux variables nominales ou que l'on veuille ajuster une distribution par exemple. Elle est également utilisée en analyse factorielle où la distance entre les points est celle du centrée sur le centre du nuage de points.. Nous allons voir que cette distance est liée avec la notion d'entropie. Nous utilisons par la suite les notations du paragraphe 3.1.1 . On définit le Lien entre deux caractères par :
- distribution du caractère conjoint (X ,Y),
- distribution des caractères conjoints (X, Y) supposés indépendants,
D'après ce qui précède, le Lien mesure donc la distance au sens du entre les deux distributions ci dessus Ce dernier mesure la dépendance entre les deux caractères, plus la valeur sera élevée, plus les caractères seront dépendants. Si X et Y sont indépendants le Lien entre X et Y est nul. Cette mesure symétrique est équivalente à une constante près au gain d'information mutuelle défini au paragraphe 1.4 (Voir M. Volle p 65)
on a
Cette approximation est valable uniquement pour des faibles valeurs du Lien c'est à dire si les caractères ne sont pas « trop indépendants ».
On a des résultas identiques entre la meure du cosinus distributionnel de Salton et la mesure du Lien de Reyni d'ordre ½..
3. CONCLUSION
Toutes ces mesures de quantité d'information sont basées sur la notion d'évènement et sont des mesures de type probabiliste qui sont construites suivant le schéma mental suivant :
à un événement on fait correspondre sa probabilité p, puis un nombre qui est fonction de p caractérisant une mesure de sa quantité d'information. Nous avons choisi cette approche pour introduire la mesure de Shannon de façon pragmatique. Cette dernière est mathématisée dans (J. Aczel J., Z. Daroczy chapitre 3) où on définit ce qu'on appelle une fonction d'information (fonction de Shannon), puis une fonction d'information d'ordre . Cette dernière permet de définir les mesures d'information d'ordre supérieur. Pour on pose :
Ces mesures qui sont des mesures de type entropie généralisent celle de Shannon. Comme pour la mesure de Reyni on montre le résultat suivant :.Cet ensemble de mesures au vu des propriétés mathématiques (J. Aczel J., Z. Daroczy chapitre 6) (Voir linéarité, linéarité forte, récursivité) est vraiment la généralisation de la mesure de Shannon... Nous ne connaissons pas d'utilisation de ces mesures en infométrie, encore faudrait t-il donner des raisons d'utiliser ces mesures entropiques généralisées et savoir donner une interprétation au coefficient . Les deux approches, celle de Reyni et celle de Shannon ne sont pas indépendantes, il existe une relation mathématique entre ces deux formes.
Nous espérons avoir ouvert des directions de Recherche qui peuvent encore selon nous révêler des résultats nous permettant de mieux comprendre et utiliser les mathématiques mesurant les quantités d'information.
Remerciements
Je remercie Sylvie Lainé Cruzel , maitre de conférence de Recodoc, qui a bien voulu critiqué ce travail.
Références bibliographiques
J. Aczel Z. Daroczy
On Measures of Information and their Characterisations. Mathematics in Science and Engineering Vol 115.
J. P. Courtial (1992)
Comments on Leydesdorf's a validation study of Leximappe. Scientometrics 25 (1992)
p 313-316.
L. Egghe, R. Rousseau
Sensitivity Aspects of inequality measures
(preprint)
L. Egghe (1990)
The duality of informetric systems with applications to the empirical law.
Journal of Information Science, Vol 16, 1990, p 17-27
L. Egghe
Development of hiearchy theory for digraphs using concentration theory based on a new type of Lorentz curve
(preprint)
L. Egghe R. Rousseau (1990),
Introduction to Informetrics.
Quantitative Methods in Library, Documentation and Information Science.
Elsevier, 1990, 450 pages, Amsterdam.
S. D. Haitum (1982)
Stationary Scientometric Distributions.
Scientometrics n°4, 1982, Part I p.5-25, Part II p.89-104, Part III
p.181-194.
M. O. Hill (1973)
Diversity and Eveness: a unifying notation and its consequences.
Ecology, 1973, Vol 54, N°2, p. 427-433.
T. Lafouge, C. Michel (2001).
Links between information construction and information gain. Entropy and bibliometric distributions. Journal of Information Science, 27 (1) 2001, p 39-49.
T. Lafouge, L. Quoniam (1991).
Les distributions bibliométriques.
Revue française de bibliométrie N° 9, 1991, p. 128-138.
L. Leydesdorff (2001)
The challenge of Scientometrics . The developpment, Measurement, and Self-Organisation of Scientific Communications
Published by Universal Publishers
http://www.upublish.com/books/leydesdorff-sci.htm
L. Leydesdorf(1992)
A validation study of Leximappe Scientometrics 25 (1992) p295-312.
J. Lhen, T. Lafouge, Y. Zilsken, L .Quoniam, H. Dou (1995)
La " Statistique" des lois de Zipf.
Revue Française de Bibliométrie N°14, 1995, p. 135-146.
D. Parrochia (1994)
Cosmologie de l'Information
Chapitre 1, 2, 3.
Hermès 282 pages
A. Renyi (1966)
Calcul des probabilités, Edition Jacques Gabay 1992,
618 pages
M. Volle (1985)
Analyse des données Collection «Economie et Statistiques avancées «, Economica.323 pages.
W.Weaver, C.E Shanon (1975)
Théorie mathématique de la Communication.
Les classiques de sciences humaines La bibliothèque du CEPL 188 pages.
A. L. Yablonsky (1980)
On fundamental regularities of the distribution of scientific productivity.
Scientometrics 2(1) 1980 p3-34.