Théorie de l'information

lulu2612 · November 2018

Bonjour
Depuis quelques jours je me pose une question sur le second théorème de Shannon.

Soit une source discrète X et un canal de capacité C, si on définit l'entropie de la source (autrement dit la densité de l'information, sa "richesse" en quelque sorte) par H(X), alors si on a H(X)>C, les conditions de Shannon ne sont pas vérifiées et on n'est pas certain que le canal bruité puisse capter l'information sans erreur.

Alors dans ce cas, est-ce que l'on pourrait pondérer, j'entends par là accorder une notion d'importance, l'ensemble des informations émises par X, de façon à ce que les informations de poids trop faible soient "perdues" et ainsi faire diminuer l'entropie H(X) de la source jusqu'à revenir aux conditions de Shannon et obtenir H(X)<C et ainsi transmettre l'information.

Si quelqu'un peut me répondre, j'aimerais bien comprendre comment quantifier la pondération des infos émises par la source que je suggère, de façon à diminuer l'entropie de la source.
Aussi pour aller plus loin, est-ce que l'on pourrait, avec une source donnée, connaître la pondération des infos émises par cette source, de façon à savoir quelles infos sont "prioritaires" et ont été transmises et quelles infos au poids trop faible ont été "sacrifiées" pour faire diminuer l'entropie de la source en dessous de la capacité du canal et ainsi permettre la transmission ?

PS : si jamais ma question ne s'applique pas à la théorie de l'information au sens de Shannon, mais s'applique à la théorie de l'information au sens de Kolmogorov, merci de m'expliquer pourquoi et de me répondre au sens de Kolmogorov alors

Merci.

gerard0 · November 2018

Bonjour.

Ta question n'a pas de réponse "en général". Si tu as un message dont une partie est sans importance, il est évident qu'il suffira d'enlever cette partie. Mais ça ne donne pas une méthode générale pour des messages composites.

Cordialement.

lulu2612 · November 2018

Merci beaucoup pour votre réponse Gérard,

Puis-je vous poser mon autre interrogation (liée à la précédente) : Admettons donc qu'une source donnée respecte les règles suivantes (celles que j'énonce ci dessous), comment la formaliser correctement ? C'est à dire que j'ai rencontré une telle source dans mes recherches mais je n'arrive pas à correctement écrire ses propriétés pour pouvoir faire les calculs dont j'ai besoin.

1. La source S transmet les informations (A1,A2,A3,A4,A5,...,An) à travers un canal bruité de capacité C.
2. La source S est variable, c'est à dire qu'elle transmet (A1,A2,A3,A4,A5,...Aj) avec j qui varie aléatoirement de 1 à n.
3. Il existe un p tel que l'entropie H de S soit < C lorsqu'elle transmet (A1,A2,A3,A4,A5,...,Aj) avec j< ou=p mais > C avec j>p.
4. Les informations A1 et An étant moins importantes, elle ne les transmets plus lorsque j>p de façon à ce que son entropie H soit à nouveau inférieure à C et que l'information passe. (s'il faut virer n-p informations pour diminuer l'entropie H en dessous de C, on peut dire qu'il y en a n-p de moindre importance que la source S peut potentiellement virer).

J'ai tenté de représenter ce système en associant à chaque Ai une probabilité pi etc., j'ai tenté de bidouiller la formule de l'entropie de Shannon pour exprimer que je vire les informations A1 et An mais en vain , je n'ai pas bien réussi à écrire l'aspect "variable" de la source S, je n'ai pas réussi non plus à écrire mathématiquement la notion d'importance pour A1 et An ... bref je galère complètement et je bugg sur presque tous les points de mon problème pour l'écrire correctement.

Si jamais vous pouviez m'aider à l'écrire ce serait merveilleux c'est génial l'existence de ces forums de maths c'est la première fois que j'en utilise un.
EN TOUT CAS DEJA MERCI INFINIMENT POUR M'AVOIR REPONDU A MA QUESTION PRECEDENTE, au moins je sais qu'il n'y a pas de stratégie générale...

Merci encore,
Bien à vous,

lulu2612

Théorie de l'information

Réponses

Bonjour!

Catégories

In this Discussion

Qui est en ligne 2