References OCR Output

CryptographieExemples de codes correcteurs d’erreursExemples de codes detecteurs d’erreursAugmentation de la securité de transmission par codageTransmission de l’information : capacite d'une voie

PROTECTION DE L'INFORMATION PAR CODAGE (4eme legon)

Reduction de la redondance : codage avec critere de fideliteReduction de la redondance : codage sans distorsion

Redondance de 1'informationEvaluation de 1'information reelle : entropieMesure de l'information apparente : quantite de decision

INFORMATION ET REDUCTION DE REDONDANCE (3éme lecon)

Detection en milieu perturbe : probabilite d’erreurBruit et perturbations : rapport signal-sur-bruitConversion analogique—numériqueEchantillonnageTraitement lineaire, parametrique et non lineaire

TRAITEMENT DU SIGNAL (Zeme leqon)

Elements de theorie du signalSysteme de traitement des signauxSysteme de transmission d’informationTheorie de 1'information et du codage ; definition et objectifIntroduction

SIGNAL ET INFORMATION : CONCEPTS GENERAUX (lere leqon)

Plan

par Frédéric de Coulon, Professeur EPFL

INTRODUCTION A LA Tl-EORIE DU SIGNAL EI DE L'INFORMATION

Printemps 1987Cours CERN - Geneve

EPP-LAusANNE 1.AB0RAr0¤RE Da TRANEMENT ¤&s sncmux

reliability in spite of noise, or to ensure some secrecy. OCR Outputeliminate useless redundancy, or to encrease transmissionstudy of signal and information coding methods applied either totakes into account their statistical properties. It leads to theInformation theory is a probabilistic theory of messages , whichan analog signal into a digital one.by signal processing operators, such as those used for convertingthe methods to analyze the nature of the transformations imposedstatistical amplitude distribution, for example. It also providessignal features : its spectral energy distribution or itssignal theory, which provides the mean to emphasize the primaryThe mathematical description of signals is the fundamental goal ofit conveys from its source to its destination.A signal is the physical representation of some information that ,.

Summary

de la communication.

transmission en présence de bruit, soit encore a assurer le secretredondance inutile, soit a accroitre la sécurité d'unecodage du signal et de l'information destinées soit a éliminer unepropriétés statistiques. Elle conduit a l'étude de méthodes demessages, c'est—a·dire qu'elle prend en consideration leursLa théorie de l'information est une théorie stochastique des

convertissent un signal analogique en un signal numérique.d'0pérateurs de traitement de signaux, tels que ceux quisubies par les signaux lors de leur passage au traversles moyens d’analyser la nature des alterations ou modifications »~statistique de son amplitude, par exemple. Elle offre égalementdistribution spectrale de son énergie A ou la distributionévidence des principales caractéristiques d’un signal : lade la théorie du signal, qui fournit les moyens de mise enLa description mathématique des signaux est l'objectif fondamentalqu’il convoie de sa source a son destinataire.Un signal est la representation physique de l’information,

Résumé

INTRODUCTION A LA THEORIE DU SIGNAL ET DE L’INFORMATION

sur les lignes télegraphiques. OCR Outputmotivees par le desir d'augmenter les cadences de transmissioncommunication(s). Les premieres recherches ont eta, en effet,de l'inf0rmation, appelee aussi theorie de la (ou des)1'origine, conduit au développement de la theorie du signal etCe sont de solides motivations techniques qui ont, a

statistique de l'information effective (objective).d'inf0rmations. Ceci necessite le developpeemnt d'un modelecontre les erreurs) d'un transfert ou d'un stockage(recherche d’une plus grande concision) et la securite (luttesignal et aux moyens possibles d'ameliorer l'efficacitea la mesure du debit effectif de l’information convoyee par le

__ Le niveau technico—mathematique est celui ou l'on s’interesse

de symboles binaires (bits) par seconde.apparent d'une source d'information est ainsi exprime en termeelementaires (O et l : signal numerique binaire). Le debitelectrique et represente par des combinaisons de deux symbolesbrutes, ce signal est avantageusement traduit sous forme(transmettre, transformer, interpreter) ce flux d'informationscontinu ou discret de messages. Pour pouvoir aisement traiterapparence est celle d'un signal physique transportant un fluxde l'information, donc son apparence. Pour l'ingenieur, cetteLe niveau formel ne prend en compte que la nature du support

termes techniques.1'origine de l‘intelligence, ne sont pas interpretables enet le niveau philosophique, qui a trait a la connaissance et aconcerne l'effet emotionnel (donc subjectif) de 1'information,signification d'un message, le niveau psychologique, quipremiers niveaux. Le niveau semantique, qui touche a la

A Le point de vue de 1‘ingenieur n’intervient qu'aux deux

5) philosophique.

4) psychologiquesémantique3)technico-mathématique.2)

1) formel

niveauxLe concept d'information peut, lui, étre envisage A différents

fondamental de la théorie du signal.La description mathématique des signaux est 1'objectifqu'i1 convoie de sa source A son destinataire.Un signal est la représentation physique de 1’information.

1.1 Introduction

1. SIGNAL ET IQEQBMAIIQN : CONCEPTS GENERAUX

page 1

. l'environnement naturel (phenomenes physiques observes). OCR Outputmagnetiques, memoire d'ordinateur, etc.);les banques d’informations (livres, disques, bandescalculs, etc.);

la machine (informations de contrdle, resultats del'homme (voix, image, geste, etc.);

categoriesOn peut grouper les sources primaires d'informations en quatre

la machine, ou entre les machines e11es—memes.et le dialogue (communication) entre hommes, entre l'homme etprincipalement l'observation (mesure) de phenomenes physiquesproviennent de nombreuses sources. Ils concernentLes flux d‘informations sur lesquels l'ingenieur doit agir

travaillant efficacement aux frequences optiques.sources coherentes (lasers) de modulateurs et de detecteurs1’avenement de voies de transmission (fibres optiques), de .,microelectroniques;la miniaturisation offerte par les technologiesl'extreme variete des fonctions electroniques realisables;la rapidite d'execution des dispositifs electroniques;physiques peuvent etre traduites sous forme electrique;la facilite avec laquelle la plupart des grandeursmateriel;

. le fait que cette propagation peut se passer de supportelectromagnetiques;la rapidite de propagation des phenomenes

techniquement, grace aux facteurs suivantsLa solution efficace de ces problemes est possible

l'exploitation de 1'information.le traitement de l'information;

. la transmission de l'information;l’acquisition de l’information;

Les principaux problemes relatifs A lfinformation sont

l’information.l'ingenieur des transmissions et du traitement deautomatique, ont eu une influence determinante sur l’art deparallele les problemes de la communication et du reglageNorbert WIENER (1948) "Cybernetics", qui aborde de manierefermement établis. Ces travaux, de meme que l’ouvrage de

fondements de la theorie moderne de 1'information soientpublication des travaux de Claude SHANNON (1948), pour que lestelecommunications. Il faudra toutefois attendre lapossible de comparer les performances des divers systemes deinternational de telephonie et de telegraphie comment il etaitsurtout A Hartley qui, en 1927, a montre dans un congresquantitative. Les premieres etudes sont dues A Nyquist etobjective de l'information, capable d'en fournir une mesureOn s'est interesse tres tdt A la recherche d'une definition

page 2

les transmissions radio-electriques (radiocommunications). OCR Outputfibre optique, etc);

. les transmissions par lignes (fils cables, guides d’ondes,

donc :electromagnetiques (signaux electriques, optiques). Il couvretransmission d'informations a distance par des moyensLe terme de telecommunications englobe tout procede de

reseau de telecommunications (fig. 1).l'acheminement d'un message entre deux points determines d'unl’ensemble des moyens mis en oeuvre pour assurerPar systeme de transmission d’informations, on entend

1.3 Svsteme de transmission d'informations

de la communication (cryptographie).(codaqe de voie). Le troisieme,.enfin, est d'assurer le secretdetection, voire la correction, .des principales erreursd'une redondance, adequatement structuree, permettant lad'une transmission en presence de bruit par incorporation(codage de source). Le second est d’accroitre la securited'information, par elimination de toute redondance inutileest d'augmenter la compacite des signaux, vecteursont trois objectifs, apparemment contradictoires. Le premiermode de representation du message. Les techniques de codagecodage de 1'information : ensemble de regles specifiant leElle conduit tout naturellement a 1'etude des méunsaes de

bruit.lorsque le signal porteur d'un message est contamine par dude systemes de transfert d'informations, en particulierun ensemble de concepts permettant d'evaluer les performancesen consideration leurs proprietes statistiques. Elle fournittheorie stochastique des messages, c'est-a·dire qu'el1e prendLa theorie de 1'information (ou de la communication) est une

transfert d'un message de sa source a sa destination.L'information est associee au processus de communication

obiectif1.2 Theorie de l'informa;ion_et du codaqe : definition et

capteur approprie.ou optiques implique donc une traduction prealable par unthermique, etc. Leur traitement par des moyens electroniquestres diverses : optique, acoustique, mecanique, magnetique,Ces informations se presentent initialement sous des formes

page 3

message originial. OCR Outputregu dei maniere a reconstruire, aussi bien que possible, leLe role du recepteur est ainsi de traiter le signal perturbephénomemes perturbateurs (bruit de fond, distorsions, etc.),toujours plus ou moins altere par la presence inevitable deau destinataire. Le signal, lors de sa transmission, estCelui-ci retraduit le signal regu en un message qui est fournivoie de communication (canal) de 1'emetteur au recepteur.un signal electrique ou optique, qui est alors envoye par uneimages, en musique, etc. L’emetteur transforme le message enpeuvent consister en mots ecrits ou parles, en chiffres, enLa source d'information selectionne les messages. Ceux—ci

au modele presente sur la figure 2.l'information en termes generaux, il est utile de se rerérerPour pouvoir aborder le processus de transfert de

hertziens, etc.).les canaux de transmission (lignes, faisceaux(centraux de commutation);

. les equipements de selection des arteres de communication(amplification, modulation, demodulation, filtrage, etc.);multiplexage, plusieurs messages sur le meme canaltransmission et permettant d’acheminer simultanement, parassurant la compatibilite de celui-ci avec le canal deles circuits electroniques de conditionnement du signalet inversement (transducteurs electriques);

. les organes de traduction du message en signal electrique,

Parmi les moyens mis en oeuvre, on peut citer

ex.),par des operations de commutation (reseau telephonique parabonnes, generalement confondus - interconnectes deux a deuxcommute : plusieurs sources et plusieurs destinataires(telemesure par ex.);de collecte : plusieurs sources et un destinataire(radiodiffusion par ex.);de diffusion : une source et plusieurs destinataires

I1 existe plusieurs types de réseaux

des operations de commutation et de signalisation.L’acheminement de 1'information A travers un reseau implique

ordres (telecommande, radioguidage).mesures (radar, telemétrie);données (téleinformatique);images (television et fac·simi1e);sons (téléphonie et radiodiffusion);textes ttélégraphie, té1ex>;

Les informations transmises sont de nature tres diverse

page 4

interferences). OCR Outputperturbations indesirables (bruit de fond, parasites,la nature est complexe et peut étre masquee par des(fonctions du temps) ou d’impressions visuelles (images) dontentre les machines el1es—memes, se font a 1'aide de signaux(communication) entre hommes. entre l'homme et la machine, ouL'observation (mesure) de phenomenes physiques ou le dialogue

intense echange d’informations.systemes techniques qu‘il construit se caracterisent par unLes relations de l'homme avec son milieu naturel ou avec les

1’exploitation de ces informations.les domaines concernes par la perception, la transmission oud'information. Elle trouve son champ d'application dans tousl’élaboration ou 1’interpretation des signaux porteursl’informatique et de la physique appliquee, a pour objetl'information,s'appuyant sur les enseignements de la theorie du signal et deLe traitement des signaux est la discipline technique qui,

paragraphe l.l.est le role de la theorie du signal, ainsi qu’on l’a relevé auLa description mathematique - ou modelisation — des signaux

1.4 Svsteme de traitement des siqnaux

2.3).d'echantillonnage, de quantification et de codage (§ 2.2 etinformation numérique en procédant a une operationOn peut convertir une information analogique en une

logique 0 a 1).valeurs possibles (signal binaire associé A une variabledes combinaisons de signaux élémentaires ne prenant que deuxest, en général, avantageux de coder ces états distincts parsigne — ou nombre - correspond un état distinct du signal. Ilpar extension, signaux numériques (ou digitaux). A chaqueLes signaux porteurs d'une information numérique sont appelés,étre représenté par un nombre.digitale : on compte avec ses doigts), car chaque signe peutde numérique (on dit aussi numérale, ou par anglicismetélégraphiques, par exemple. On qualifie ce type d’informationC'est la situation rencontrée dans les transmissionschiffres, symboles graphiques, etc., dont le choix est limité.par des signes conventionnels distincts, tels que lettres,Il est fréquent, toutefois, que l'information soit représentée

instrument de musique en sont un exemple.fluctuation de la pression acoustique due a la voix ou a undifférentes dans un domaines de variation donné. Lesanalogique. Il peut prendre une infinite de valeurssignal porteur d'une telle information est appelé signalgamme continue de nuances, on la qualifie d'ana1ogique. LeLorsque 1'1nf0rmat10n prcduite par une source dispose d’une

page 5

les theoremes fondamentaux du codage de l'information. OCR Outputles notions de quantites d'information apparente et reelle;probabilite d’erreur;les critéres de qualite : rapport signal-sur-bruit etla conversion analogique-numerique;

. la dualite temps—frequence;les modéles de signaux porteurs d’inf0rmation;

repris plus loinla maitrise de plusieurs concepts fondamentaux, qui serontL'etude d'un systéme de traitement ou de transmission requiert

d'un filtre d'analyse ou d'un support d'enregistrement.caracteristiques frequentielles d'une voie de transmission,essentiellement des moyens permettant d'adapter un signal auxsignal. La modulation et le changement de frequence sontd‘ordlnateur grace a une diminution de la redondance durealiser des economies de largeur de bande ou de memoirepour lutter contre le bruit de fond, soit pour tenter defonction de traduction en langage numerique, est utilise soitcombinaison de signaux elementaires. Le codage, outre saun signal de forme appropriee en procedant, par exemple, a uneLa synthese, operation inverse de l’analyse, consiste a creer

mention plus loin sont souvent utilisees a cet effet.observe. Les techniques de correlation dont il sera faitcomplementaire qui permet d'effectuer un classement du signalsuperpose. L'identification est un procede souventd'extraire un signal utile du bruit de fond qui lui estdiverses distorsions. Par une procedure de detection, on tenteon tente de redonner sa forme initiale a un signal avant subiindesirables. La regeneration est une operation par laquellequi consiste a eliminer d'un signal certaines composantesaegre de confiance. Le filtrage est une fonction bien connuegrandeur caracteristique qui lui est associee avec un certainparticulier aleatoire, c'est essayer d'estimer la valeur d’unecomprendre la nature et les origines. Mesurer un signal, enessentielles d'un signal de forme complexe, afin d'en mieuxPar l'analyse, on cherche a isoler les composantes

lutter contre le bruit ou réduire la redondance).(synthése, modulation et changement de frequence, codage poursupport pour la transmission ou le stockage d'informationsl’etude du comportement des systemes physiques ou servant decela, on peut ajouter l'elaboration des signaux permettanttaches essentielles devolues au traitement des signaux. Aforme appropriee A l’homme ou a la machine constitue l’une desidentification) et la presentation des resultats sous une(par analyse, filtrage, regeneration, mesure, detection,L'extraction des informations utiles incorporees a ces signaux

page 6

generalement aleatoires par nature. OCR Outputperturbations affectant un systeme de transmission sontd'informations qu'il est imprevisible (§ 3.2). Lesverra, en effet, qu'un message contient d'autant plusSeuls les signaux aleatoires sont porteurs d'informations. On

on dit qu'il est ergodique.stationnaire s'identifient aux valeurs moyennes temporelles,valeurs moyennes statistiques, ou moments, d’un signalstationnaires, qui ne jouissent pas de cette propriete. Si lesinvariantes dans le temps, et les signaux aleatoires nonstationnaires, dont les caracteristiques statistiques sont

les signaux aleatoiresdeux grandes categoriesLes signaux aleatoires peuvent, quant a eux, etre classes en

transitoires dont l'existence est ephemere.periodiques de periodes incommensurables, des signauxquasi-periodiques, qui resultent d'une somme de signauxles signaux non periodiques, il faut distinguer les signauxsous—groupe le plus important des signaux periodiques. Parmi"non-periodiques". Les signaux sinusoidaux constituent lecyclique reguliere en fonction du temps, des autres ditssignaux periodiques, obeissant a une loi de repetitionParmi les signaux deterministes, on peut distinguer les

contenter d'observations statistiques.imprevisible et pour la description desquels il faut se

2) les signaux aleatoires, dont le comportement temporel estmodele mathematique approprie;en fonction du temps peut etre parfaitement predite par un

l) les signaux deterministes (ou certains), dont l'evo1ution

signauxEn theorie du signal, on distingue deux types fondamentaux de

1.5 Elements de theorie du signal

aleatoires, etc.).des concepts statistiques (calcul des probabilites, processusmethodes de traitement des signaux fassent largement appel aIl n'est donc pas etonnant que la theorie du signal et les

cansiaeres comme des phenomenes aleatoires.d’energie electrique, etc.), les bruits doivent aussi etred'origine industrielle (influence du reseau de distributionaleatoire. Mis a part certaines formes d'interferencesvecteurs d'information sont donc naturellement aussi de typequi est imprevisible est porteur de message. Les signauxPar nature, l'information a un caractere aleatoire : seul ce

page 7

non de perturbations associees. OCR Outputprocedures complexes de traitement des signaux, en presence oud'aborder a un niveau d'abstraction eleve l‘etude deappropries — ce concept d'une extreme richesse permetaleatoires — grace au développement de modeles statistiquesl‘espace frequence. Applicable egalement a l’etude des signauxintroduit le principe de dualite entre l‘espace temps etinteressant est le modele de Fourier (serie ou integrale), quiorthogonal des fonctions, dont le cas particulier le plusL'outil de base de la theorie du signal est le développement

(1.5)`E :. R_(0)= /". + U;L 2

uissance moyenne du signald’autocorrelation par la relation suivante qui correspond a laCes deux caracteristiques sont liees a la fonction

autour de la valeur moyenne.qui est une mesure de la dispersion des amplitudes du signal

L z s E [("‘/G) _-I:(***.) f("‘) '{" (1.4)·* /7la variance (ou ecart quadratique moyen)

(1.3): i; [K] = x-y(><)JxOQ} /·•¤la valeur moyenne (ou composante continue) du signal

caracteristiques essentiellesDe la densite de probabilite (1.1), on déduit deux

les amplitudes distantes de 1 secondes.qui fournit une indication sur la dependance possible entre

(1.2) _.. { ·z Rx (T) _ E[x( )x(l·-•mathématique)par sa fonction d'autocorrelation (E denote 1'esperance

rencontrer l’amplitude X entre les niveaux x et x+Ax;00 Prob [x<X<x+Ax] exprime la probabilite de

Ax-so (1.1)l\)<C x : HM )

'Pr•B (x< X<>(·+A¤)statistique des amplitudes)par sa l0i de densité de probabilite (distribution

aleatoire stationnaire x(t) est donneeLa description du comportement statistique d’un signal

page 8

(n·%)A

(1.10) OCR OutputZ --—· x(wAe4 A2;

&+z)Ar

" u Arg ’“ {-nt (····"A

devientLa condition (1.7) donne An = A1 et la relation (1,3)

(1.9)E "·H_{{) = T<¢t-nat) A.-C

A_ centrees en t = n•AT (figure 4)impulsions rectangulaires, d'amp1itude unite, de duree A1,choissisant comme fonctions elementaires w (t) desUn exemple trivial d'un tel développement est obtenu en

(figure 3) peut se deduire directement de cette relation.La structure la plus fondamentale d'un analyseur de signaux

(1.8)4 ' ” -; 'T"x(+)1H_ (*2/f/” t.alors obtenus en calculant l'integraleconjggue complexe. Les coefficients du développement sontou x est une constante reelle et l’asterisque denote le

(1.7)'I\’ '°*]';‘({‘)°H< (£)6H7 · f{ A" rw,. ngkO our h#I<

cgnditionW (t) sont orthogonales, c'est-A·dire satisfont A laLes coefficients an sont independants si les fonctions

na.4

I E tqétcfz (1.6)wg(t)t,). par une combinaison lineaire de fonctions elementairessignal temporel x(t) est represente, sur un intervalle (t ,tout naturellement A l‘idee d’une description analytique ou unL'étude de signaux de forme parfois fort compliquee conduit

cette théorie, et examinons certaines de leurs consequences.Rappelons brievement les concepts fondamentaux enseignes par

page 9

-t<o OCR Output-— 4

c>

-+ 4 -t>¤utilisant la notationou m est la plus petite puissance de deux supérieure a n et en

Tao

h = nr.

avec M-·I { D 4} Y] Z r /

r=o

t a-]--n' r { /\·})({·);wq‘{(V) 4)= 'J`jV*[C°·¥ (Zi/r) (1.15) » Im.

(classement dans l’ordre de la "séquence")un intervalle T, peuvent étre définies de la maniére suivantene prennent que les valeurs +l ou -1 en alternant n fois surfait appel aux fonctions binaires de Walsh. Ces fonctions, quiConsidérons un autre développement orthogonal. C'est celui qui

de Dirac.signal continu comme une somme ponderée infinie d'impu1sionsfondamentale en cela qu’el1e permet de

= x(t) * 8(t), estvolontiers sous la forme simplifiée x(t)Cette intégrale de convolution, que l’on écrira plus

__0¤At9O

, & ,4+)-; LW ><((—)= / ><('<) Jft-T 1 )J (1.14)et

At->¤

5(t-T') (1.13){--n·A'€¤- 1.. me —-———Dirac (avec not ~ 1)rectangulaire pondérée par l/A1 devient une impulsion deest petit. A la limite pour A1 ~ 0, 1'impulsionLa qualité de l'approximation est d'autant meilleure que A1

”____°

Z W _ XH) " (A ) t (X yy "C PQ; '*"""""'_"} At <1.12>t- n·A"c

combinant les relations (1.6) et (1.11)Un modele approximatif du signal x(t) est alors obtenu en

(1.11)O(h ·,,~; xfn-A'!)

En premiere approximation, pour A1 suffisamment petit

page 10

Elle represente la distribution frequentielle du signal xtt). OCR Outputune "densite de raies" X ·T lorsque T tend vers 1 infini.Celle-ci peut etre considerée comme la forme limite prise par

: ¤(¢;e.X { lm(1....

- H' M ¤’*definie par la relationmodele est fourni par la transformation integrale de Fourier,valable pour un intervalle T étendu a tout l'axe reel. Cepossible, applicable a un signal quelconque, et en particulierOn aimerait toutefois disposer d’un modele aussi universel que

limité a ce cas, comme on 1e croit souvent.concept de développement en serie de Fourier n'est nullement

(1.17) s'etend a tout l'axe reel : — w < t < w. Mais lec'est-a—dire si x(t) = x(t+mT) avec m entier, 1’équiva1enceRemarquons que lorsque le signal est periodique de période T,

(bilateral) d’un signal.conduisent a la notion classique de spectre frequentielclasses dans l’ordre harmonique des frequences n/T, etCes coefficients presentent l'intérét d'etre naturellement

<1.1s>x é ( Je Je= ··—><_ .,.[avec (d’apres (1.7) et (1.8))

H:-•¤

<1.17>XU}: Z Xue . n —t Jzrvoo

on obtient l'équivalence dans l'iHterva1le (t; t+T)par la majuscule correspondante X (en lieu et place de m_),développement en serie de Fourier complexe d’un signal x(t)En dénotant conventionnellement le ncoefficient du

iéme

(1.16)‘\}{_([·)= e_ yy . • N =¢¤!(Z”';*)‘*,)-""‘('·°".'-»’*`2.W:'t " Tnégatif) parexprimees sous forme complexe (avec n entier positif, nul oules fonctions elémentaires trigonométriques, qui peuvent etretheorique est celui de Fourier. Il utilise comme on le saitintervalle de durée T, celui qui a la plus grande importanceDe tous les developpements orthogonaux d’un signal sur un

figure 5b.continue par une somme de fonctions de Walsh est donné sur laavec A = T. Un exemple d'approximation d'une fonctionfigure Sa. On verifie aisement leur propriete d'orthogonalite,Les huit premieres fonctions de Walsh sont representees sur la

page ll

*’ h;·•Q OCR Output

2 L 1>< 2 J F-L 7- n T (1.25)spectrale de puissance du signalSa transformée de Fourier représente alors la densité

na-·¢°

-- IZ .. s. TI Z _)zFF·;l`

*1 ; " T t' Lf): x(+)x({+ )¢(t_+T

T, et peut aussi se développer en série de FourierLa fonction d'autocorrélation est ici périodique, de periode »

(1.23)( ; >< F) gd, *·) X c;()E·— .. Tcoefficients de la serie de Fourier parde Fourier d’un signal périodique s'exprime en fonction desdonnée par l’équation (1.14), on demontre que la transforméeEn vertu de la propriété fondamentale de l'impulsion de Dirac

..•o

(1.22)T: x{{—)x(£+‘z‘)/’fO 80 ()/"d'autocorrélation du signal, définie parMais c’est aussi la transformée de Fourier de la fonction

(1.21)é xest égale au carré du module de sa transformée de FourierLa densité spectrale d’énergie d’un signal (a énergie finie)

infinie).ou aléatoires (considérés comme A puissance finie et énergiephysiquement réalisables) et les signaux idéalisés périodiquesdistinction entre les signaux a énergie finie (les seulsde la fréquence. Il faut toutefois faire ici une nettemodele de la distribution énergétique d’un signal en fonctionLa notion de transformée de Fourier permet de développer un

traitement des signaux.joue un role fondamental dans la plupart des méthodes de(variable t) et l’espace fréquence (variable f). Cette dualité(1.20) démontre l’existence d'une dualité entre l'espace tempsLa symétrie des transformations directe et inverse (1.19) et

(1.20)XH) =‘17‘£· N1?

La transformation inverse est donnée par la relation

page 12

correspond A la cadence de génération des symboles logiques. OCR Outputsa largeur de bande est de l'0rdre de l/T, c’est-A—diretransmission de donnée, vaut Q (f) = A Tsinc (fT) et quespectrale de puissance) de ce signal, tris fondamental enOn constate alors (cf. figure 6) que le spectre (densité

,_ d'apparition des symboles logiques.= A tri (1/T), de base égale A 2T ou l/T est la cgdenceposside une fonction d'autocorrélation triangulaire R (1)niveaux équiprobables zA (mode NRZ = non return to zero)cadencée de symboles logiques "0" ou "l"), traduite par deuxtransportant une information numerique (suite aléatoireOn peut montrer, par exemple, qu'un signal binaire

puissance du signal est concentrée.frequences dans lequel l'essentiel de l’énergie ou de lafréquences occupé par le spectre, c’est-A—dire le domaine desOn appelle largeur de bande le domaine principal des

Fourier sont représentés sur la figure 6.Quelques exemples classiques de paires de transformées de

toute nature.

théorie cohérente permettant d'aborder l'étude de signaux deelle-meme issue du concept de développement orthogonal, d'une

,_ On dispose ainsi, grAce A la transformation de Fourier,

(1.27)/.2,( , Q : /Rx(·c] X-j‘¢l*`7°"

spectrale de puissance d’un tel signalvertu du théoreme fameux de Wiener-Kinchine, la densitéLa transformée de Fourier de cette autocorrelation est, en

qt: Ex{f)x({·+1·)E `)(1‘=·6‘,,., -_lX({)x[n*+‘f)II-(1,25,)R ()[ ]z)glT/2

formes'identifient aux valeurs moyennes temporelles), prend la(c’est—A-dire pour lequel les valeurs moyennes statistiquesfonction d'autocorrélation (1.2) qui, pour un signal ergodiquetransformée de Fourier. On peut par contre introduire laFormellement, un signal aléatoire ne possede pas de

page 13

arg H(f) = reponse frequentielle de phase. OCR Outputavec (H(f)| = reponse frequentielle d'amplitude et ®k(f)

(2.7)

autre que la fonction de tranfert harmonique du systemed’entree par celle de la reponse impulsionnelle qui n’estsimple multiplication de la transformee de Fourier du signalle domaine frequentiel correspond a cette convolution uneprobablement la plus frequente que 1'on puisse imaginer. DansC'est l’operation de traitement la plus fondamentale et

(f); x(f)•<·'g1(t): /¤("z*)`£(f—"t)al't‘ (2.1)impulsion de Dirac) h(t) du systemed’entrée x(t) et de la reponse impulsionnelle (reponse a unele temps est donne par le produit de convolution du signalLe signal de sortie y(t) d'un systeme lineaire invariant dans

et les operateurs non lineaires.operateurs lineaires invariants, les operateurs parametriquesdistinguer en particulier trois classes principales : lesLa gamme des operateurs utiles est assez riche. On peut

fonctionnel envisage est represente par un modele idealise.approche abstraite dans laquelle chaque bloc du schemaOn peut en fait se contenter, dans un premier temps, d'unequelle forme technologique chaque operateur peut etre realise.effectues, il n’est nul besoin de connaitre a priori sousPour percevoir la nature fondamentale des traitements

d’entree (excitation x) et de sortie (reponse y).c'est—a-dire une loi de correspondance S entre les signauxcaracterise par un operateur fonctionnel (figure 7),noires) elementaires, dont le comportement theorique est

de traitement en un ensemble interconnecte de blocs (boitesIl est generalement possible de decomposer un systeme global

de vibrations, etc.ou determiner le lien de parente existant entre deux signauxevidence certains aspects specifiques d'un signal biologiqueperturbations diverses. On peut encore vouloir mettre endetecter la presence d'un echo radar masque par desdistorsion au travers d'un systéme de telecommunications, ouPar exemple, on peut vouloir transmettre un signal sanstraitement le plus approprie pour atteindre un objectif donne.maniere adequate, il est possible de determiner le type deLorsque les caracteristiques d'un signal ont éte definies de

2.1 Traitement lineaire, paramétrique et non lineaire

2. TRAITEMENT DU SIGNAL

page 14

;, (() = % A‘[@,,(f»£)—»<15.(¥··€>J OCR Output@,4;),=%A‘[5(f+¥,')+J((·£)(

(2 .9)‘PP( 1' '- 'T)=AA €°§(z”-{PY)p(t) = A · c0s(2wf_t) est appelé l’onde porteuseEn modulation d’amplitude et en changement de fréquence,

(2. 8)@,(F2= <l>,. (fw @,6*2(2.

Somqeli°m°“S m; ifjiléfy

(2. 6)"K (T) = *20,, ("€)· #(2)indépendantset si les signaux x(t) et p(t) sont statistiquement

(2. 5)sa; s XH)- PU. dans le domaine temporel, on a

1'échantillonnnagesynchrone, du changement de fréquence et debase de la modulation d‘amplitude, de la démodulationL’exemple le plus courant est la multiplication qui est a la

dépendant de l'amplitude d'un autre signal.lesquels un paramétre d’un signal donné est directementOn classe sour le nom de paramétrique les traitements pour

1’amp1ification et le filtrage.Les traitements linéaires les plqs courants sont

(2.4)( = ( <j?H .{) QE; ’ \les densités spectralesPar transformation de Fourier membre a membre, on obtient pour

- - - I-•(··r` car WH .= T)! T)! )<2.3>%,(°‘)= £(T)*`7i,('?

aléatoires :suivantes valables pour les signaux déterministes etD'une maniére plus générale, on peut établir les relations

page 15

du signal analogique. OCR OutputElle ne peut etre choisie au hasard, mais depend de la naturee entre échantillons successifs, Sst un paramgtre fondamental.La cadence d'echantillonnage f = 1/Tou T est l’intervalle

equidistants.preleves en des instangs precis tb generalement choisisSuite d’éCh&¤till0¤S X(f ) de la valeur instantanee du signalCette operation remplace un signal analogique x(t) par une

2.2 Echantillonnaqe

demodulation d’amp1itude non synchrone.. la detection d'enveloppe employee couramment en

d'amplitude du signal regu;demodulation de frequence, de s’affranchir des fluctuationsla detection de signe y(t) = sgn{x(t)} qui permet, en

telecommunications. citons

Parmi les traitements non lineaires utilises en

developpee ici.spectrale du signal resultant est complexe et ne sera pasou de phase). La relation etant non lineaire, l’analyseoscillateur a un signal de commande (modulation de frequencel’asservissement de la frequence (ou de la phase) d'unUn autre exemple de traitement parametrique est

(2.15)

et no *j(f)'·¥ T "(l'}

H (2.14)cw!Cp {(7: ep (r)-1H(¢)1‘·=M Z <*"

re—obtenir un terme proportionnel a x(t)la composante spectrale centree sur la frequence 1 2f_ pourIl suffit donc d'un filtrage passe—bas additionnel eliminant

(AB); (AB)T@ { F { ( ':•"""‘@( + (+2 )+@ (-2 J gb; {x) 4_ x {7 I; A r K T (2.13)(2.12)

*“ AB AB 30): x(£)_ABC°_,*-(z”·6l.); T x(t)+T¤(£)·c¤:(2W¢r,£)fonction B COS(2Hf_t)s(t)=x(t) · A cos(2nfnt) est a nouveau multiplie par uneEn demodulation synchrone (isochrone), le signal regu

page 16

transformee de Fourier du signal analogique x(t). OCR Outputobtenue par la repetition periodique,`de periode fn, de laOn voit immediatement (fig. 9e) que X_(f) est une fonction

___><_({) ><(F}··F_5{(f)=§Q£·><(F-~fl) (2.19,

x(t), celle du signal echantillonne x_(t) est donnee parAinsi, si X(f) est la transformee Se Fourier (fig. 9d) ded'impulsions de Dirac, mais de poids fLa densite spectrale correspondante est un meme train

f = 1/T . e eegalement un train d'impulsions de Dirac (fig. 9c) de poidsLa transformee du train d'impulsions STE (t) est done

N3-}

${5 z+)]=F—5 # =F—Z ~Y(F—·~f) me TQ Q ) c (pour A tendant vers zero.d’amplitude A = l/A et de duree A par passage a la limited’une suite Egriodique d'impulsions rectangulaires (fig. 4)d'impulsi0ns 8 (t) peuvent se deduire aisémenu de cellesLa transformee de Fourier et la densite spectrale du train

k=·••

- .. T x•(*) = X(£)°§1-,({`)= Z- Xk é(£ k °‘) (2.17)et

ka-00

(2.16)$0 :_ 5_r¢({)= E (§({-kT¢EM_ Dirac (fig. 9b) que nous denoterons ST(t) avec

€obtenu par modulation d'un train periodiqug d'impulsions depreleves (fig. 9a) avec une cadence fixe f a un signal x(t)On peut assimiler theoriquement la suite ideale d’echantil1ons

impulsionnelle h(t). Le signal echantillonne est denote x_(t).d'echantillonnage e(t), et dfun filtre lineaire de reponseeffectuant la multiplication de x(t) par une fonction(fig. 4) par la mise en cascade d'un operateur multiplicateur,Un echantillonneur peut ainsi étre represente theoriquement

x(t) a l’instant du prelevement.proportionnelle a la valeur instantanee du signal analogiqued'echantillonnage utilisee, et dont l’amplitude estd'impulsions dont la forme depend de la procedureUn signal echantillonne peut etre considere comme une suite

page l7

(2.22) OCR Outputz Q` O: ._= Az(variance) égale environ A(bruit) de quantification possede alors une puissance10), on parle de loi de quantification lineaire. L’erreur eLorsque les intervalles de quantification q sont egaux (fig.

une cadence satisfaisant le theoreme d’echantillonnage.A l’amplitude quantifiée d'un échantillon du signal preleve A, usuellement codes sous forme binaire. Chaque nombre corgespondanalogique d'entree x(t) une suite de nombre {x yLa conversion analogique-numerique fait correspondre au signal

2.3 Conversion analoqique—numerique

1/Zfmax.intervalles réguliers de dures T, inferieure ou egale Asuite compT$§e de ses valeurs instantanées x(tk) prelevees A ..limitée A f [Hz], est en principe entiérement décrit par laUn signal analogique x(t) ayant une largeur de bande finie,

mathematicien Shannon, et qui peut s'enoncer comme suitthéoreme d’echantil1onnage, dont la demonstration est due auCe resultat est ce qu'on appelle, plus communement, le

représente valablement le signal analogique d'entree.donc imperative si l’on veut que la suite d'echantillonsexactement le signal analogique x(t). La condition (2.21) estfiltrage, meme parfait, ne peut parvenir A restituerspectrg princTB§l le recouvrent partiellement et aucunPour f < 2 f , les spectres auxiliaires voisins du

(2.21)2- Z- Fma.2 fmaxd’echantillonnage fn soit superieure ou, A la limite egale, Afréquence maximum fmax, et pour autant que la fréquencele spectre de x(t) est A largeur de bande finie, limitee A laauxiliaires. Cette restitution n'est toutefois possible que sil’on peut eliminer, par un filtrage ideal, les spectresUn retour au signal x(t) n'est théoriquement possible que siéchantillonne a peu de ressemblance avec le spectre original.spectre du signal. I1 est evident que le spectre du signalune succession de spectres auxiliaires proportionnels auLe processus d'échantillonnage A donc pour effet d'introduire

”·__

(2.20)- {?-vwf J <I§ (if.) ’ LEE; {Q_ €i?x (r ; XC g°X L

similaire, donnée parLa densite spectrale du signal echantillonne est, de maniere

page 18

(2.25) OCR Output

T; - @__(f)¢=’F<2.24>

'P = { <I> U JF ‘° ' )de bande consideree

integration des densitgs spectrales respectives sur la largeurLes puissances P et P sont souvent determinees par

as(2.23).%I l; 10 (0;*, Q

relation logarithmiquezsysteme. IY est usuellement exprime en degibels (dB) par lamaximum P et la puissance du bruit P en un meme point du

i. correspond au rapport entre la puissance du signal utilecritere de qualite d'un systeme analogique de transmission. IlLe rapport signal-sur—bruit est generalement utilise comme

completement.procede de transmission adequat, mais jamais elimineL'effet des perturbations peut etre attenue par le choix d'un

semiconducteurs.grenaille dans les tubes a vide et les elementsd’origine thermique dans les conducteurs et a l'effetamplifier les signaux. On pense ici principalement aux bruitselectroniques utilises a la reception pour detecter etseconds sont intimément lies a la nature des disposirifspar les circuits de commutation du reseau de transmission. Lesde parasites atmospheriques et industriels ou sont provoquesgeneralement de type impulsionnels, sont surtout le resultatou a l'interieur du systeme considere. Les premiers,grandes classes selon qu’ils prennent naissance a l'exterieur

as fondamentalement ranger les phenomenes perturbateurs en deuxlimite les performances d'un systeme de transmission. On peutLa presence inevitable de perturbations d'origines diverses

2.4 Bruits et perturbations : rapport siqnal—sur-bruit

qui est generalement realisee par filtrage.information numerique implique une operation d'interpolationLa reconstruction d'un signal analogique a partir d'une

impulsions codees (MIC).les systemes de tansmission de la parole a modulation parlinéaire. Cette situation est exploitee en particulier dansavantageux de recourir a une loi de quantification nonrelativement independant de sa dynamique, il peut etreou si 1'on desire obtenir un rapport signal·sur—bruitLorsque la distribution du signal est connue et non uniforme,

page 19

importante de la probabilite d'erreur. OCR Outputsignal—sur—bruit entraine, au dela de l0 dB, une diminutionfigure 13. On constate qu‘une faible amelioration du rapportsignal-surébrgit, exprimé en décibgls, est representee sur la00 m = JP IP . La variation de P en fonction du rapport

(2.27)ep, Q, yy. 4 / ="""'°-__ ° ur _°° z

instants de decision, la probabilite d'erreur vautsimplement basee sur la polaritg du signal perturbe auxbinaire bipolaire de puissagce P et si l'interpretation estbruit gaussien de puissance P affecte additivement un signalprobabilite d'erreur peut etre calculee. Par exemple, si duSi les statistiques du signal et du bruit sont connues, cette

reconstituee.

comparant l’information transmise a l’informationCette probabilite d'erreur est estimee experimentalement en

d'erreur d'interpretation (de regeneration).signal-sur·bruit se substitue alors celle de probabilitedes erreurs d‘interpretation (fig. l2). A la notion de rapportperturbations alterent le signal regu, ce qui peut entrainerDans un systeme de transmission numerique, bruits et

2.5 Detection en milieu perturbe : probabilite d'erreur

uniforme : P_ est ainsi proportionnelle a la largeur de bande.ou la variance q: 5 PD . Leur densite spectrale est

P=—-—— J2i’T§(2.26)(..,)

ZF"

une distribution statistique gaussienne (fig. ll)dispositifs electroniques de conditionnement des signaux ont(agitation thermique, effet grenaille) affectant desun modele theorique universel. Les principaux bruits de fondtransmission. Il est, par consequent, impossible d’en etablirgeneralement non stationnaires et varient selon les voies deperturbations impulsionnelles sont produites par des processuscaracterises par leur distribution statistique. LesLes bruits et perturbations de nature aleatoire sont egalement

page 20

(3.1) OCR Output`D:‘(gh

conventionnelle : lbx = log,x>ici pour indiquer le logarithme de base 2 la notationlogarithme du nombre de signes n de l'alphabet (on utiliseraexponentiellement avec D. Inversement, D croit comme lesequence de symboles elementaires de longueur D croitsignes _differents pouvant étre exprimes a l’aide d’uneOn observera ici que, d’une maniere generale, le nombre de

de fonctionnement des calculatrices electroniques.plus petit que, etc.) dans un systeme binaire. C’est le modelogiques usuelles (addition, multiplication, plus grand que,A la condition de transposer les operations mathematiques etsous cette forme, un traitement de 1’information est possiblePuisque les nombres decimaux sont egalement representables

impulsion.temps prescrit T, et le symbole O a l'absence d’une tellepresence d’une impulsion de courant dans un intervalle denumerique representatif ou le symbole l correspond a la

,_ binaire d'un message primaire, traduit a son tour en un signalle systeme destinataire. La figure 14 illustre le codaged'absences de courant est aisement transmise et detectee parou l'absence de courant. Cette succession de presences ou(interrupteur electronique ou mecanique) entrainant le passagesimple tels que l’ouverture et la fermeture d'un contactcorrespondre a deux etats stables d'un dispositif electriquesymboles de codage 0 et l peuvent en effct facilementevidemment tres favorable du point de vue technique. LesUne representation sous forme binaire de l'information est

chiffres 0 et 1.de representer les deux termes de l'alternative par lesouvert/fermé, blanc/noir, pile/face, etc. Il est devenu usuelelementaires, s'excluant mutuellement, telles que oui/non,du message initial en une combinaison de deux declarationsd'un alphabet plus riche. Ceci correspond a une transcriptionsoit possible de representer (coder) n = 2 etats distinctsdeux symboles pour que, par combinaison dB D d'entre eux, il

.». Or, on constate qu’il suffit d'un "alphabet" elémentaire de

unite de comptage commune.differente, il est necessaire de pouvoir se baser sur unedes flux d'informations provenant de sources de natureintervalle de temps prescrit. Toutefois, pour pouvoir comparer

lettres ou chiffres par exemple — apparaissant dans unPour un flux discret, il suffit de compter le nombre de signes

d'information?apparence en quelque sorte. Comment mesurer le debit apparentUn signal est le support physique de l’information, son

3.1 Mesure de_ljinformation apparente : quantite de decision

3. INFORMATION ET REDUCTION DE REDONDANCE

page 2l

est original. OCR Outputdire qu'un message fournit d'autant plus d'information qu'ilet l'information reelle acquise est tres grande. On peut doncimprobable est accompagnee d'un effet de surprise considerablel’evenement. Inversement, la realisation d'un evenement tresnecessaire de le recevoir pour avoir connaissance den’apporte aucune information reelle, puisqu'il n'est meme pasde l’evenement. Un message annoncant un evenement certaindepend en quelque sorte du caractere imprevisible, incertain,transporte pas la meme quantite d'information reelle. Celle—cirarissime. On realise donc que chacun de ces deux messages neneige a base altitude est tout a fait exceptionnelle, voirephenomene relativement frequent, alors que l’apparition deSous nos climats, au mois d’aoGt par exemple, la pluie est un

bits).representent la meme quantite d'information apparente (25par une sequence binaire distincte de 5 bits, de sorte qu'ilsle meme nombre de lettres (cinq), dont chacune peut etre codeeindications "pluie" et "neige". Ces deux messages contiennentmeteorologiqes. Parmi les messages possibles figurent les __Considerons une source d'information qui emet des previsions

3.2 Eyaluation de l'information reelle : entropie

de bits encodant chaque echantillon.represente alors la frequence d'echantillonnage et D le nombrereste applicable pour un flux continu d'information : Fanalogique en une sequence de nombres binaires, ce concepttraduire · e l'erreur de quantification pres - un signalrespectant le theoreme d’echantillonnage (§ 2.2), permet dePuisqu’une conversion analogique-numerique (§ 2.3),

(3.2)D = D.): yrs/_,

appele debit de decision (ou debit litteral).seconde, est caracterisee par un debit apparent d'informationUne source d’information generant, en moyenne , F signes par

signe d'un alphabet donne contient donc D bits.consacre comme unite binaire d'information apparente. Chaqued'information reelle. Toutefois, l'usage l’a aujourd'huiinitialement propose pour caracteriser 1'unite binairecodage de 1'information. Ce terme, d'origine americaine, futappelant "bit" l’element binaire, O ou 1, employe pour lede l’Union Internationale des Telecommunications (UIT) enNous nous conformerons, dans ce qui suit, aux recommandations

d'information apparente est appelee : quantite de decision.symbole elementaire requiert un choix binaire, cette quantitechaque signe du message. Puisque l'interpretation de chaqueune mesure de la quantite d‘information apparente associee aAinsi, la longueur D de la sequence binaire d'encodage fournit

page 22

l'information. OCR Outputreelle un "shannon", en hommage au pere de la theorie derecommandations de l'UIT, en appelant l'unite d’informationpour eviter toute confusion, nous nous conformerons ici auxservant d’unite de mesure de l'information apparente. Aussi,haut, ce terme denote aujourd'hui 1*e1eme¤t binaire (0 oul)appelee "bit“. Toutefois, comme nous l'avons signale plusC’est cette unite d’information reelle qui, A 1'origine, a ete

realisation d’un evenement binaire A deux etats equibrobables.corresponde A la quantite d’information associee A lade base 2, de telle sorte que l'unite d’information effectiveIl est commode d’uti1iser dans cette definition un logarithme

A(3.3)4 - -!B3 {E.. - 4c¤j_ RA

A, de probabilite ph, est definie parAinsi, la quantite d’information effective associee au symbole

puisque log 1 = O et log (A·B) = log A + log B.satisfaisant simultanement ces conditions est le logarithme,

d’information individuelles. La relation fonctionnelleindependants soit egale A la somme de leurs quantitesd’information totale associee A une sequence de symbolesest, de plus, raisonnable de supposer que la quantitetelle qu’A pA = 1 (evenement éertain) correspond IA = O. I1de sa probabilite d'apparition p . Cette fonction doit etrede l'exprimer mathematiquement comme une fonction de l'inversel’incertitude que l’on a a priori A son sujet, il est naturelrealisation d’un evenement (ou symbole) A est Gne mesure dePuisque la quantite d’information effective I associee A la

.. des criteres permettant la comparaison de differents systemes.des limites de performance d’un "systeme informationnel" etaleatoires. Elle fournit avant tout une methode d'estimationqu'il soit ou non soumis A un regime de perturbationsdebit maximal de transmission de l'information - d’un systeme,Par extension, elle permet de determiner la capacité - ouchaque symbole produit par une source d’information donnee.statistique de la quantite d’information reelle associee Atheorie stochastique des messages. Elle introduit une mesureLa theorie de 1'information, developpee par Shannon, est une

de ce1ui—ci.selectionne un message, et non A l'interpretation subjectivede la liberte de choix dont on dispose lorsque l’onpsychologique. Il correspond simplement A une mesure objective"information reelle" est denue de tout aspect semantique ouI1 convient de souligner que le sens que nous donnons ici A

page 23

effet de memoire. OCR Output

de Markov) faisant intervenir, jusqu'a un certain degre, unen recourant a un modele statistique plus elabore (processusL’entropie de telles sources d’information peut etre estimeeu en francais, sauf quand elle est en position terminale.d’autres lettres. Ainsi, la lettre q est toujours suivie d'uncertaines lettres apparaissent plus frequemment a la suitefrequemment. C'est, par exemple, le cas de la langue ecrite ouDes relations conditionnelles de signe a signe existent

en (3.1).d'information apparente - ou quantite de decision - exprimeeL'entropie maximum s'identifie donc avec la quantite

man<s.5>4 H = (L" P°“" R-: /·•

maximum lorsque tous les signes sont equiprobablesOn demontre facilement que l'entropie atteint une valeur

symboles.binaire sans memoire en fonction de la probabilite d'un desfigure 15 represente la variation de l'entropie d’une sourcecelle de l’entropie thermodynamique. A titre d'exemp1e, la

choisi en raison de la similitude de la formule (3.4) avecCette quantite est appelee l’entropie de la source, terme

° [:4(3.4):-· E SI"/*r’5“€

relations conditionnelles entre signes)denote ici une source sans memoirc, c'est-a-dire sans

, ... , fournie par chague signe est donnee par la formule (1'indice 0p , p p , la quantité d'information effective moyenneindependants ayant les probabilites d’apparition respectivesconstruits a partir d'un alphabet de n signes differents et _D’une maniere generale, pour une source generant des messages

a chaque symbole).1, 08 goyenne statistique, de la quantite d'information associeeP I + pI = 0.722 shannon par bit (esperance mathematique(probabilite) d'appa9ition des symboles correspondants : Hsomme des termes I et I1 ponderes par la frequence relativecalculee, si les symboles sont independants, en effectuant lafournie en moyenne par la source est alors simplement1 0.8 = 0.322 sh. La quantitg d’information reelle par symbolepo = 0.8, on obtignt : I = — lb 0.2 = 2.322 sh et I= - lbdu symbole 0 vaut p = 0.2 et celle du symbole 1 vaut pl = 1binaires soient équiprobables. Par contre, si la probabilitereelle transportee par un bit, pour autant que les symbolesUn shannon (en abrege : sh) est donc la quantite d‘information

page 24

operer cette reduction? OCR Output

diminuer la dimension de la memoire necessaire. Mais commentd'inf0rmation. Dans le cas d’un stockage, cela permet detransmission ou stockage ameliore l'efficacite de la sourceLa suppression, meme partielle, de cette redondance avant

3.4 Reduction de la redondance:codage_san§_distgrsipn

techniques, etc., se situe au—dessus de 80 k.tels que lettres commerciales, cartes meteorologiqes, dessinsdetails. La redondance de la plupart des documents fac—similevariant generalement entre 60 et 90 2, selon leur richesse enenviron 60 R. Les images de television ont une redondancede l'0rdre de 70 A B0 2. Pour la langue parlee, on l'estime ADans le cas de la langue ecrite, cette redondance parait etre

moins, pourrait etre complete.que, si elle manquait, le message resterait complet ou, ducette fraction du message qui n’est pas necessaire, en ce sensEn paraphrasant Shannon, on peut definir la redondance comme

Hman H¤••·¤<3.9>= 4

que l’on exprime generalement en valeur relative

(3.8)'R = Hm"-· H.,l'informati0nla quantite d'information réelle) constitue la redondance ded’information apparente) et l'entropie limite (correspondent ALa difference entre l'entropie maximum (egale A la quantite

3.3 Redondance de l'information

<3.7>H = H_,;· _,.;,/_,.

cadence moyenne F, on obtient un debit d’information reelleSi H est l’entropie d‘une source generant des signes A la

•••é S ••• S HQ ésource:

la quantité d'information reelle moyenne produite par latendre m vers 1’infini est 1’entropie limite Hm qui mesuremodele est éleve. La valeur asymptotique obtenue en faisantplus faibles que le degté de memoire m pris en compte dans lePour une source donnee, les entropies calculees sont d’autant

page 25

toutefois d’une certaine degradation de la qualite). OCR Outputl'ordre de quelques milliers de bits par seconde (au prixapres codage differentiel par un flux beaucoup plus faible deapparent de 64'0O0 bits par seconde, peut etre representeeparole, qui necessite sans reduction de redondance un debitperiodiquement, du systéme predicteur. C’est ainsi que lacontenter de ne transmettre que les parametres, adaptesde prediction est suffisamment faible, on peut meme sereconstitue l'information de maniere inverse. Lorsque l'erreurentre la valeur réelle et cette prediction. Le recepteurn'encoder plus grossierement et transmettre que la differencevaleur presente du signal, basee sur l’acquis anterieur, et Aconsiste, pour l'essentiel, A etablir une prediction de latechnique prometteuse est celle du codage differentiel. EllePour certains signaux analogiqes (parole, television), une

3.5 Reduction de la redondance : codaqe_aveg_gri;g;e_gg_figelite

sous—optimales lui sont preferees.application pratique est toutefois difficile et des techniquesUne methode optimale a éte proposee par Huffman. Son

fournit pas de regles pour la construction du code.permettant d’ameliorer l’efficacite d’une source, il nede l'information. S’il indique l“existence de techniquesCeci constitue le premier theoreme fondamental de la theorieun signal numerique ayant un debit apparent de D=H bits/s.de H sh/s est theoriquement representable (apres_codage) parAinsi, l’information fournie par une source avec un debit reelsources avec memoire, A la condition de cboisir m assez grand.pres qu’on veut d’une efficacite de 100 2, meme pour desde m signes, il est toujours possible de s'approcher aussiencodant non les signes, pris individuellement, mais des blocsnecessairement un nombre entier. Shannon a mO¤¤ré* qu'enCe resultat ne peut generalement etre qu’approche car Rp est

transporte un shannon d'information.formule (3.4) de telle sorte que chaqug bit d’encodagemoyenne L s‘identifierait A l’entropie H donnee par lac'est—A—dire si 2. = - lb p.. Dans ce cas, la longueurquantite d'information reelle associee au signe correspondant,memoire, si la longueur de chaque mot était egale A laUne efficacite de l00 2 serait atteinte, pour une source sans

gz!

(3.10)L = Pié

longueur moyenne de ces mots vaut alorsen raison inverse de leur probabillte pi d’apparition. Lade mots binaires dont la longueur 2. (nombre de bits) vayjeconsiste A encoder les signes fournis par la source A l'aideplus d’un siecle par Morse pour son code telegraphique,Une solution evidente, dejA exploitee dans son principe voila

page 26

signal-sur-bruit.S OCR Outputou B est la largeur de bande de la voie et P/Pn le rapport

<4.3>.· P @:8/((4+ VP) ri/S •*

obtientPour une voie analogique, perturbee par du bruit gaussien, on

un.

Le terme entre parentheses carrees est compris entre zero et

(4 2)Cy: [P{ ,,1 MP .. (4-p) (((4-p)]·F ¤A·vaut

d’interpretation incorrecte d’un symbole est p, cette capacitéune cadence F, et dans laquelle 1a probabiliteDans le cas d’une voie transmettant des symboles binaires a

»— maximum qu’elle autorise pour un regime de perturbation donne.On appelle capacite C d'une voie de transmission le debit reel

est donc nulle.l’incertitude initiale. La quantite d'information transmisene nous apprend rien sur X et l’incertitude finale est egale aDans le cas limite d’une voie interrompue, l’observation de Yd’information transmise correspond a l'entropie de la source.Sans bruit, l'ambiguite H(XlY> est nulle et la quantite

(4.1)I:. H(X)"H(X'Y)1'incertitude finalealors simplement la difference entre l’incertitude initiale etLa quantite d'information effective I transmise en moyenne est

Y : H(X|Y> 4 H(X).entropie de X conditionnelle a l'observation deShannon - s'exprime mathematiquement sous la forme d’unerecepteur Y. Cette ambiguite moyenne — appelee "équivoque" pardu message reconstitue, avec de possibles erreurs, aua sur la nature de 1'informati0n apres avoir pris connaissanceau bruit, correspond a l’incertitude finale que 1'0bservateurinitiale d’un observateur. L’ambiguite de la transmission, duel’on peut interpreter comme la mesure de l’incertitudefournie, en moyenne, par une source X est l'entropie H(X), queAvant transmission, la quantite d’information effective

reduit le debit reel.ambiquite sur la nature de l’information transmise qui end’interprétation (figure 12). Ceci introduit une certaineprovoquent une modification du signal entrainant des erreursLors d'une transmission, les perturbations eventuelles (bruit)

4.1 Transmission de l'information : capacite d'une voie

4. PROTECTION DE L'INFORMATION PAR CODAGE

page 27

d'erreur ne depend que du nombre des elements perturbes; OCR Outputexemple) et pour lequel la probabilite d’un type particuliercomme independantes <effet d’un bruit de fond gaussien parpremiérement, le cas ou les erreurs peuvent etre considerees

(d'ailleurs non exclusifs)On doit distinguer deux regimes particuliers de perturbations

tolerable.faible que possible, ou tout au moins de limiter A une valeurd'erreurs non aetectees que l'on s'efforce de rendre aussicorrigees. Il subsiste ainsi une certaine probabiliteseules les erreurs les plus probables sont detectees ousymboles sont cependant si nombreuses qu’en regle generaleLes combinaisons possibles d‘erreurs dans une suite limitee de

consequence, les corriger.eventuellement determiner leurs positions et, par voie de __procede, on peut deceler la presence d'erreurs, voir memedu message original sur plusieurs elements de controle. Par cerepartit ainsi des parcelles de chaque element d'informationcorreles entre eux et avec les digits d'information. Le codageobtenue par l’adjonction de digits de contrble etroitementd‘information d'une redondance artificielle et structures

correction d'erreurs est l'introduction dans le fluxLe principe fondamental du codage pour la detection ou la

erreurs).

construire un code efficace (ici pour lutter contre lesn'indique pas davantage que le premier comment il fautLe deuxieme theoreme fondamental, propose par Shannon,

4.2 Augmentation de la securite de transmission par codaqe

pour reconstruire le message correct.certain que chaque lecteur rectifiera de lui-meme le contextetelegramme contenant les mots THEORIX DE L’INFZRMATION. Il est __redondance favorise la securite. Supposons la reception d’unOn peut comprendre intuitivement pourquoi la presence d'une

fondamental de la theorie de 1'information.

A C. Ce resultat est connu sous le nom de deuxieme theorémereduction ne peut pas etre envisagee pour tout debit superieurmoyennant l'emp1oi d’un codage redondant approprie. Une telled'interpretation A une valeur aussi faible que desireesecurite de la liaison en reduisant la frequence des erreursun debit inferieur ou egal A C, il est possible d’ameliorer latransmission de l'information_se fait sur une telle voie, avecde transmission. On demontre en effet que tant que laLa capacice est une caracteristique tres importante de la voie

page 28

convolutifs (ou recurrents). OCR Output

familles de codes : les codes de blocs et les codescodes plus elabores appartenant a l'une des deux grandesOn peut esperer supprimer cet inconvenient en recourant a des

d’information.

mais entraine une reduction considerable du debitla correction des combinaisons d'erreurs les plus frequentes,La simple repetition multiple de chaque symbole peut permettre

tout en maintenant un debit d'information acceptable.facilitant le processus de detection ou correction des erreursd'information de la redondance necessaire sous une formestrategie efficace assurant l'incorporation au flux initialLa problematique fondamentale du codage est la recherche d'une

d’information.probables, on peut esperer maintenir un flux regulierdetection des erreurs une correction des erreurs les plus

__ constante de la meme information. Si l'on adjoint a latransmission etant a la limite bloquee par la repetitionentraine une diminution rapide du flux d'information, lad'erreurs. Une augmentation importante du taux de perturbationrepetition, il interrompt l'emission et repete le bloc entacheblocs, sans attendre de quittance; s'i1 regoit un ordre ded'erreurs efficace. L'emetteur envoie alors un message parde blocs d'information grace a un simple code detecteurce cas, il est avantageux de recourir a une transmission surede quittance est ainsi transmissible sans perte de temps. Danscommunication peuvent etre simultanement utilises; un signalcontre, pour une liaison duplex, les deux sens dedans le cas d'un nombre restreint de perturbations. Parimportante de l'equipement, on ne peut assurer la securite qued'erreurs efficace. Cependant, sans complexite relativementde repetition. Le code doit donc assurer une correctionn'est alors pas possible d'emettre une quittance ou un ordredonnées ne peuvent etre transmises que dans une direction; iltrafic. Dans le cas d'une veritable communication simplex, des

,_ Le choix du code depend, en effet, fortement du type de

pas decouverts.recepteur-emetteur est disponible), d’autres enfin ne serontun ordre de repetition du message (si une liaisonéventuellement corriges immediatement, d’autres declencherontSelon la nature du code, certains petits ecarts serontinterpretee et les prescriptions du code seront verifiees.recepteur, la suite complete des signaux codes seramessage doit etre complete par des bits de controle. CoteCependant, dans tous les cas, un message ou une partie d'unLes deux types de perturbations exigent un codage different.

intercalees dans de longs intervalles sans perturbation.impulsif, provoquant des erreurs groupees (rafales), et sontdeuxiemement, le cas ou les perturbations ont un caractere

page 29

verticale (ici parite du nombre de zero). OCR Outputsymboles supplementaires, assurant la parite horizontale etlaquelle on ajoute une ligne et une colonne contenant dessymboles "du message initial sont regroupes dans une matrice acorrigeant une erreur isolee, appele code geometrique. Lesrepresente, sur la figure 16, un exemple de code simple,toutefois le principe d'une correction d'erreur, on aNous ne pouvons developper ici ce sujet. Afin d'illustrer

seul moyen d'ameliorer la securite de 1a liaison.avec correction automatique de certaines erreurs devient lepermettant de signaler la detection d‘erreurs, la detectionsysteme de transmission ne fournit pas une voie de retourrepetition trop frequente des messages, et surtout lorsque leLorsque le taux d'erreurs est trop eleve, exigeant une

4.4 Exemples de codes correcteurs d‘erreurs

donne un reste non nul.la division du message regu par ce meme polynome generateurUne detection d'erreurs puissante est realisee chaque fois quedivisible par un polynome prescrit appele polynome generateur.transmis — assimilable a un polynome - est exactementetc,) sont construits de maniere telle que tout messageD‘autres codes, plus elabores (codes polynomiaux, cycliques,

message emis.la reception et demander a l'emetteur la repetition du dernierutilisee pour signaler en retour la detection d'une erreur aont la propriete ci—dessus. L’une de ces combinaisons est

128 combinaisons differentes de 7 bits, il en existe 35 quichaque mot comprenne toujours quatre 1 et trois 0. Sur les 2telegraphique a 7 bits qui est conqu de telle maniere qufaut augmenter la redondance. Un exemple classique est le codePour augmenter la probabilite de detection des erreurs, il

dont le sixieme bit est le symbole de parite.10010, qui comprend trois symboles 0, on transmettra le 100100 ,.si le message initial est represente par le mot de 5 bitsn'importe quelle combinaison impaire d'erreurs. Par exemple,est alors effectue a 1a reception qui decele la presence demot ainsi augmente soit toujours pair. Un controle de pariteexemple de telle maniere que le nombre de symboles 0 dans lesource, d'un bit supplementaire, dit de parite, choisi par1'adjonction, a chaque mot binaire representant un signe de lalimitee pour permettre la detection de certaines erreurs estLa methode la plus simple d’introduction d'une redondance

4.3 Exemples de codes detecteurs d’erreurs

detection, soit la correction d’erreurs.elementaires de technique de codage permettant, soit laNous nous contenterons de presenter, ici, quelques exemples

page 30

1973. OCR OutputJ. Dupraz, "Theorie de la communication", Eyrolles, Paris,Eyrolles, Paris, 1968.G. Cullmann, "Codage et transmission de l'information",Inc., Dedham (USA), 1986.F. de Coulon, "Signal Theory and Processing", Artech HouseEcublens, 1984.d'electricite, Vol.6, Presses Polytechniques Romandes, 1015F. de Coulon, "Theorie et traitement des signaux“, Traite

References

* * * *

pseudo—aleatoire.pratiques sont basees sur la generation de sequences de typeétre difficiles a reconstituer. De nombreuses solutionsreside dans la generation de clefs suffisamment complexes pourpour qu’il soit encore utile. Tout l'art de la cryptographiele message, par décryptage, en un temps suffisamment courtde codage. Seul le détenteur de la méme clef peut reconstituermessage avec un flot auxiliaire de bits générés par une "clef"se limiter a l'essentiel, a faire interagir les bits duprotéger la confidentialité d'un message. Elle consiste, pourLa cryptographie est une technique de codage développée pour

4.5 Crvptographie

supérieures.convolutifs) atteignent des performances nettementDes codes correcteurs plus élaborés (BCH, Reed—So1omon, Golay,

controle.mot de 7 bits comprenant 4 bits d’information et 3 bits dequi, par exemple, permet de détecter une erreur isolée dans unUn autre exemple de code détecteur est le code de Hamming,

multiples.permet de détecter un grand nombre de configurations d'erreurslocalisée, et par consequent ccrrigible. De plus, un tel codeauxquelles appartient 1'erreur. Elle est dcnc détectée,les deux contréles de parité de la ligne et de la colonneLa présence d'une erreur isolée dans le message fait échcuer

page 31

per une somme ¤'impu1sions rectsnguleires OCR OutputFig. 4 Representation sooroximetive d’un signs} xit)

xw

hb'!

) n t(A7z:·t- rmtRf'¢C·—··;

§E(t)

Fig. 3 Structure fondamentele d'un anslyseur de signsux

FCT.0RTHOGONALES

GENERATEUR LOCAL· -¤u>vmdtkfg%¥• II 5:H M°(¢><¢> Yf.`?¢>

••• | •••

di

dl

di

xw

SGNAL COHPOSANTES

ANALYSEUR

Fig. 2 : Transmission d’1nformstion modéls théorique général.

that ttgu Utcvnslrunlsmessagesnesages signal siqnar

s0unc£l—¤··lEM:rr£unr1-·lcANALh-·IRacEPTEu¤ {-r-has snwA·rA1R£

PERTUR BATJONS

Fig. 1 : Example de systéme da transmission d ' information.

A nuIupL·sap¤;nx¤Jula1i•nnnuuru dc>linulum·

c•.•nunumiun ;•clw•mm·»m·n1

tranmniamnu wv hpn.

d' ull H1` s' t I LI 0 · m ¤ u nM HI ' huh mm u 4 \ A2-.page 32

|7J|n|\!ls»i••n pdf Ilnwvztttx Il•:flll¤'I\>

échantillanné. OCR Output

dl spectre du signal analcgiqua, sl spectra du signal

cl transfcrmée de Fuurisr da la ¥¤ncti¤n d‘échsn:il1c¤¤2g&.

al échantillcns. bl fsncticn d'échantil1¤nnaga.

Fig. g : Echantillunnags idéalisé

2`F€- {8 _ {nu,. b Yin {8 { 3 E

••••••§••••••

·· " x(+J + 6 cn ¥11tr2_1déa1| XB(¥) * · B ;E)

—f•¤q 6 {Hwa

xw) = F {Xiu}

2f e 3f

C) {26+. PF]

E E E G-T 0 T2T3TAT

bl8 k:··¤

GT (t]= 2 6 (t·kTp)

‘JR ,’

·-cn.;if t =m *‘

·‘<r—. -*1 `·

xgfkla)

x(t]

Fig. 8 : Mcdéle théurique d’un échantillunneur.

att)

hit) a·xE[t] · [xltl • altl] · hit]OCR Outputxltl

page 34

dage. el reconstitution per interpolation. OCR Output

mémorisotion, cl quenti¥ication, dl co

al_SchCme bloc, bl échentillonnege et

Fig.;O Operations requises en conversion

yltl

INTEFPOLATIDNa -4 *` q

"°2 ·=¤ vu.)

’ (tk) F *5 -<¤U')ZS *22 2Q

wom5RE ·PJ"F’LITLJD`E| | Q aqua D interpolationTRN·JSFDRF·iATI CPJ

80)Q]{yk}

NUMEEIOUE

SYSTEPE

-~4{xk}•••••••••¢¤•••¤•••• |•

-a¤J-.. ...... .x...,,_ I |.·~·' ¤¤•*_ '°·""""°" °°° _ . Oouq

_1QET CDDABE . ¤¤¤0-_,|4_---•.l-• .•. •l••

N 1 l/ "\ rtADLIANTI FI CATI DN

.... -·.---.-------... -.. ·4|\>---.,. ..... J.} °··.·1l!<<?¤·2_""°"1‘°I°'\ °°°°°°°° 1-**-;

•••••••}`••••••••$2 ( t )

c] ¤1A"¤<ANALOG} DUE

VEMORI SATIG4_x(t.)

EY•••J.• A--» :"¤(.!

..••\ [ •

kgx [ t l I r E tr ·/·-n...v

ECHANT1LLOf\¥‘JAGE Vi?mémurisatiun §(t}

b> x(t)

x(t)

page 35

Fig.;3 : Prooaoilité o'arraur an fonotion do rapport signa1—s;r-troit. OCR Output

1:: es zo $ P.( 40( ..£°

. I I_

.»¤ ·=1·—---=—---¤----g---\ ¥I

————·-——-—-— ---- ·· ---· -·w"

--•.-.|-----|¤-—•—\•»;•..--·`40-‘

--·- --¢-----•·\·-·+——--·40'°’

___,___I_,\. - ,•. . . .- •’-•-••1c';

Fig. 12 : Influenza do oruit sur un systéms do transmission d'in·Formations.

ERREURS

_

OO1IOOOOOIIIOl10]

SIGNAL RECONSTITUE

INSTANTS DE DECISION

HIIIIIIIITIIIIII

‘|’l }·I~H•

°’n"'°••'1·••H·I·|·lI-··I·~lI·-V•I-an-P·¤·-I--II-·.•»

" """"SEU1L\ I

ss BsussSIGNAL• anu}? A LA RscawnowFig.: Distribution1l

0011000101 ITOOI OO

umSIGNAL A IZEMISSION

page 36

cmrrigsant une srrsur isclés. OCR OutputFig. 16 : Code géumétrique

CORRIGER

UERREUR ADE PARITE

CONTROLE POSITION DE

IDENTIFIANT LA

INCORRECTESPARITES

CONTROLE ET CORRECTION

11010 00011 010111000011001

MESSAGE RECU AVEC UNE ERREUR

11010 00111 01011 1000011001

MESSAGE EMIS:

1 1 0 0 1I‘°—PARITE VERTICALE

1NmE 1 0 O 0 0

0 0 1 1 1

¤·¤ = Mi §é§‘E%1 1 0 1 10

FORMATION DU CODE GEOMETRIOUE

1101001101011000

MESSAGE INITIAL:

Fig. 15 : Entrcpia d'uns suurcs binaira.

O.5

¢2=‘·=2

0,5

1 l" ···· 1

H[sh]

FiE· 14 = Traductiun d'un message.

iipnalnuannérngu : I Emp`

¤*J¤1=cbi1¤...r`·‘l00Dl0l IDCODI I I

BNSF pfllllalft (` 83 7