L'Informo-teorio, anke konocita kom matematikala teorio pri la komuniko analizas sistemi di komuniko e lia efikiveso. La nociono pri sistemo di komuniko esas ampla, e la sama eventas kun la konceptajo pri l'informo-teorio.

Ica artiklo bezonas revizo da ula persono qua konocas ambe Ido, ed ica temo ciencala, teknologiala, matematikala, filozofiala, sportala, edc.
Ka vu povas helpar ni revizar ol?

Ca teorio originis de la verki da Claude Elwood Shannon, qua konsideresas lua kreinto pro lua artiklo A Mathematical Theory of Communications, publikigita en 1948.

Inter l'importanta branchi, on povas citar:

Exempli pri informo

redaktar

Informo or informeso indikas, inter ula ensemblo di eventi, un o plura posibla eventi.

Tale, l'informo diminutas la necerteso. En decido-teorio, on konsideras mem ke ol ne apelendas informo ke to qua esas posible di havas efekto sur nia decidi (poke di kozi en jurnalo esas a ta konto di informi ..).

Unesma exemplo

redaktar

Sive fonto povinta produktar di integra tensioni di 1 a 10 volti e recepciono qua mezuros ta fluo. Ante la sendo di elektra fluo per la fonto, la recepciono ne havas ideo de la tensiono qua esos livrar per la fonto.

En revancho, foye la fluo emisita e recepcionita, la ne-certeso sur la fluo emisita diminutas. L'informo-teorio konsideras ke le recepciono posedas ne-certeso di10 standi.

Duesma exemplo

redaktar

Libraro posedas granda nombro di labori, di revui, di libri e di vorto-libri. Ni serchas kompleta kurso sur la informo-teorio. Tota unesme, ol esas logika ke ni ne trovesos ta dokumentaro en verki di arti o literaturo; ni venas do obtenar neformala informeso qua diminutos nia tempo por inquestar.

Neperfekta informeso

redaktar

Sive realizisto do me amas du filmo pri tri. kritikisto ke me konocas bona kritikegas sua lasta filmo e me savas ke me partigas mezavalore l'analizi di ta kritikisto quar foye pri kin. Ta kritikon me deskonsilos di irar vidar la filmo? To esas ibe la centrala questiono di bayesiala infero, qua quantesas anke en biteti.

Atencez a ne konfundar

redaktar

Oportas min di biteti per skribar ‘'hundo ke ‘'mamifero. Tamen l'indiko ‘'Medoro esas hundo kontenas bona ‘'plu d'informo ke l'indiko ‘'Medoro esas mamifero: la kontenita di semantikala informo di sendajo dependas di kontexto. Fakte, to esas la paro sendajo + kontexto qua konstituas la vera porto di informo, e nul tempe la sendajo sole (videz Paradoxo di kompresilo).

mezuro dil quanteso di informo

redaktar

Quanteso di informo : elementala kazo

redaktar

Konsideras N buxi numerizita de 1 til N. Individuo A celis segun chanco ul objekto en un ek ta buxi. Individuo B devas trovar la numero dil buxo ube esas celita l'objekto. Por facar to, ilu povas pozar du questioni al individuo A a qua il-ca devas respondar sen mentiar "YES" o "NO". Ma omna questiono pozita reprezentas kusto a pagar por l'individuo B (exemple, 1 Euro). Individuo C savas en quala buxo celesas l'objekto. Il povas vendar ta informo a l'individuo B. Se B aceptos ta vendo-kontrato ke se la preco di C esas infre od egale a mezavalora kusto ke B devrus spensar per trovar la buxo en pozar di questioni a A. L'informo detenita per C havas do certa preco. Ta preco reprezentas la quanto di informo per la konoco di la bona buxo : to esas la mezavalora nombro di questioni a pozar per identifikar ta buxo. Ni notas lu I.

Exemplo:

Kad N = 1, I = 0. To esas sole un buxo. Irga questiono esas necesa.

Kad N = 2, I = 1. On demandas se la bona buxo esas la buxo n°1. La respondo Yes o No determinas lore sen ambigueso kel esas la sercha buxo.

Kad N = 4, I = 2. On demandas se la buxo permisas lors d'eliminar du di buxi ed ol suficas di lasta questiono per trovar kel esas la bona buxo per du.

Kad N = 2k, I = k. On skribas la numeri di buxi en bazo 2. Li numeri havas ad-maxime k binara cifri, e per omnu di rango di ta cifri, on demandas se la sercha buxo posedas la cifro 0 o la cifro 1. En k questioni, on havas determinas omna binara cifri del bona buxo. To rivenas anke a pozar k questioni, omna questiono havinta per skopo di divisar sequi la nombro di konsiderita buxi per 2 (metodo di dikotomio).

On esas do amenita a pozar I = log(N), ube log esas la logaritmo en bazo 2, ma ta figuro ne produktas su ke en la kazo di N equiprobabla evenementi.

Quanteso di informo relata a evenemento

redaktar

Supozante nun ke la buxi sive kolorita, e ke to esas n reda buxi. Supozas anke ke C savas ke la buxo ube esas celita l'objekto esas reda. Qual esas la preco di ta informo? Sen ta informo, le preco a pagar ne esas pluse ke log(n). La preco dil informo ‘'la sercha buxo esas reda esas do log(N) - log(n) = log N/n.

On definas tale la quanteso di informo kom kreskanta funciono di   kom :

  •   la nombro di posibla evenementi
  •   la kardinala di sub-ensemblo delimita per l'informo.

Por mezurar ta quanteso d'informo, on pozas :  

  esas expresas en biteto (o logon, uneso introdukta per Shannon, di qua, en la fakti, biteto esas devenita sinonimo), o bona en nat se on uzas la naturala logaritmo vice di logaritmo di bazo 2.

Ta defino justifikas su nam ol volas la sequa propraji :

  1. L'informo esas inkluzite en 0 e ∞.
  2. Un evenemento nam poko di probableso reprezentas multo di informo, (exemplo: « nivas en januaro » kontenas multo min d'informo ke « nivas en agosto » se nur ke on sive en la norda misfero)
  3. L'informo devas esar adicionala.

Remarko : kande on dispozar di multa informi, la quanteso di blokala informo ne esas la sumo di quanteso d'informo. To esas devita a la prezenteso di logaritmo. Videz anke: reciproka informo, komuna informo a du sendaji, qua, en l'idajo, explikas ta « sub-adicionala » dil informo.


Entropio, formulo di Shannon

redaktar

Supozas nun ke la buxi sive di diversa kolori : n1 buxi de koloro C1, n2 buxi de koloro C2, ..., nk buxi de koloro Ck, kon n1 + n2 + ... + nk = N. La persono C savas di qual koloro esas la sercha buxo. Qual esas la preco di ta informo?

L'informo « la buxo esas di koloro C1 » valoras log N/n1, e ta eventualajo havas probableso n1/N. L'informo « la buxo esas di koloro C2 » valoras log N/n2, e ta eventualajo havas probableso n2/N...

La mezavaloro preco di l'informo esas do n1/N log N/n1 + n2/N log N/n2 + ... + nk/N log N/nk. Plu ordinare, se on konsideras k disjunta evenementi di rispektiva probableso p1, p2, ..., pk kun p1 + p2 + ... + pk = 1, lore la quanteso di informo korespondinta a ta distributo di probableso esas p1 log 1/p1 + ... + pk log 1/pk. Ta quanto apelar su entropio del distributo di probableso.

L'entropio permisas do di mezurar la quanteso di mezavaloro informo di ensemblo di evenementi (en partikulara di sendaji) e di mezurar sua necerteso. On notas li   :

 

kun   l'asocia probableso a l'aparo di l'evenemento  .

Kodexaja di l'informo

redaktar

On konsideras sequi di simboli. Omna simbolo povas kontenar du valori s1 e s2 kun di probablesi rispektive p1 = 0,8 e p2 = 0,2. La quanto d'informo kontenas en simbolo esas p1 log 1/p1 + p2 log 1/p2 ≈ 0,7219. Se omna simbolo esas nedependanta di segun, lore sendajo di N simboli kontenas en mezavalora quanto d'informo egala a 0,72N. Se la simbolo s1 esas kodexita 0 e la simbolo s2 esas kodexita 1, lore la sendajo havas longua di N, to qua esas perdo per raporto ala quanto di informo ke ol portas.

Shannon-teorii enuncas ke esas neposibla trovar kodexo do la mezavalora longuo sive infre 0,72N, ma ke ol esas posibla di kodexar la sendajo di fasono a ta ke la kodexa sendajo havas mezavalore longua anke proxim ke volas di 0,72N kande N augmentas.

Exemple, on rigrupas la simboli tri per tri e on kodexas li quale:

simboli a kodexar probableso di trio kodexita di trio longua di kodexo
s1s1s1 0.83 = 0.512 0 1
s1s1s2 0.82 ¥ 0.2 = 0.128 100 3
s1s2s1 0.82 ¥ 0.2 = 0.128 101 3
s2s1s1 0.82 ¥ 0.2 = 0.128 110 3
s1s2s2 0.22 ¥ 0.8 = 0.032 11100 5
s2s1s2 0.22 ¥ 0.8 = 0.032 11101 5
s2s2s1 0.22 ¥ 0.8 = 0.032 11110 5
s2s2s2 0.23 = 0.008 11111 5

La sendajo s1s1s1s1s1s2s2s2s1 esos kodexi 010011110.

La mezavaloro longua di kodexo di sendajo di N simboli esas :

 

Videz anke

redaktar