Informazio kantitate

Informazio-teorian, informazio kantitatea zorizko aldagai batek lagin batean eman dezakeen informazioa da. Formalki, probabilitate teorian edozein gertaerarako definitutako ausazko aldagaia da informazio kantitatea, ausazko aldagaia neurtua izango den ala ez kontuan hartu gabe. Informazio kantitatea informazio-unitateetan adierazten da.

Informazio-teoriaren testuinguruan, informazio kantitatearen itxaropen matematikoa entropia da, eta zera adierazten du: behatzaile batek sistema baten ausazko aldagai baten laginketatik lortzea espero dezaken batezbesteko informazio-kantitatea.^[1]

Definizioa

$X$ ausazko aldagaia eta haren $p\left(x\right)$ probabilitate-funtzioa izanik, $X$ aldagaiak $x$ emaitza lortzeak ematen duen informazio kantitatea horrela definitzen da:

$I\left(x\right)=-\log p{\left(x\right)}=\log {\dfrac {1}{p\left(x\right)}}$

Grafikoan ikusten den bezala, $x$ gertaeraren $p\left(x\right)$ probabilitatea baxua bada (0tik gertukoa), haren informazio ekarpena altua da; probabilitatea altua bada (1etik gertukoa), ordea, informazio-kantitate txikia ekarriko du. $p\left(x\right)$ probabilitate bat izanik, $\left[0,1\right]$ tarteko balio bat hartuko du; 0 bada, informazio kantitatea kalkulatzeak ez dauka zentzurik, emaitza hori gertatzea ezinezkoa delako.

Logaritmo funtziorako aukeratzen den oinarriaren arabera, informazio kantitatea unitate desberdinean neurtzen da. Oinarria 2 bada, unitatea shannon ala bita da.

Propietateak

Gertaera independenteen batura

Bi gertaera independenteen informazio kantitatea gertaeren informazio kantitateen batura da. Matematikan, propietate hori batukortasuna da. Izan bitez ${\textstyle X}$ eta ${\textstyle Y}$ ausazko bi aldagai independente eta $p_{X}(x)$ eta $p_{Y}(y)$ haien probabilitate-funtzioak, hurrenez hurren. Gertaerak independenteak direnez, baterako probabilitate-funtzioa honakoa da:

$p_{X,Y}\!\left(x,y\right)=\Pr(X=x,\,Y=y)=p_{X}\!(x)\,p_{Y}\!(y)$

$(X,Y)=(x,y)$ emaitzaren informazio kantitatea honakoa da:

${\begin{aligned}\operatorname {I} _{X,Y}(x,y)&=-\log _{2}\left[p_{X,Y}(x,y)\right]=-\log _{2}\left[p_{X}\!(x)p_{Y}\!(y)\right]\\&=-\log _{2}\left[p_{X}{(x)}\right]-\log _{2}\left[p_{Y}{(y)}\right]\\&=\operatorname {I} _{X}(x)+\operatorname {I} _{Y}(y)\end{aligned}}$

Adibideak

Txanpon jaurtiketa

Txanpon bat airera jaurtiz gero, aurpegia ala gurutzea ateratzeko probabilitatea $p(A)=0.5$ ekoa eta $p(G)=0.5$ ekoa dira, txanpona sahieska erortzea ezinezkoa dela suposatuz, noski. Beraz,

$I{\left(A\right)}=-\log _{2}p{\left(A\right)}=-\log _{2}{\dfrac {1}{2}}=1$ ,

$I{\left(G\right)}=-\log _{2}p{\left(G\right)}=-\log _{2}{\dfrac {1}{2}}=1$ ,

Informazio hori adierazteko bit bakar batekin nahikoa da.

Arrantzaketa

Demagun ur putzu batean 15 atun ( $A$ ), 13 izokin ( $I$ ) eta 2 txitxarro ( $T$ ) daudela eta bertan arrantzan ari den lagunak arrain bat harrapatu duela. Mota bakoitzeko arraina arrantzatzearen informazio kantitatea horrela kalkulatzen da:

$I{\left(A\right)}=-\log _{2}p{\left(A\right)}=-\log _{2}{\dfrac {15}{30}}=1$ ,

$I{\left(I\right)}=-\log _{2}p{\left(I\right)}=-\log _{2}{\dfrac {13}{30}}\approx 1.206$ ,

$I{\left(T\right)}=-\log _{2}p{\left(T\right)}=-\log _{2}{\dfrac {2}{30}}\approx 3.907$ ,

Ikus daiteke informazio kantitate handieneko gertaera txitxarroa arrantzatzea dela; gertatuz gero, atuna edo izokina arrantzatzeak baino informazio gehiago emango du, putzuaren egoera nabarmenago aldatuko delako.

Entropiarekiko erlazioa

Entropia ausazko aldagai diskretu baten informazio-kantitatearen itxaropen matematikoa da. Batzuetan, entropia aldagaiaren “informazio kantitatea” dela esaten da, seguraski $\mathrm {H} (X)=\operatorname {I} (X;X)$ betetzen delako, $\operatorname {I} (X;X)$ izanik $X$ aldagaiak bere buruarekin partekatzen duen elkarrekiko informazioa.

Jatorria

Informazioa sortzen duen entitate batek beste entitate bati informazioa transmititzen diola esaten da, bigarrenak informazio hori aldez aurretik ez bazuen ezagutzen. Izan ere, aldez aurretik eta ziurtasun osoz ezagutuko balu, transmititutakoaren informazio kantitatea zero izango litzateke.

Etorkizuneko gertaera baten emaitza jakina bada aldez aurretik ziurtasun osoz, hau da 1eko probabilitatearekin, gertaera hori behatzeak ez du inolako informaziorik emango. Informazioa emango du hartzaileak ziurtasun osoz mezuaren edukia ez badu ezagutzen; ezaguna bada 1 baino txikiagoa den probabilitatez.

Gertaera bat behatzeak behatzaileari ematen dion informazioa, gertaera horren emaitzak duen probabilitatearen araberakoa da:

$\operatorname {I} (\omega _{n})=f(\operatorname {P} (\omega _{n}))$

non $\omega _{n}$ emaitzak ematen duen informazio kantitatea $\operatorname {I} (\omega _{n})$ den. $f(\operatorname {P} (\omega _{n}))$ funtzioa $\omega _{n}$ emaitzaren probabilitatearen $f$ funtzio bat da. Zera bete behar da:

$\operatorname {P} (\omega _{n})=1$ denean $\operatorname {I} (\omega _{n})=0$ ,

ezaguna den emaitza batek ez baitu informaziorik transmititzen. Zera ere bete behar da:

$\operatorname {P} (\omega _{n})<1$ denean $\operatorname {I} (\omega _{n})>0$ ,

ziurtasun osoz ezaguna ez den emaitza batek informazioa transmitituko duelako; handiagoa edo txikiagoa izango da, ziurgabetasun mailaren arabera.

Gainera, definizioz, informazio kantitatea batukorra da eta ez da negatiboa. $C$ gertakaria $A$ eta $B$ bi gertakari independenteren ebakidura bada, $C$ gertaerari buruzko mezuak ematen duen informazioa $A$ eta $B$ gertaerei buruzko mezuek batera ematen duten informazio bera da.

$\operatorname {I} (C)=\operatorname {I} (A\cap B)=\operatorname {I} (A)+\operatorname {I} (B)$

$A$ eta $B$ gertaerak independenteak direnez

$\operatorname {P} (C)=\operatorname {P} (A\cap B)=\operatorname {P} (A)\cdot \operatorname {P} (B)$

Propietate hori kontutan izanik, $f$ funtzioari buruz beste zerbait jakin dezakegu

${\begin{aligned}\operatorname {I} (C)&=\operatorname {I} (A)+\operatorname {I} (B)=\\f(\operatorname {P} (C))&=f(\operatorname {P} (A))+f(\operatorname {P} (B))\\&=f{\big (}\operatorname {P} (A)\cdot \operatorname {P} (B){\big )}\\\end{aligned}}$

Beraz $f$ funtzioak honako propietatea du:

$f(x\cdot y)=f(x)+f(y)$

Propietate hori betetzen duten funtzioak logaritmikoak dira, edozein oinarritan. Oinarri ezberdinetako logaritmoen arteko desberdintasun bakarra faktore lineal bat da. Oinarri batetik bestera pasatzea erraza da, zera betetzen baita:

$\log _{b}x={\frac {\log _{k}x}{\log _{k}b}}$

Oinarria finkatuz gero, $2$ adibidez, $f$ funtzioak honako itxura izango du:

$f(x)=K\log _{2}(x)$

Gertaeren probabilitateak 0 eta 1 balioen artean daudenez eta $\log(x)$ funtzioa negatiboa denez tarte horretan, $K<0$ izan beharko da $f(x)=K\log(x)$ tarte horretan positiboa izatea nahi baldin badugu.

$K$ -ren edozein balio negatibo zuzena izango litzateke informazio kantitatea definitzeko. $K$ -ren balio absolutuaren arabera funtzioak azkarrago edo geldoago dibergituko du argumentua (probabilitatea) 0ra hurbiltzen den ahala. $K$ -ren balioa aldatzea, $K$ mantentzea eta logaritmoaren oinarria aldatzearen baliokidea da. Ohikoena $K=-1$ hartzea izaten da, hau da:

$\operatorname {I} (\omega _{n})=-\log _{2}(\operatorname {P} (\omega _{n}))$

Interesgarria izan liteke adierazpen aljebraikoaren beste interpretazio hau aztertzea:

$-\log _{2}(\operatorname {P} (\omega _{n}))=\log _{2}\left({\frac {1}{\operatorname {P} (\omega _{n})}}\right)$

Gertakariaren probabilitatea logaritmoaren argumentuaren zatitzailean dagoenez, probabilitate altuagoek informazio kantitate txikiagoak eragingo dituzte eta alderantziz. Hori bat dator emandako definizioarekin.

$K$ ren balio ezberdinei dagokienez, $K=-1$ finkatuz gero eta logaritmoaren oinarri moduan 2 aukeratuz (ohikoena), lortzen den informazio kantitatearen unitateari bit deritzo; oinarria $e$ denean (logaritmo nepertarra) nat da unitatea eta oinarria 10 denean informazio unitateari hartley deritzo.