El concepte d'entropia informativa implica el logaritme negatiu de la funció de massa de probabilitat per a un valor. Així, quan la font de dades té un valor amb una probabilitat menor (és a dir, quan es produeix un esdeveniment amb una probabilitat baixa), l'esdeveniment porta més "informació" ("sorpresa") que quan les dades font tenen un valor amb una probabilitat més alta..
La quantitat d'informació que transmet cada esdeveniment definit d'aquesta manera es converteix en una variable aleatòria el valor esperat de la qual és l'entropia de la informació. Generalment, l'entropia fa referència al desordre o la incertesa, i la seva definició utilitzada en teoria de la informació és directament anàloga a la que s'utilitza en termodinàmica estadística. El concepte d'IE va ser introduït per Claude Shannon en el seu article de 1948 "A Mathematical Theory of Communication". D'aquí prové el terme "entropia informativa de Shannon".
Definició i sistema
El model bàsic d'un sistema de transmissió de dades consta de tres elements: una font de dades, un canal de comunicació i un receptor,i, com diu Shannon, el "problema bàsic de comunicació" és que el receptor pugui identificar quines dades va generar la font en funció del senyal que rep a través del canal. L'entropia proporciona una restricció absoluta a la longitud mitjana de codificació sense pèrdues més curta possible de dades d'origen comprimides. Si l'entropia de la font és inferior a l'ample de banda del canal de comunicació, les dades que genera es poden transmetre de manera fiable al receptor (almenys en teoria, potser descuidant algunes consideracions pràctiques com la complexitat del sistema necessari per transmetre les dades). i la quantitat de temps que pot trigar a transmetre dades).
L'entropia de la informació es mesura normalment en bits (anomenada alternativament "shannons") o de vegades en "unitats naturals" (nats) o decimals (anomenades "dits", "bans" o "hartleys"). La unitat de mesura depèn de la base del logaritme, que s'utilitza per determinar l'entropia.
Propietats i logaritme
La distribució de probabilitat logarítmica és útil com a mesura de l'entropia perquè és additiva per a fonts independents. Per exemple, l'entropia d'una aposta justa d'una moneda és d'1 bit, mentre que l'entropia dels m-volums és de m bits. En una representació simple, es necessiten bits log2(n) per representar una variable que pot prendre un dels n valors si n és una potència de 2. Si aquests valors són igualment probables, l'entropia (en bits) és igual a aquest nombre. Si un dels valors és més probable que els altres, l'observació que ho éssignificat, és menys informatiu que si es produís algun resultat menys general. Per contra, els esdeveniments més rars proporcionen informació de seguiment addicional.
Com que l'observació d'esdeveniments menys probables és menys freqüent, no hi ha res en comú que l'entropia (considerada com a informació mitjana) obtinguda a partir de dades distribuïdes de manera desigual sigui sempre inferior o igual a log2(n). L'entropia és zero quan es defineix un resultat.
L'entropia de la informació de Shannon quantifica aquestes consideracions quan es coneix la distribució de probabilitat de les dades subjacents. El significat dels esdeveniments observats (el significat dels missatges) és irrellevant en la definició d'entropia. Aquest últim només té en compte la probabilitat de veure un esdeveniment concret, de manera que la informació que encapsula és dades sobre la distribució subjacent de possibilitats, no sobre el significat dels propis esdeveniments. Les propietats de l'entropia de la informació segueixen sent les mateixes que es descriuen anteriorment.
Teoria de la informació
La idea bàsica de la teoria de la informació és que com més se sap sobre un tema, menys informació es pot obtenir al respecte. Si un esdeveniment és molt probable, no és estrany quan es produeixi i, per tant, aporta poca informació nova. Per contra, si l'esdeveniment era improbable, era molt més informatiu que l'esdeveniment va passar. Per tant, la càrrega útil és una funció creixent de la probabilitat inversa de l'esdeveniment (1 / p).
Ara si succeeixen més esdeveniments, entropiamesura el contingut d'informació mitjà que podeu esperar si es produeix un dels esdeveniments. Això vol dir que llançar un dau té més entropia que llançar una moneda perquè cada resultat de cristall té una probabilitat més baixa que el resultat de cada moneda.
Característiques
Per tant, l'entropia és una mesura de la impredictibilitat d'un estat o, que és el mateix, el seu contingut d'informació mitjà. Per obtenir una comprensió intuïtiva d'aquests termes, considereu l'exemple d'una enquesta política. Normalment, aquestes enquestes es produeixen perquè encara no es coneixen els resultats, per exemple, de les eleccions.
És a dir, els resultats de l'enquesta són relativament impredictibles i, de fet, fer-la i examinar les dades aporta informació nova; només són maneres diferents de dir que l'entropia prèvia dels resultats de l'enquesta és gran.
Ara considereu el cas en què la mateixa enquesta es realitza una segona vegada poc després de la primera. Com que el resultat de la primera enquesta ja es coneix, els resultats de la segona enquesta es poden predir bé i els resultats no haurien de contenir molta informació nova; en aquest cas, l'entropia a priori del segon resultat de l'enquesta és petita en comparació amb la primera.
Llançament de monedes
Ara considereu l'exemple de llançar una moneda. Suposant que la probabilitat de cues és la mateixa que la probabilitat de cara, l'entropia d'un llançament de moneda és molt alta, ja que és un exemple peculiar de l'entropia informativa d'un sistema.
Això és perquèque és impossible predir que el resultat d'una moneda es llança abans d'hora: si hem de triar, el millor que podem fer és predir que la moneda cairà en cua, i aquesta predicció serà correcta amb una probabilitat de 1 / 2. Aquest llançament de moneda té un bit d'entropia, ja que hi ha dos possibles resultats que es produeixen amb la mateixa probabilitat, i estudiar el resultat real conté un bit d'informació.
Per contra, tirar una moneda fent servir les dues cares amb cua i sense cap té entropia zero, ja que la moneda sempre aterrarà en aquest signe i el resultat es pot predir perfectament.
Conclusió
Si l'esquema de compressió no té pèrdues, és a dir, sempre podeu recuperar tot el missatge original descomprimint-lo, el missatge comprimit té la mateixa quantitat d'informació que l'original, però es transmet en menys caràcters. És a dir, té més informació o més entropia per caràcter. Això vol dir que el missatge comprimit té menys redundància.
A grans trets, el teorema de codificació del codi font de Shannon estableix que un esquema de compressió sense pèrdues no pot reduir els missatges de mitjana per tenir més d'un bit d'informació per bit de missatge, però es pot aconseguir qualsevol valor inferior a un bit d'informació per bit. missatges utilitzant l'esquema de codificació adequat. L'entropia d'un missatge en bits per la seva longitud és una mesura de la quantitat d'informació general que conté.
