Entropie

Z Encyklopedie lingvistiky
Přejít na: navigace, hledání

Entropii můžeme definovat jako míru informace, kterou nese jednotka, nepřímo úměrnou pravděpodobnosti výskytu této jednotky, aniž bychom při tom jakkoliv přihlíželi k jejímu sémantickému obsahu nebo způsobu řazení.


Obsah

Obecná charakteristika

Pojem entropie zavedl do statistické termodynamiky roku 1865 Rudolf Clausius („…míra stupně smíšení nebo nahodilosti částic, složek fyzikálního systému; je to vlastně nespořádaný stav částic“ (Krámský 1959, 58; Bertók a Janoušek 1989, 38).

Toto vyjádření je formálně totožné s matematickým vyjádřením množství informace, protože v teorii informace jde o míru volnosti výběru při konstruování sdělení (Tarnóczy 1964, 117).

Lze tedy obecně říci, že o entropii mluvíme tam, kde jsou složky systému smíšené (např. bereme v úvahu vztahy a opakování slov). Spořádaný stav systému nastává naopak při oddělení složek systému (např. nezávislý výběr slov na ostatních). Zásluha o vypracování základních aspektů teorie informace, jako je právě pojem entropie, patří Claude E. Shannonovi: (Krámský 1969, 59).

„Entropie je statistický parametr, který měří, v určitém smyslu, kolik informace se produkuje průměrně na jedno písmeno textu v jazyce. Převedeme-li jazyk co nejefektivněji do dvojkových číslic (0 nebo 1), je entropie H průměrný počet dvojkových číslic připadajících na písmeno původního jazyka“ (Shannon 1964, 75). Pokud zkoumáme texty z pohledu teorie informace, nezajímají nás psychologické a gnozeologické relace, ani to, jak se informace odráží prostřednictvím znaků, ale jak je text organizován, strukturován. Míra informace určuje složitost formy.

Jednotkou entropie H je bit (binary unit).

Pro výpočet entropie je tedy třeba znát pravděpodobnost výskytu znaku. Míra informace znaku je tím větší, čím méně byl znak očekávaný (jde o nepřímou úměrnost, pokud je pravděpodobnost znaku rovna 1, jeho entropie je 0, tzn., jde o 100% očekávaný znak, znak nenese žádnou informaci. Při opakování znaků zvyšujeme jejich pravděpodobnost, ale jejich míra informace klesá). Míra informace znaku je tím větší, čím delší je znak.

Na základě vypočtení entropie znaku můžeme vypočítat informační obsah zprávy (Bertók a Janoušek 1989, 38–41).

Obecně řečeno entropií H míníme informační obsah znaku, jakožto jednotky, informačním obsahem zprávy I zase údaj platný pro zprávu, jakožto komplexní jednotku, přičemž součet entropií je větší než informační obsah zprávy.

Dělení entropie

Maximální entropie

Maximální entropie je rovnoměrné rozložení pravděpodobnosti výskytu pro každý znak, tj. znaky jsou v textu rovnoměrně rozložené (Bertók a Janoušek 1989, 40).

Relativní entropie

Poměr mezi aktuální entropií a maximální entropií nazývá Shannon relativní entropie. Ta je důležitá pro výpočet tzv. nadbytečnosti (redundance), která nám říká, jak velká část sdělení je tvořena ne svobodnou vůlí, výběrem jednotek, ale pravidly systému. V tomto smyslu struktura jazyka provádí na text nátlak. Míru tohoto nátlaku měří právě redundance (Shannon 1948). Redundance sice snižuje efektivnost, ale zvyšuje spolehlivost přenosu a srozumitelnost. Potlačuje vlivy šumů (Bertók a Janoušek 1989, 40).
Chybějící redundantní část by pak neměla ohrozit porozumění, popř. schopnost sdělení doplnit. Shannon uvádí, že v případě angličtiny je volba jednotek z poloviny volbou svobodnou, z poloviny kontrolovanou strukturou jazyka (Shannon 1948).

Střední entropie

Střední entropie závisí na způsobu uspořádání znaků, jejich řazení (Bertók a Janoušek 1989, 40).

Entropie versus negentropie

Gustav Herdan ve svém článku „An Inequality Relation Between Yule’s Characteristic K and Shannon’s Entropy H“ (1958, 69–73) reaguje na Shannonovu entropii pojmem negentropie, který má být přesnější pro užití v lingvistice. Jde o negativní entropii, protože podle Herdana se v lingvistice neměří informace, ale její nedostatek. Zavádí oproti tomu pojem míra opakování (mění logaritmickou kvantitu entropie v statistickou kvantitu míry opakování) (Krámský 1959, 62).

Bibliografie

  • Bertók, Imrich a Ivo Janoušek. 1989. Počítače a umenie. Bratislava: Slovenské pedagogické nakladateľstvo.
  • Herdan, Gustav. 1958. „An Inequality Relation Between Yule’s Characteristic K and Shannon’s Entropy H.“ Journal of Applied Mathematics and Physics sv. 9, seš. 1: 69—73.
  • Krámský, Jiří. 1959. „Teorie sdělné promluvy.“ Slovo a slovesnost 20 (1): 55–66.
  • Pavlík, Ján. 2004. „Informace, ontologie, entropie.“ E-logos, electronic, journal for philosophy, 21. března 2013 http://nb.vse.cz/kfil/elogos/epistemology/pavl1-04.pdf
  • Shannon, Claude E. 1948. „A Mathematical Theory of Communication.“ The Bell System Technical Journal 27 (3): 379–423, 623–656.
  • Shannon, Claude E. 1964. „Predikce a entropie tištěné angličtiny.“ In Teorie informace a jazykověda. Praha: Československá akademie věd.
  • Tarnóczy, Tivadar. 1964. „O faktorech určujících rozložení prvků a entropii v jazycích.“ In Teorie informace a jazykověda. Praha: Československá akademie věd.

Autorka hesla

Nela Urbaniková (2013)


Garant hesla

Jan Kořenský

Jak citovat heslo „Entropie“

Urbaniková, Nela. 2013. „Entropie.“ Encyklopedie lingvistiky, ed. Kateřina Prokopová. Olomouc: Univerzita Palackého v Olomouci. http://oltk.upol.cz/encyklopedie/index.php5/Entropie

Osobní nástroje
Jmenné prostory
Varianty
Akce
Navigace
Nástroje