Entropie: Charakteristika pojmu

Entropii můžeme definovat jako míru informace, kterou nese jednotka, nepřímo úměrnou pravděpodobnosti výskytu této jednotky, aniž bychom při tom jakkoliv přihlíželi k jejímu sémantickému obsahu nebo způsobu řazení.

Obecná charakteristika

Pojem entropie zavedl do statistické termodynamiky roku 1865 Rudolf Clausius („…míra stupně smíšení nebo nahodilosti částic, složek fyzikálního systému; je to vlastně nespořádaný stav částic“ (Krámský 1959, 58; Bertók a Janoušek 1989, 38).

Toto vyjádření je formálně totožné s matematickým vyjádřením množství informace, protože v teorii informace jde o míru volnosti výběru při konstruování sdělení (Tarnóczy 1964, 117).

Lze tedy obecně říci, že o entropii mluvíme tam, kde jsou složky systému smíšené (např. bereme v úvahu vztahy a opakování slov). Spořádaný stav systému nastává naopak při oddělení složek systému (např. nezávislý výběr slov na ostatních). Zásluha o vypracování základních aspektů teorie informace, jako je právě pojem entropie, patří Claude E. Shannonovi: (Krámský 1969, 59).

„Entropie je statistický parametr, který měří, v určitém smyslu, kolik informace se produkuje průměrně na jedno písmeno textu v jazyce. Převedeme-li jazyk co nejefektivněji do dvojkových číslic (0 nebo 1), je entropie H průměrný počet dvojkových číslic připadajících na písmeno původního jazyka“ (Shannon 1964, 75). Pokud zkoumáme texty z pohledu teorie informace, nezajímají nás psychologické a gnozeologické relace, ani to, jak se informace odráží prostřednictvím znaků, ale jak je text organizován, strukturován. Míra informace určuje složitost formy.

Jednotkou entropie H je bit (binary unit).

Pro výpočet entropie je tedy třeba znát pravděpodobnost výskytu znaku. Míra informace znaku je tím větší, čím méně byl znak očekávaný (jde o nepřímou úměrnost, pokud je pravděpodobnost znaku rovna 1, jeho entropie je 0, tzn., jde o 100% očekávaný znak, znak nenese žádnou informaci. Při opakování znaků zvyšujeme jejich pravděpodobnost, ale jejich míra informace klesá). Míra informace znaku je tím větší, čím delší je znak.

Na základě vypočtení entropie znaku můžeme vypočítat informační obsah zprávy (Bertók a Janoušek 1989, 38–41).

Obecně řečeno entropií H míníme informační obsah znaku, jakožto jednotky, informačním obsahem zprávy I zase údaj platný pro zprávu, jakožto komplexní jednotku, přičemž součet entropií je větší než informační obsah zprávy.

Bibliografie

• Bertók, Imrich a Ivo Janoušek. 1989. Počítače a umenie. Bratislava: Slovenské pedagogické nakladateľstvo.
• Herdan, Gustav. 1958. „An Inequality Relation Between Yule’s Characteristic K and Shannon’s Entropy H.“ Journal of Applied Mathematics and Physics sv. 9, seš. 1: 69—73.
• Krámský, Jiří. 1959. „Teorie sdělné promluvy.“ Slovo a slovesnost 20 (1): 55–66.
• Pavlík, Ján. 2004. „Informace, ontologie, entropie.“ E-logos, electronic, journal for philosophy, 21. března 2013 http://nb.vse.cz/kfil/elogos/epistemology/pavl1-04.pdf
• Shannon, Claude E. 1948. „A Mathematical Theory of Communication.“ The Bell System Technical Journal 27 (3): 379–423, 623–656.
• Shannon, Claude E. 1964. „Predikce a entropie tištěné angličtiny.“ In Teorie informace a jazykověda. Praha: Československá akademie věd.
• Tarnóczy, Tivadar. 1964. „O faktorech určujících rozložení prvků a entropii v jazycích.“ In Teorie informace a jazykověda. Praha: Československá akademie věd.

Autorka hesla

Nela Urbaniková (2013)

Garant hesla

Jan Kořenský

Jak citovat heslo „Entropie: Charakteristika pojmu“

Urbaniková, Nela. 2013. „Entropie: Charakteristika pojmu.“ Encyklopedie lingvistiky, ed. Kateřina Prokopová. Olomouc: Univerzita Palackého v Olomouci. http://oltk.upol.cz/encyklopedie/index.php5/Entropie:_Charakteristika_pojmu