Teoria informacji
Z Wikipedii
Teoria informacji - dział matematyki na pograniczu statystyki i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografii itd.
Spis treści |
[edytuj] Historia i charakterystyka teorii informacji
Za ojca teorii informacji uważa się Claude'a E. Shannona, który prawdopodobnie po raz pierwszy użył tego terminu w 1945 roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948 roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki. Shannon stworzył podstawy ilościowej teorii informacji, dlatego późniejsi autorzy próbowali stworzyć teorie wyjaśniające wartość (cenność) informacji. W Polsce Marian Mazur stworzył oryginalną teorię opisującą zarówno ilość jak i jakość informacji. Opisał ją m.in. w wydanej w 1970 roku książce Jakościowa teoria informacji. Wprowadził w niej rozróżnienie między informacjami opisującymi a informacjami identyfikującymi i wykazał, że tylko liczba informacji identyfikujących jest tym samym co ilość informacji wyrażona wzorem Claude E. Shannona - wbrew panującemu dotychczas przeświadczeniu, że odnosi się on do wszelkich informacji.
Ważne pojęcia teorii informacji:
- bit: najmniejsza jednostka informacji potrzebna do zakodowania, które z dwóch możliwych zdarzeń zaszło.
Zobacz wyższe jednostki informacji.
- entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania faktu zajścia zdarzenia ze zbioru zdarzeń o danych prawdopodobieństwach.
Wzór na entropię to:
gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.
Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.
[edytuj] Model statystyczny rzędu N
Jest to model rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:
- model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
- model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
- model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
- model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.
[edytuj] Literatura
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory. Wiley Series in Telecommunications, 1991.
- Gareth A. Jones, Mary J. Jones, Information and Coding Theory. Springer, 2000.
- David J.C. MacKay, Information Theory, Inference, and Learning Algorithms. Cambridge University Press, 2003.
- Ming Li, Paul Vitanyi, An Introduction to Kolmogorov Complexity and Its Applications. Springer, 1997.
- Marian Mazur, Jakościowa teoria informacji. WNT, Warszawa 1970, ss. 223.
[edytuj] Zobacz też
[edytuj] Linki zewnętrzne
- Teoria informacji (materiały dydaktyczne MIMUW na studia informatyczne II stopnia)
- Paweł Przybyłowicz, Wstęp do teorii Informacji i kodowania
|
#471846: |
|
<phx> "chodzcie, znam taki zajebisty skrot"
<phx> stwierdzil mojzesz |
|
#471811: |
|
<Aekal> ale mialem fajna sytuacje
<Aekal> expie sobie na dwarfach, po chwili 5 gostkow mnie pizga i zaczynaja mnie nawalac <Aekal> zjechali mnie do kilkunastu hp i mowili zebym im placil <Aekal> ja im daje 97 gp i mowie ze wiecej nie mam <Aekal> a jak chceli wiecej to udawalem ze afk jestem <Aekal> i sobie poszli, a po chwili :D <Aekal> Aekal 15level vs level 28, 26, 31, 27 <Aekal> wygralem ^^ <Aekal> fajnie co? <Rater> a ja dzisiaj gadałem z dziewczyną <Rater> fajnie co? |
|
#471546: |
|
<piotrekbmx25> Wiesz że w średniowieczu nie znano sposobów reanimacji
<b_mx> no i co?? <piotrekbmx25> tam jak ktoś nie dawał znaków życia to był uznawany za martwego <b_mx> ale o co chodzi?? <piotrekbmx25> Ty na każdej imprezie jesteś tak nawalony że nie dajesz znaków życia <b_mx> No i kurwa co z tego?? <piotrekbmx25> To że jak byś żył w średniowieczu to byś był lepszy od Jezusa <b_mx> ... |
|
#471376: |
|
<Grzbiet> jedna ludzka komórka zawiera 75 MB informacji genetycznych
<Grzbiet> dlatego jeden plemnik 37,5 MB <Grzbiet> w jednym ml spermy jest 100 milionów plemników <Grzbiet> przy ejakulacji trwającej średnio 5 sekund uwolni się 2,25 ml spermy <Grzbiet> z wyliczeń otrzymamy, że przepustowość danych męskiego penisa wynosi (37,5 MB x 100 MB x 2,25)/5 = 1687,5 Terabajtów na sekundę <Grzbiet> w wyniku tego wiemy, że żeńskie jajeczko jest zdolne wytrzymywać ataki DDoS o objętości więcej niż 1,5 Pentabajtów na sekundę a przy tym przepuści tylko jeden pakiet danych. Tym samym jest to najlepszy hardware'owy firewall na świecie! <Ufiasty> jedna wada... ten jeden jedyny pakiet, który system przepuści, zawiesi cały system na 9 miesięcy. <Grzbiet> :| |
|
#471181: |
|
<kamper> ludzie tak bajeruja w CV
<kamper> ze az mozg staje <Bastet> nic mi nie mów <Bastet> to moja druga selekcja już w tym roku <Bastet> masakra! <kamper> raz jedna znajoma napisala, 'podstawy jezyka angielskiego w mowie' oraz 'srednio zaawansowany angielski w pismie' <kamper> jak ona nie umiala odmienic czasownika 'to be' <kamper> :/ <Bastet> teks z CV... pisze na stanowisko nauczyciela kobietka <Bastet> CV w tonacji różowej <kamper> LOL <Bastet> i w osiągnięciach zawodowych napisała tak: "moi byli uczniowie do tej pory zapraszają mnie na wigilie klasowe" |
906 brak hosta 906 niezarejestrowana strona wymiana linkow