Математическа теория на комуникацията

Шанън завършва развитието на своите теории за криптографията и знае, че комуникацията между хората е смесица от случайности и статистически зависимости. Буквите в нашите съобщения очевидно зависят от предишните букви. През 1949 г. той публикува новаторски труд, "Математическа теория на комуникацията". В него използва модели на Марков като основа за това как можем да мислим за комуникацията. Той започва с лесен пример. Представи си, че имаш текст, написан с азбука от А, В и С. Вероятно не знаеш нищо за този език, макар че забелязваш, че буквите А се групират заедно, а буквите В и С – не. След това той показва, че можеш да проектираш машина, която да генерира подобен текст, с помощта на верига на Марков. Той започва с приближение от нулев порядък, което означава, че избираш независимо и случайно всеки символ А, В или С, и образуваш поредица. Забележи, че тази поредица не изглежда като оригиналната. Той показва, че можеш да я направиш малко по-добре с приближение от първи порядък, където буквите се избират независимо, но според вероятността за всяка буква в първоначалната поредица. Това е малко по-добре, тъй като буквите А стават по-вероятни за изтегляне, но все още нямаме тази структура. Следващата стъпка е ключова. Приближение от втори порядък взима предвид всяка двойка букви, които могат да се появят. В този случай ни трябват три състояния. Първото състояние представлява всички двойки, които започват с А, второто – всички двойки, които започват с В, а третото – всички двойки, които започват с С. Забележи, че чашата А има много двойки АА, което има смисъл, тъй като условната вероятност за А след А е по-висока в нашето оригинално съобщение. Можем да генерираме поредица като използваме този модел от втори порядък по следния начин. Започваме от където и да е и избираме плочка, записваме изхода на първата буква и се преместваме към чашката, дефинирана от втората буква. Избираме нова плочка и повтаряме процеса непрекъснато. Забележи, че поредицата започва да изглежда много подобна на оригиналното съобщение, защото този модел улавя условните зависимости между буквите. Ако искаме да се справим още по-добре, можем да използваме приближение от трети порядък, което взима предвид групи по три букви, или "триграми". В този случай ще ни трябват девет състояния. Но след това Шанън прилага съвсем същата логика към действителен текст на английски език, като използва статистика, която познаваме, за букви, двойки, тройки и т.н. Той получава същите прогресии от случайни букви от нулев порядък до поредици от първи порядък, втори порядък и трети порядък. След това продължава и опитва същото, като използва думи, вместо букви, и записва, че "приликата с обикновен текст на английски става все по-ясна с всеки следващ порядък." Наистина, тези машини създават безсмислен текст, макар че съдържат същата статистическа структура, която виждаш в действителния английски език. След това Шанън дефинира количествено измерване на информацията и разбира, че количеството информация в някои съобщения трябва да е свързано с устройството на машина, която може да се използва за генериране на подобни поредици. Което ни води до идеята за ентропията.