Teorija

Podatke in informacijo prejemamo s sluhom , vidom, okusom, vonjem kjerkoli smo. Informacija postane za nas uporabna, ko jo sprejemnik sprejme. Torej, ko prejmemo informacijo z okolja jo v možganih predelamo in ugotovimo če je informacija za nas uporabna ali ne.


Informacija v informatiki je zapisana z digitalno besedo. Osnovna enota njenega zapisa je bit. Bit je številčno mesto v dvojiškem številčnem sistemu in ima dve vrednosti. (0, 1)  oziroma je stvar dogovora (1, 0 = ja, ne)
Izvor informacije so podatki, ki na izvoru (oddajniku) nimajo nobenega pomena. Šele, ko podatki pridejo preko prenosnega kanala do ponora (sprejemnika), kjer ga preberemo, preuredimo ali uporabimo kot informacijo.


Več bitov tvori digitalno besedo:

• štiri bitna digitalna beseda ali nibl vsebuje štiri bitov: bbbb
• osem bitna digitalna beseda ali byte (bajt, zlog) vsebuje osem bitov: bbbb bbbb

Digitalni zapis desetiškega števila 159 v dvojiški številčni sistem je:

• 159(10) = 10001 1111 (2) - osem bitna digitalna beseda

Sporočilnost digitalne besede nam pove koliko različnih stanj (informacij) lahko z njo opišemo. Z bitom sprejme dve stanji, 2^1 = 2, z dvema 4 stanja 2^2 in tako naprej. Število stanja ki jih lahko zapišemo z digitalno besedo je njena sporočilnost.

Za primer vzemimo kovanec in kocko. Kovanec ima dve možnosti ali stanji: mož in cifra. Da pristane katerakoli od njih je možnost 50%. Pri kocki pa lahko pristanejo števila od 1 do 6 in je verjetnost da pristane na določeni ploskvi 16.6%.  Pri kocki imamo manjšo verjetnost, da bo bo pristala na določeni ploskvi kot pri kovancu in je zato informacija pri kocki večja, kot tista, ki bi opisala, na kateri strani je pristal kovanec.

Večje število stanja = manjša verjetnost = večja količina informacije.

Vodilo po katerem se prenašajo informacije v informacijskem sistemu se imenu informacijski kanal. Ta ima svoj izvor, kjer se podatek ali informacija pojavi. Oddajnik pri izvoru pretvori podatke v signale ustrezne uporabljenemu telekomunikacijskemu kanalu, ki prenese signale sprejemniku. Sprejemnik posreduje podatke ponoru, ki jih pred tem pretvori v obliko, ki jo ponor zahteva.

Na poti med oddajnikom in sprejemnikom nastanejo motnje, ki jih povzročajo okoliške naprave ali fizikalni pojavi. Motnje vplivajo na razumljivost in natančnost prejetega signala.

Ko prek verjetnosti izračunamo količino informacije za posamična stanja, izračunamo povprečno količino informacije, ki jo je Shannon imenoval entropija. Entropija poda le povprečno količino informacije v sistemu za nastop katerega koli stanja, ne pove pa količine informacije za opis konkretnega stanja sistema.