Vikipedio:Projekto matematiko/Informa teorio

El Vikipedio

Ĉi tiu artikolo montras stilajn aŭ/kaj gramatikajn aŭ/kaj strukturajn problemojn kaj bezonas poluradon por konformi al pli bona nivelo de kvalito. Post plibonigo movu la artikolon al
Informa teorio
(eble la nomo mem bezonas korekton) Se la ligo estas ruĝa, vi povas movi la artikolon. Se la ligo estas blua, la alia artikolo pri la temo jam ekzistas kaj tiun kaj ĉi tiun artikolon necasas kunigi.

La aktualaĵo de ĉi tiu artikolo estas klara de la temoj de Bibliotekscienco kaj Komputiko.

Informa teorio estas kampo de matematiko (tiu, ke, kiu) konsideras tri fundamenta (demandoj, demandas):

Kunpremo: Kiom povas datumoj esti kompresita (mallongigita) tiel ke alia persono povas reakiri identa (kopio, kopii) de la _uncompressed_ datumoj?
_Lossy_ datuma kunpremo: Kiom povas datumoj esti kompresita tiel ke alia persono povas reakiri aproksimi (kopio, kopii) de la _uncompressed_ datumoj?
Kanala kapacito: Kiel rapide povas datumoj esti komunikita al iu alia tra brui mediumo?

Ĉi tiu io abstrakta (demandoj, demandas) estas respondita sufiĉe rigore per uzanta matematiko prezentis per _Claude_ Shannon-a en 1948. Lia papero frajis la kampo de informa teorio, kaj la rezultoj havi estas krita al la sukceso de la _Voyager_ (misioj, misias) al profunda spaco, la (invento, inventaĵo) de la CD, la _feasibility_ de poŝtelefonoj, analitiko de la kodo uzita per DNA, kaj multaj aliaj kampoj.

Enhavo

1 Ĝenerala priskribo
2 Matematika teorio de informo
3 Kanala kapacito
4 Rilatanta (konceptoj, konceptas)
- 4.1 Mezura teorio
- 4.2 Kolmogorova komplekseco
5 Aplikoj
6 Historio
- 6.1 Antaŭ 1948
  - 6.1.1 Kvanteca (ideoj, ideas) de informo
  - 6.1.2 Entropio en statistika mekaniko
- 6.2 Evoluo ekde 1948
7 Referencoj
8 Vidu ankaŭ jenon:
9 Ekstera (ligoj, ligas)

[redaktu] Ĝenerala priskribo

Informa teorio estas la matematika teorio de datuma komunikado kaj memoro, ĝenerale (konsiderita, konsideris) al havi estas fundamentita en 1948 per _Claude_ E. Shannon-a. La centra scienca paradigmo de klasika informa teorio estas la inĝenierada problemo de la tradonilo de informo super brui kanalo. La plej fundamentaj rezultoj de ĉi tiu teorio estas Shannon-a's fonta kodiga teoremo, kiu _establishes_ (tiu, ke, kiu) sur averaĝa la nombro de (bitoj, bitas, enbuŝaĵoj, enbuŝaĵas, malmultoj, malmultas) (bezonata, bezonis) al prezenti la rezulto de malcerta evento estas donita per la entropio; kaj Shannon-a's brui-kanala kodanta teoremo, kiuj ŝtatoj (tiu, ke, kiu) fidinda komunikado estas ebla super brui (unudirektaj kanaloj, ŝaneloj, ŝanelas, kanaloj, kanalas) se la kurzo de komunikado estas pli sube certa sojlo (nomita, vokis) la kanala kapacito. La kanala kapacito estas (efektivigita, atingita) kun adekvata (kodanta, kodoprezento) kaj malkodantaj sistemoj.

Informa teorio estas proksime asociita kun kolekto de pura kaj aplikis disciplinoj (tiu, ke, kiu) havi estas portita ekster sub (diversaj, diversaĵo) de flagoj en malsama (partoj, partas) de la mondo super la pasinta duona jarcento aŭ pli: adaptaj sistemoj, _anticipatory_ sistemoj, (artefarita inteligenteco, artefarita intelekto), kompleksaj sistemoj, komplekseca scienco, cibernetiko, _informatics_, maŝina lerno, laŭ kun sistemoj (sciencoj, sciencas) de multaj (priskriboj, priskribas). Informa teorio estas larĝa kaj profunda matematika teorio, kun egale larĝa kaj profundaj aplikoj, ĉefo inter ilin kodiga teorio.

Kodiga teorio estas koncernita kun trovantaj eksplicitaj manieroj, (nomita, vokis) (kodoj, kodas, moruoj), de pligrandiĝanta la rendimento kaj _fidelity_ de datuma komunikado super brui kanalo supren proksima la limigo (tiu, ke, kiu) Shannon-a (pruvita, pruvis) estas ĉiuj sed ebla. Ĉi tiuj (kodoj, kodas, moruoj) povas esti malglate subdividita enen datuma kunpremo kaj eraro-korektado (kodoj, kodas, moruoj). Ĝi prenita multaj (jaroj, jaras) al trovi la bona (kodoj, kodas, moruoj) kies ekzisto Shannon-a (pruvita, pruvis). Tria klaso de (kodoj, kodas, moruoj) estas ĉifrika (ĉifroj, ĉifras, ciferoj, ciferas); (konceptoj, konceptas) de kodiga teorio kaj informa teorio estas multa uzita en ĉifriko kaj ĉifranalitiko; vidi la artikolo sur _deciban_ por (interezanta, interesanta) historia apliko.

Informa teorio estas ankaŭ uzita en informo _retrieval_, inteligenteco kolektanta, (hazardludo, vetanta), statistiko, kaj (ebena, para, eĉ) melodia komponaĵo.

[redaktu] Matematika teorio de informo

Por pli funda diskuto de ĉi tiuj bazaj ekvacioj, vidi Informa entropio.

La abstrakta ideo de kio "informo" (reale, reele) estas devas esti farita pli (betono, konkreta) tiel ke (matematikistoj, matematikistas) povas analizi ĝi.

[redaktu] (Mem, Sin)-informo

Shannon-a difinis mezuri de informa enhavo (nomita, vokis) la (mem, sin)-informo aŭ _surprisal_ de mesaĝo m:

$I(m) = - \log p(m),\,$

kie $p (m) = P r (M = m)$ estas la probablo (tiu, ke, kiu) mesaĝo m estas elektita de ĉiuj eblaj elektoj en la mesaĝa spaco $M$ .

Ĉi tiu ekvacio kaŭzas (mesaĝoj, mesaĝas) kun suba (probabloj, probablas) al (kotizi, kontribui) pli al la entute valoro de Mi(m). En alia (vortoj, vortas), _infrequently_ okazanta (mesaĝoj, mesaĝas) estas pli kara. (Ĉi tiu estas konsekvenco de la propraĵo de (logaritmoj, logaritmas) (tiu, ke, kiu) $- log p (m)$ estas tre granda kiam $p (m)$ estas proksima 0 por malverŝajne (mesaĝoj, mesaĝas) kaj tre malgranda kiam $p (m)$ estas proksima 1 por preskaŭ certa (mesaĝoj, mesaĝas)).

Ekzemple, se Johano diras "Vidi vi poste, (mielo, miela)" al lia edzina ĉiu mateno antaŭ lasanta al oficejo, (tiu, ke, kiu) informo tenas malgranda "enhavo" aŭ "valoro". Sed, se li krias "Vojerari" je lia edzino unu mateno, tiam (tiu, ke, kiu) mesaĝo tenas pli valoro aŭ enhavo (ĉar, supozite, la probablo de lin elektanta (tiu, ke, kiu) mesaĝo estas tre malalta).

[redaktu] Entropio

La entropio de diskreta mesaĝa spaco $M$ estas mezuri de la kvanto de necerte unu havas pri kiu mesaĝo estos elektiĝi. Ĝi estas difinita kiel la averaĝa (mem, sin)-informo de mesaĝo $m$ de (tiu, ke, kiu) mesaĝa spaco:

$H(M) = \mathbb{E} \{I(m)\} = \sum_{m \in M} p(m) I(m) = -\sum_{m \in M} p(m) \log p(m).$

La logaritmo en la formulo estas kutime prenita al bazo 2, kaj entropio estas (mezurita, kriteriita) en (bitoj, bitas, enbuŝaĵoj, enbuŝaĵas, malmultoj, malmultas). Grava propraĵo de entropio estas (tiu, ke, kiu) ĝi estas maksimumigita kiam ĉiu (mesaĝoj, mesaĝas) en la mesaĝa spaco estas _equiprobable_. En ĉi tiu (kesto, okazo) $H (M) = log | M |$ .

[redaktu] Artika entropio

La artika entropio de du diskretaj hazardaj variabloj $X$ kaj $Y$ estas difinita kiel la entropio de la artika distribuo de $X$ kaj $Y$ :

$H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,$

Se $X$ kaj $Y$ estas sendependa, tiam la artika entropio estas simple la (sumo, sumi) de ilia persona (entropioj, entropias).

((Tononomo, Noto, Noti): La artika entropio estas ne al esti konfuzita kun la kruca entropio, malgraŭ simila skribmaniero.)

[redaktu] Kondiĉa entropio (_equivocation_)

Donita aparta valoro de hazarda variablo $Y$ , la kondiĉa entropio de $X$ donita $Y = y$ estas difinita kiel:

$H(X|y) = \mathbb{E}_{{X|Y}} [-\log p(x|y)] = -\sum_{x \in X} p(x|y) \log p(x|y)$

kie $p(x|y) = \frac{p(x,y)}{p(y)}$ estas la kondiĉa probablo de $x$ donita $y$ .

La kondiĉa entropio de $X$ donita $Y$ , ankaŭ (nomita, vokis) la _equivocation_ de $X$ pri $Y$ estas tiam donita per:

$H(X|Y) = \mathbb E_Y \{H(X|y)\} = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = \sum_{x,y} p(x,y) \log \frac{p(y)}{p(x,y)}.$

Baza propraĵo de la kondiĉa entropio estas (tiu, ke, kiu):

$H(X|Y) = H(X,Y) - H(Y) .\,$

[redaktu] Reciproka informo (_transinformation_)

Ĝi (kurbiĝoj, kurbiĝas, turnas, tornas, kurbigas) ekster tiu de la plej utila kaj grava (mezuras, kriterioj, kriterias, mezuroj) de informo estas la reciproka informo, aŭ _transinformation_. Ĉi tiu estas mezuri de kiom informo povas esti ricevita pri unu hazarda variablo per observanta alia. La _transinformation_ de $X$ relativa al $Y$ (kiu prezentas koncepte la kvanto de informo pri $X$ (tiu, ke, kiu) povas esti (konkerita, gajnita) per observanta $Y$ ) estas donita per:

$I(X;Y) = \sum_{x,y} p(y)\, p(x|y) \log \frac{p(x|y)}{p(x)} = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}.$

Baza propraĵo de la _transinformation_ estas (tiu, ke, kiu):

$I(X;Y) = H(X) - H(X|Y)\,$

Reciproka informo estas simetria:

$I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y),\,$

Reciproka informo estas proksime rilatanta al la logo-verŝajneca rilatuma provo en la ĉirkaŭteksto de eventualeco (baremoj, baremas, tabeloj, tabelas, tabloj, tablas) kaj la _Multinomial_ distribuo kaj al _Pearson_'s χ² provo: reciproka informo povas esti konsiderata statistiko por impostanta sendependeco inter paro de (variabloj, variablas), kaj havas bone-precizigita asimptota distribuo. Ankaŭ, reciproka informo povas esti esprimita tra la _Kullback_-_Leibler_ diverĝenco per (mezuranta, mezuro) la diferenco ((do, tiel) al diri) de la reala artika distribuo al la (produkto, produto) de la bagatelaj distribuoj:

$I(X; Y) = D_{KL}\left(p(X,Y) \| p(X)p(Y)\right)\,$

[redaktu] Kontinua (ekvivalentoj, ekvivalentas) de entropio

Vidi ĉefa artikolo: Diferenciala entropio.

Shannon-a informo estas adekvata por (mezuranta, mezuro) necerte super diskreta spaco. Ĝia baza (mezuras, kriterioj, kriterias, mezuroj) havi estas etendita analoge al kontinua (spacoj, kosmoj, spacetoj). La (sumoj, sumas) povas esti (anstataŭigita, anstataŭigis) kun integraloj kaj (densecoj, densecas, volumenaj masoj, specifaj masoj) estas uzitaj anstataŭ probablaj masaj funkcioj. Analoge la diskreta (kesto, okazo), entropio, artika entropio, kondiĉa entropio, kaj reciproka informo povas esti difinita kiel sekvas:

$h(X) = -\int_X f(x) \log f(x) \,dx$

$h(X,Y) = -\int_Y \int_X f(x,y) \log f(x,y) \,dx \,dy$

$h(X|y) = -\int_X f(x|y) \log f(x|y) \,dx$

$h(X|Y) = -\int_Y \int_X f(x,y) \log \frac{f(x,y)}{f(y)} \,dx \,dy$

$I(X;Y) = -\int_Y \int_X f(x,y) \log \frac{f(x,y)}{f(x)f(y)} \,dx \,dy$

kie $f (x, y)$ estas la artika denseca funkcio, $f (x)$ kaj $f (y)$ estas la bagatelaj distribuoj, kaj $f (x | y)$ estas la kondiĉa distribuo.

[redaktu] Kanala kapacito

Estu ni redoni provizore al nia konsidero de la (komunikadoj, komunikadas) procezo super diskreta kanalo. Je ĉi tiu tempa ĝi estos esti helpema al havi simpla modelo de la procezo:

Ĉi tie X prezentas la spaco de (mesaĝoj, mesaĝas) elsendita, kaj Y la spaco de (mesaĝoj, mesaĝas) ricevita dum unua tempo super nia kanalo. Estu $p (y | x)$ esti la kondiĉa probabla distribua funkcio de Y donita X. Ni estos konsideri $p (y | x)$ al esti imanenta (fiksis, neŝanĝebligita) propraĵo de nia (komunikadoj, komunikadas) kanalo ((figuranta, prezentanta) la naturo de la bruo de nia kanalo). Tiam la artika distribuo de X kaj Y estas plene difinita per nia kanalo kaj per nia elekto de $f (x)$ , la bagatela distribuo de (mesaĝoj, mesaĝas) ni elekti al sendi super la kanalo. Sub ĉi tiuj (limigoj, limigas), ni devus ŝati al maksimumigi la kvanto de informo, aŭ la signali, ni povas komuniki super la kanalo. La adekvata mezuri por ĉi tiu estas la _transinformation_, kaj ĉi tiu maksimumo _transinformation_ estas (nomita, vokis) la kanala kapacito kaj estas donita per:

$C = \max_f I(X;Y).\,$

[redaktu] Fonta teorio

(Ĉiu, Iu) procezo (tiu, ke, kiu) (generas, naskas) sukcesa (mesaĝoj, mesaĝas) povas esti konsiderata fonto de informo. (Fontoj, Fontas) povas esti (klasifikita, klasigita) en ordo de pligrandiĝanta universaleco kiel senmemora, _ergodic_, oficejaĵaro, kaj stokasto, (kun ĉiu klaso severe enhavanta la antaŭa unu). La (termo, membro, flanko, termino) "senmemora" kiel uzita ĉi tie havas malmulte malsama signifo ol ĝi normale faras en teorio de probabloj. Ĉi tie senmemora fonto estas difinita kiel unu (tiu, ke, kiu) (generas, naskas) sukcesa (mesaĝoj, mesaĝas) sendepende de unu la alian kaj kun (fiksis, neŝanĝebligita) probablodistribuo. Tamen, la pozicio de la unua aper(aĵ)o de aparta mesaĝo aŭ simbolo en vico generita per senmemora fonto estas reale senmemora hazarda variablo. La alia (termoj, kondiĉoj, terminoj, termas, terminas) havi honeste normo (difinoj, difinas) kaj estas reale bone studis en ilia posedi (ĝusta, dekstra, rajto) ekster informa teorio.

[redaktu] Kurzo

La kurzo de fonto de informo estas (en la plej ĝenerala (kesto, okazo)) $r=\mathbb E H(M_t|M_{t-1},M_{t-2},M_{t-3}, \cdots)$ , la atendis, aŭ averaĝa, kondiĉa entropio por mesaĝo (kio estas por unua tempo) donita ĉiu antaŭa (mesaĝoj, mesaĝas) generita. Ĝi estas komuna en informa teorio al paroli de la "kurzo" aŭ "entropio" de lingvo. Ĉi tiu estas adekvata, ekzemple, kiam la fonto de informo estas Angla prozo. La kurzo de senmemora fonto estas simple $H (M)$ , ekde per difino estas ne _interdependence_ de la sukcesa (mesaĝoj, mesaĝas) de senmemora fonto. La kurzo de fonto de informo estas rilatanta al ĝia redundo kaj kiel bone ĝi povas esti kompresita.

[redaktu] Fundamenta teoremo

Vidi ĉefa artikolo: Teoremo pri kodigo en brua kanalo.

[redaktu] (Propozicio, Frazo, Ordono) (brui-kanala kodanta teoremo)

1. Por ĉiu diskreta senmemora kanalo, la kanala kapacito

$C = \max_{P_X} \,I(X;Y)$

havas jena propraĵo. Por (ĉiu, iu) ε > 0 kaj R < C, por granda sufiĉa N, tie ekzistas kodo de longo N kaj kurzo ≥ R kaj malkodanta algoritmo, tia (tiu, ke, kiu) la maksimuma probablo de (bari, bloko) eraro estas ≤ ε.

2. Se probablo de malmulta eraro p_b estas akceptebla, (ratoj, kurzoj, kurzas) supren al R(p_b) estas _achievable_, kie

$R(p_b) = \frac{C}{1-H_2(p_b)} .$

3. Por (ĉiu, iu) p_b, (ratoj, kurzoj, kurzas) pli granda ol R(p_b) estas ne _achievable_.

(_MacKay_ (2003), p. 162; cf _Gallager_ (1968), _ch_.5; Kovri kaj Tomaso (1991), p. 198; Shannon-a (1948) _thm_. 11)

[redaktu] Kanala kapacito de aparta modelo (unudirektaj kanaloj, ŝaneloj, ŝanelas, kanaloj, kanalas)

A kontinua-tempo analoga (komunikadoj, komunikadas) kanalo kun rezervo pri Gaŭsa bruo — vidi Shannon-a-_Hartley_ teoremo.

[redaktu] Rilatanta (konceptoj, konceptas)

[redaktu] Mezura teorio

Jen (interezanta, interesanta) kaj iluminanta ligo inter informa teorio kaj mezura teorio:

Se al ajnaj diskretaj hazardaj variabloj X kaj Y ni (asociito, asociano, kompaniano) la ekzisto de aroj $\tilde X$ kaj $\tilde Y$ , iel (figuranta, prezentanta) la informo _borne_ per X kaj Y, respektive, tia (tiu, ke, kiu):

$\mu(\tilde X \cap \tilde Y) = 0$ ĉiam X kaj Y estas sendependa, kaj
$\tilde X = \tilde Y$ ĉiam X kaj Y estas tia (tiu, ke, kiu) ĉu unu estas plene difinita per la alia (kio estas per reciproke unuvalora surĵeto);

kie $μ$ estas mezuri super ĉi tiuj aroj, kaj ni aro:

$H(X) = \mu(\tilde X),$

$H(Y) = \mu(\tilde Y),$

$H(X,Y) = \mu(\tilde X \cup \tilde Y),$

$H(X|Y) = \mu(\tilde X \,\backslash\, \tilde Y),$

$I(X;Y) = \mu(\tilde X \cap \tilde Y);$

ni trovi (tiu, ke, kiu) Shannon-a's "mezuri" de informa enhavo (verigas, kontentigas) ĉiu (postulatoj, postulatas) kaj bazaj propraĵoj de formala mezuri super aroj. Ĉi tiu povas esti oportuna mnemonika aparato en iu (situacioj, situacias). Certa (vastigaĵoj, vastigaĵas) al la (difinoj, difinas) de Shannon-a's baza (mezuras, kriterioj, kriterias, mezuroj) de informo estas necesa al alpaŝi la σ-algebro generita per la aroj (tiu, ke, kiu) devus esti asociita al tri aŭ pli ajna hazarda variablo. (Vidi _Reza_ _pp_. 106-108 por neformala sed iom plenumi diskuto.) Nome $H(X,Y,Z,\cdots)$ (bezonas, bezonoj) al esti difinita en la evidenta vojo kiel la entropio de artika distribuo, kaj etendis _transinformation_ $I(X;Y;Z;\cdots)$ difinita en taŭgi maniero ((maldekstre, restis) kiel ekzerci por la ambicia legilo) tiel ke ni povas aro:

$H(X,Y,Z,\cdots) = \mu(\tilde X \cup \tilde Y \cup \tilde Z \cup \cdots),$

$I(X;Y;Z;\cdots) = \mu(\tilde X \cap \tilde Y \cap \tilde Z \cap \cdots);$

por ke difini la ((signita, subskribita)) mezuri super la tuta σ-algebro. (Ĝi estas (interezanta, interesanta) al (tononomo, noto, noti) (tiu, ke, kiu) la reciproka informo de tri aŭ pli hazarda variablo povas esti negativa kaj ankaŭ pozitiva: Estu X kaj Y esti du sendependa (foiro, honesta) monero klakas, kaj estu Z esti ilia ekskluziva ĉu. Tiam $I (X; Y; Z) = - 1$ malmulto.)

Ĉi tiu ligo estas grava por du kaŭzoj: unua, ĝi _reiterates_ kaj klarigas la fundamentaj propraĵoj de ĉi tiuj baza (konceptoj, konceptas) de informa teorio, kaj (sekundo, dua), ĝi pravigas, en certa formala (senso, senco), la praktiko de vokanta Shannon-a's entropio "mezuri" de informo.

[redaktu] Kolmogorova komplekseco

A. N. Kolmogorova prezentis alternativa informo mezuri tio estas bazita sur la longo de la plej mallonga algoritmo al produkti mesaĝo, (nomita, vokis) la Kolmogorova komplekseco. La praktika utileco de la Kolmogorova komplekseco, tamen, estas io (limigita, limigis) per du (eldonas, aferoj):

Pro al la problemo de haltado, ĝi estas en ĝenerala ne ebla al reale kalkuli la Kolmogorova komplekseco de donita mesaĝo.
Pro al ajna elekto de programlingvo koncernata, la Kolmogorova komplekseco estas nur difinis supren al ajna alsuma konstanto.

Ĉi tiuj limigoj flegi limigi la utileco de la Kolmogorova komplekseco al pruvanta asimptota (baroj, baras), kiu estas (reale, reele) pli la domajno de komplekseca teorio. Tamen ĝi estas en certa (senso, senco) la "plej bona" ebla mezuri de la informa enhavo de mesaĝo, kaj ĝi havas la avantaĝo de estante sendependa de (ĉiu, iu) antaŭa probabla distribuo sur la (mesaĝoj, mesaĝas).

[redaktu] Aplikoj

[redaktu] Kodiga teorio

Kodiga teorio estas la plej grava kaj direkta apliko de informa teorio. Ĝi povas esti subdividita enen datuma kunprema teorio kaj erara korektada teorio. Uzanta statistika priskribo por datumoj, informa teorio kvantigas la nombro de (bitoj, bitas, enbuŝaĵoj, enbuŝaĵas, malmultoj, malmultas) (bezonata, bezonis) al priskribi la datumoj. Estas du (formulaĵoj, formulaĵas) por la kunprema problemo — en _lossless_ datuma kunpremo la datumoj devas esti rekonstruita akurate, (dum, ĉar) _lossy_ datuma kunpremo ekzamenas kiom (bitoj, bitas, enbuŝaĵoj, enbuŝaĵas, malmultoj, malmultas) estas (bezonata, bezonis) al rekonstrui la datumoj al en precizigis _fidelity_ nivelo. Ĉi tiu _fidelity_ nivelo estas (mezurita, kriteriita) per funkcio (nomita, vokis) distorda funkcio. En informa teorio ĉi tiu estas (nomita, vokis) kurza distorda teorio. Ambaŭ _lossless_ kaj _lossy_ fonto (kodoj, kodas, moruoj) produkti (bitoj, bitas, enbuŝaĵoj, enbuŝaĵas, malmultoj, malmultas) je la (eligi, eligo) kiu povas esti uzita kiel la (enigoj, enigas) al la kanalo (kodoj, kodas, moruoj) menciis pli supre.

La ideo estas al unua kompreso la datumoj, kio estas forpreni kiel multa de ĝia redundo kiel ebla, kaj tiam adicii (justa, ĵus) la (ĝusta, dekstra, rajto) speco de redundo (kio estas erara korektado) (bezonata, bezonis) al elsendi la datumoj kompetente kaj konscience transa brui kanalo.

Ĉi tiu divido de kodiga teorio enen kunpremo kaj tradonilo estas pravigita per la informa tradonilo (teoremoj, teoremas), aŭ fonto-kanala apartigo (teoremoj, teoremas) (tiu, ke, kiu) pravigi la uzi de (bitoj, bitas, enbuŝaĵoj, enbuŝaĵas, malmultoj, malmultas) kiel la universala valuto por informo en multaj ĉirkaŭtekstoj. Tamen, ĉi tiuj (teoremoj, teoremas) nur teni en la situacio kie unu elsendantaj uzantaj deziroj al komuniki al unu ricevanta uzanto. En (scenaroj, scenaras) kun pli ol unu _transmitter_ (la multaj-atinga kanalo), pli ol unu ricevilo (la disaŭdigi kanalo) aŭ _intermediary_ "asistantoj" (la relajsa kanalo), aŭ pli ĝenerala (retoj, retas), kunpremo sekvis per tradonilo (majo, povas) jam ne esti optimala. Reta informa teorio (ligas, referas) al ĉi tiuj _multi_-agenta komunikado (modeloj, modelas).

[redaktu] Ĉifriko, Ĉifranalitiko

Informo teoria (konceptoj, konceptas) estas larĝe uzita en farante kaj rompanta ĉifrika (ĉifroj, ĉifras, ciferoj, ciferas). Por (interezanta, interesanta) historia ekzemplo, vidi la artikolo sur _deciban_. Shannon-a sin difinis grava koncepto (nomita, vokis) la _unicity_ distanco. Bazita sur la redundo de la (plata teksto, simpla teksto), ĝi provas al doni minimuma kvanto de ĉifrita teksto necesa al certiĝi unika _decipherability_.

Kelkaj aldona (konceptoj, konceptas) rilatante al la kurzo de informa fonto estas aparte grava en la studi de _cryptology_. Ĉi tiuj estas la absoluta kurzo, la absoluta redundo, la relativa redundo, kaj la rendimento.

[redaktu] Rilato kun varmodinamika entropio

Vidi ĉefa artikolo: Entropio en (termodinamiko, varmodinamikoj, varmodinamikas) kaj informa teorio.

[redaktu] Kvantuma Informa Scienco

Vidi ĉefa artikolo: Kvantuma informadiko.

[redaktu] Detekto kaj Proksumuma Teorio

[redaktu] (Hazardludo, Vetanta)

Informa teorio estas ankaŭ grava en (hazardludo, vetanta) kaj (kun iuj etikaj rezervejoj) investanta. Grava sed simpla rilato ekzistas inter la kvanto de flanka informo _gambler_ ricevas kaj la atendis eksponenta funkcia kresko de lia (ĉefurbo, majuskla, kapitelo) (_Kelly_). La (do, tiel)-(nomita, vokis) ekvacio de malsana-_gotten_ (konkeras, gajnas) povas esti esprimita en logaritma formo kiel

$\mathbb E \log K_t = \log K_0 + \sum_{i=1}^t H_i$

por optimala vetanta strategio, kie $K 0$ estas la komenca (ĉefurbo, majuskla, kapitelo), $K t$ estas la (ĉefurbo, majuskla, kapitelo) post la t(th, -a) (veto, veti), kaj $H i$ estas la kvanto de flanka informo ricevis koncernanta la mi(th, -a) (veto, veti) (en aparta, la reciproka informo relativa al la rezulto de ĉiu _bettable_ evento). Ĉi tiu ekvacio aplikas foreste de (ĉiu, iu) transakcio kostas aŭ minimumo (vetoj, vetas). Kiam ĉi tiuj (limigoj, limigas) apliki (kiel ili _invariably_ fari en (reala, reela) vivo), alia grava (hazardludo, vetanta) koncepto venas enen ludi: la _gambler_ (aŭ senkonscienca investanto) devas (vizaĝo, edro) certa probablo de _ultimate_ ruino. (Tononomo, Noto, Noti) (tiu, ke, kiu) (ebena, para, eĉ) manĝo, (vesto, ŝtofanta, tukanta, vestanta), kaj ŝirmi povas esti konsiderata (fiksis, neŝanĝebligita) transakcio kostas kaj tial (kotizi, kontribui) al la _gambler_'s probablo de _ultimate_ ruino. Tio estas kial manĝo estas (do, tiel) malkara je (kasinoj, kasinas, kazinoj, kazinas).

Ĉi tiu ekvacio estis la unua apliko de Shannon-a's teorio de informo ekster ĝia _prevailing_ scienca paradigmo de datumoj (komunikadoj, komunikadas) (Trapiki). Ne unu (konas, scias) kiom _lucre_ havas estas (konkerita, gajnita) per la uzi de ĉi tiu _notorious_ ekvacio ekde ĝia malkovra duona jarcento _ago_.

La malsana-_gotten_ (konkeras, gajnas) ekvacio reale _underlies_ multa se ne ĉiuj de matematika financo, kvankam certe, kiam estas mono al esti farita, kaj (brovoj, brovas) ne al esti altigita, ege diskreteco estas (dungita, dungita) en ĝia uzi.

[redaktu] Inteligenteco

Shannon-a's teorio de informo estas ege grava en inteligenteca laboro, multa pli (do, tiel) ol ĝia uzi en ĉifriko devus indiki. La teorio estas aplikita per inteligenteco (agentejoj, agentejas) al konservi (klasifikita, klasigita) informa sekreto, kaj al (malkovri, esplori) kiel multa informo kiel ebla pri antagonisto. La fundamenta teoremo (plumboj, plumbas, kondukas) ni al kredi ĝi estas multa pli malfacila al konservi (sekretoj, sekretas) ol ĝi povus unua aperi. En ĝenerala ĝi estas ne ebla al halti la _leakage_ de (klasifikis, klasigita) informo, nur al malfrua ĝi. Plue, la pli popolo (tiu, ke, kiu) havi atingo al la informo, kaj la pli tiu popolo devi laboro kun kaj _belabor_ (tiu, ke, kiu) informo, la pli granda la redundo de (tiu, ke, kiu) informo iĝas. Ĝi estas ege peza al enhavi la (flui, fluo) de informo (tiu, ke, kiu) havas tia alta redundo. Ĉi tiu _inevitable_ _leakage_ de (klasifikis, klasigita) informo estas pro al la psikologia fakto (tiu, ke, kiu) kia popolo scii faras influi ilia konduta io, tamen subtila (tiu, ke, kiu) influi povus esti.

La premiera ekzemplo de la apliko de informa teorio al _covert_ signalanta estas la dizajno de la Tutmonda loktrova sistemo signali (kodanta, kodoprezento). La sistemo uzas pseŭdohazarda (kodanta, kodoprezento) (tiu, ke, kiu) (lokoj, lokas) la radio signali pli sube la brua planko. Tial, _unsuspecting_ radia aŭskultanto devus ne (ebena, para, eĉ) esti konscia (tiu, ke, kiu) tie estis signali (prezenti, aktuala), kiel ĝi devus esti dronita ekster per atmosfera kaj antena bruo. Tamen, se unu integralas la signali super longa (periodoj, periodas, punktoj, punktas) de tempo, uzanta la "sekreto" (sed sciata al la aŭskultanto) pseŭdohazarda vico, unu povas eble detekti signali, kaj tiam _discern_ (moduladoj, moduladas) de (tiu, ke, kiu) signali. En _GPS_, la C/A signali havas estas publike _disclosed_ al esti 1023-malmulta vico, sed la pseŭdohazarda vico uzita en la P(Y) signali restas sekreto. La sama tekniko povas kutimi elsendi kaj ricevi _covert_ inteligenteco de mallonga-limigo, ege malaltaj povaj sistemoj, sen la malamiko (ebena, para, eĉ) estante konscia de la ekzisto de radio signali.

[redaktu] Muziko

Komponistaj Marmeladoj _Tenney_, interalie kiel lia instruisto _Lejaren_ _Hiller_, havas uzita informa teorio en la komponaĵo de melodia (laboroj, laboras) kiel _Ergodos_.

[redaktu] Historio

La konkludiga evento kiu (fondita, fondis) la subjekto de informa teorio, kaj aĉetita ĝi al senpera tutmonda atento, estis la eldono de _Claude_ E. Shannon-a (1916–2001)'s klasika papero "Matematika teorio de komunikado" en la Sonorila Sistema Teknika Ĵurnalo en Julio kaj Oktobro de 1948.

En ĉi tiu revolucia kaj _groundbreaking_ papero, la laboro por kiu Shannon-a havis substance (plenumita, plenumis) je Sonorilo _Labs_ per la fino de 1944, Shannon-a unuafoje prezentis la kvalteca kaj kvanteca modelo de komunikado kiel statistika procezo, kiu _underlies_ informa teorio; kaj kun ĝi la (ideoj, ideas) de la informa entropio kaj redundo de fonto, kaj ĝia aferkoncerneco tra la fonta kodiga teoremo; la reciproka informo, kaj la kanala kapacito de brui kanalo, kiel _underwritten_ per la promesi de perfekta malprofito-libera komunikado donita per la brui-kanala kodanta teoremo; la praktika rezulto de la Leĝo de Shannon-Hartley por la kanala kapacito de Gaŭsa kanalo; kaj kompreneble la malmulto - nova komuna valuto de informo.

[redaktu] Antaŭ 1948

[redaktu] Kvanteca (ideoj, ideas) de informo

La plej direkto (antaŭaĵoj, antaŭaĵas) de Shannon-a's laboro estis du (paperoj, paperas) (publikigita, publikigis) en la _1920s_ per Elrabi _Nyquist_ kaj _Ralph_ _Hartley_, kiu estis ambaŭ ankoraŭ treege esplori (korifeoj, korifeas, estroj, estras) je Sonorilo _Labs_ kiam Shannon-a (alvenis, veninta) tie en la frua 1940-aj jaroj.

_Nyquist_'s 1924 papero, Certa (Faktoroj, Faktoras) Afektanta Telegrafa Rapido estas plejparte koncernita kun iu detalis inĝenierado (aspektoj, aspektas) de telegrafo signalas. Sed pli teoriaj sekciaj diskutoj kvantiganta "inteligenteco" kaj la "linia rapido" je kiu ĝi povas esti elsendita per komunikada sistemo, donanta la rilato

$W = K \log m \,$

kie W estas la rapido de tradonilo de inteligenteco, m estas la nombro de malsamaj tensiaj niveloj al elekti de je ĉiufoje (ŝtupo, paŝi), kaj K estas konstanto.

_Hartley_'s 1928 papero, (nomita, vokis) simple Tradonilo de Informo, iris plui per prezentanta la vorta informo, kaj farante eksplicite klara la ideo (tiu, ke, kiu) informo en ĉi tiu ĉirkaŭteksto estis kvanteca mezurebla kvanto, reflektanta nur (tiu, ke, kiu) la ricevilo estis pova (distingi, diferencigi) tiu vico de (simboloj, simbolas) havita estas sendita iom ol (ĉiu, iu) alia -- sufiĉe sendistinge de (ĉiu, iu) asociita signifo aŭ alia psikologia aŭ semantika aspekto la (simboloj, simbolas) povus prezenti. Ĉi tiu kvanto de informa li kvantigis kiel

$H = \log S^n \,$

kie S estis la nombro de ebla (simboloj, simbolas), kaj n la nombro de (simboloj, simbolas) en tradonilo. La natura unuo de informo estis pro tio la (ono, decimalo), multa poste (rebaptis, renomita) la _Hartley_ en lia onore kiel unuo aŭ (krusto, skalo) aŭ mezuri de informo. La _Hartley_ informo, H₀, estas ankaŭ ankoraŭ treege uzita kiel kvanto por la logo de la tuteca nombro de eblecoj.

Simila unuo de logo₁₀ probablo, la anatemo, kaj ĝia derivis unuo la _deciban_ (unu deka de anatemo), estis prezentita per Alan Turing en 1940 kiel parto de la statistika analitiko de la rompanta de la Germana (sekundo, dua) mondmilita Enigmo (ciferoj, ciferas). La _decibannage_ (prezentita, prezentis) la malpligrandiĝo en (la logaritmo de) la tuteca nombro de eblecoj (simila al la ŝanĝi en la _Hartley_ informo); kaj ankaŭ la logo-verŝajneca rilatumo (aŭ ŝanĝi en la pezo de indikaĵo) (tiu, ke, kiu) povis esti konkludita por unu hipotezo super alia de aro de (observadoj, observadas). La atendis ŝanĝi en la pezo de indikaĵo estas ekvivalento al kio estis poste (nomita, vokis) la _Kullback_ diskriminacia informo.

Sed suba ĉi tiu nocio estis ankoraŭ la ideo de egala a-_priori_ (probabloj, probablas), iom ol la informa enhavo de (eventoj, eventas) de neegala probablo; nek ankoraŭ (ĉiu, iu) suba bildo de (demandoj, demandas) estimanta la komunikado de tia diversa (rezultoj, rezultas).

[redaktu] Entropio en statistika mekaniko

Unu areo kie neegala (probabloj, probablas) estita ja famekonata estis statistika mekaniko, kie _Ludwig_ Boltzmann-a havis, en la ĉirkaŭteksto de lia H-teoremo de 1872, unua prezentis la kvanto

$H = - \sum f_i \log f_i$

kiel mezuri de la _breadth_ de la disvastigo de ŝtatoj havebla al sola partiklo en gaso de ŝati (partikloj, partiklas), kie f (prezentita, prezentis) la relativa frekvenca distribuo de ĉiu ebla (ŝtato, stato, stati). Boltzmann-a argumentita matematike (tiu, ke, kiu) la efiki de (kolizioj, kolizias) inter la (partikloj, partiklas) devus kaŭzo la H-funkcio al _inevitably_ (multigi, pligrandiĝo) de (ĉiu, iu) komenca konfiguro ĝis egalpezo estis atingita; kaj (identigis, identigita) ĝi kiel suba mikroskopa _rationale_ por la _macroscopic_ varmodinamika entropio de _Clausius_.

(La H-teoremo de Boltzmann-a sinsekve gvidis al ne fino de diskuto; kaj povas ankoraŭ kaŭzo aktuale (debatoj, debatas, kontestas) al la (prezenti, aktuala) tago, ofte agacis per (ĉefroluloj, ĉefrolulas) ne komprenanta (tiu, ke, kiu) ili estas (vortobatalanta, argumentanta) je kruci-(celoj, celas). La teoremo fidas sur latenta supozo, (tiu, ke, kiu) utila informo estas detruita per la (kolizioj, kolizias), kiu povas esti demandita; ankaŭ, ĝi fidas sur ne-egalpezo (ŝtato, stato, stati) estante solulita ekster kiel la komenca (ŝtato, stato, stati) (ne la fina (ŝtato, stato, stati)), kiu rompas tempa simetrio; ankaŭ, severe ĝi aplikas nur en statistika (senso, senco), nome (tiu, ke, kiu) averaĝa H-funkcio devus esti ne-malkreskanta).

Boltzmann-a's difino estis baldaŭ _reworked_ per la Amerika matematika fizikisto J. _Willard_ Gibbsa enen ĝenerala formulo por la statistika-mekanika entropio, jam ne postulanta identa kaj ne-_interacting_ (partikloj, partiklas), sed anstataŭe bazita sur la probablodistribuo p_mi por la plenumi _microstate_ mi de la tuteca sistemo:

$S = -k_B \sum p_i \ln p_i \,$

Ĉi tiu (Gibbsa) entropio de statistika mekaniko povas troviĝi al rekte esti konforma laŭ la _Clausius_'s klasika _thermodynamical_ difino, kiel esploris plui en la artikolo: Varmodinamika entropio.

_Szilard_, Lewis.

Shannon-a sin estis (evidente, aparte, videble) ne aparte konscia de la fermi simileco inter lia nova kvanto kaj la pli frua laboro en (termodinamiko, varmodinamikoj, varmodinamikas); sed John von Neumann estis. La etaĝo iras (tiu, ke, kiu) kiam Shannon-a estis decidanta kio al (voko, voki) lia nova kvanto, timanta (tiu, ke, kiu) 'informo' estis jam super-uzita, _von_ Neumann-a dirita lin firme: "Vi devus (voko, voki) ĝia entropio, por du kaŭzoj. En la unua loko via necerte funkcio havas estas uzita en statistika mekaniko sub (tiu, ke, kiu) nomo, (do, tiel) ĝi jam havas nomo. En la (sekundo, dua) loko, kaj pli grava, ne unu (reale, reele) (konas, scias) kia entropio (reale, reele) estas, (do, tiel) en (debato, debati, kontesti) vi estos ĉiam havi la avantaĝo."

[redaktu] Evoluo ekde 1948

[redaktu] Referencoj

[redaktu] La klasika papero

Shannon-a, C.E. (1948), "Matematika teorio de komunikado", Sonorila Sistema Teknika Ĵurnalo, 27, _pp_. 379–423 & 623–656, Julio & Oktobro, 1948. PDF.
(Tononomoj, Notoj, Notas) kaj alia (aranĝoj, aranĝas).

[redaktu] Alia ĵurnalo (artikoloj, artikloj)

R.V.L. _Hartley_, "Tradonilo de Informo," Sonorila Sistema Teknika Ĵurnalo, Julio 1928
J. L. _Kelly_, _Jr_., "Nova Interpretado de Informa Kurzo," Sonorila Sistema Teknika Ĵurnalo, (Volumeno, Volumo). 35, Julio 1956, _pp_. 917-26
R. _Landauer_, "Informo estas Fizika" _Proc_. Ateliero sur Fiziko kaj Kalkulado _PhysComp_'92 (IEEE _Comp_. _Sci_.Premi, _Los_ _Alamitos_, 1993) _pp_. 1-4.
R. _Landauer_, "_Irreversibility_ kaj Varma Generacio en la Komputanta Procezo" IBM J. _Res_. (Riveli, Ellabori). (Volumeno, Volumo). 5, Ne. 3, 1961

[redaktu] (Lernolibroj, Lernolibras) sur informa teorio

_Claude_ E. Shannon-a, _Warren_ Ploceedoj. La Matematika Teorio de Komunikado. _Univ_ de Ilinojo Premi, 1963. ISBN 0252725484
_Robert_ B. Cindro. Informa Teorio. (Nov-Jorkio, Novjorko): Dovero 1990. ISBN 0486665216
Tomasa Sinjoro Kovri, Ĝojo A. Tomaso. Eroj de informa teorio, 2-a Redakcio. (Nov-Jorkio, Novjorko): _Wiley_-_Interscience_, 2006. ISBN 0471241954 (venonta, al malmobiliziĝi 17-a de februaro, 2006.).
_Stanford_ _Goldman_. Informa Teorio. _Mineola_, N.Y.: Dovero 2005 ISBN 0486442713
_Fazlollah_ Sinjoro _Reza_. An Enkonduko al Informa Teorio. (Nov-Jorkio, Novjorko): Dovero 1994. ISBN 048668210
Davido J. C. _MacKay_. Informa Teorio, Konkludo, kaj Lerno (Algoritmoj, Algoritmas) Kembriĝo (Britio): Kembriĝo (Britio) Universitato Premi, 2003. ISBN 0521642981

[redaktu] Alia (libroj, mendas)

Marmeladoj _Bamford_, La Enigma Palaco, (Pingveno, Pingvino) (Libroj, Mendas), 1983. ISBN 0140067485
_Leon_ _Brillouin_, Scienco kaj Informa Teorio, _Mineola_, N.Y.: Dovero, [1956, 1962] 2004. ISBN 0486439186
W. B. _Johnson_ kaj J. _Lindenstrauss_, (redaktiloj, redaktas), Gvidlibro de la Geometrio de Banaĥo (Spacoj, Kosmoj, Spacetoj), (Volumeno, Volumo). 1. Amsterdamo: _Elsevier_ 2001. ISBN 0444828427
A. Mi. _Khinchin_, Matematikaj Fundamentoj de Informa Teorio, (Nov-Jorkio, Novjorko): Dovero, 1957. ISBN 0486604349
H. S. _Leff_ kaj A. F. _Rex_, (Redaktiloj, Redaktas), Maxwell-a's Demono: Entropio, Informo, Komputanta, Universitata Princeton Premi, _Princeton_, _NJ_ (1990). ISBN _069108727X_

[redaktu] Vidu ankaŭ jenon:

Listo de grava (eldonoj, eldonas)

[redaktu] Aplikoj

[redaktu] Historio

Templinio de informa teorio
Shannon-a, C.E.
_Yockey_, H.P.

[redaktu] Teorio

Detekta teorio
Proksumuma teorio
Fiŝista informo
Kolmogorova komplekseco

Informa entropio
Informa geometrio
Logiko de informo
_Semiotic_ informa teorio

[redaktu] Ekstera (ligoj, ligas)

Gibbsa, Sinjoro, "Kvantuma Informa Teorio", _Eprint_

_Schneider_, T., "Informa Teoria Aboco", _Eprint_

Ĵurnalo de (Kemiaĵo, Kemia) Klerigado, Miksis (Kartoj, Kartas, Diskombas), _Messy_ (Labortabloj, Labortablas), kaj _Disorderly_ _Dorm_ (Ĉambroj, Ĉambras) - (Ekzemploj, Ekzemplas) de Entropio (Multigi, Pligrandiĝo)? (Sensencaĵo, Galimatio)!

IEEE Informa Teoria Socio kaj la (revuo, recenzi) (artikoloj, artikloj).

Konektite lernolibro: Informa Teorio, Konkludo, kaj Lerno (Algoritmoj, Algoritmas), per Davido _MacKay_ - donas regalanta kaj funda enkonduko al Shannon-a teorio, inkluzivanta (ŝtato, stato, stati)-de-la-artaj manieroj de kodiga teorio, kiel aritmetika kodigo, malalta-denseco (alparo, pareco)-kontroli (kodoj, kodas, moruoj), kaj _Turbo_ (kodoj, kodas, moruoj).

Elŝutita el "http://eo.wikipedia.org../../../p/r/o/Vikipedio%7EProjekto_matematiko_Informa_teorio_e92d.html"

Kategorioj: Artikoloj por polurado kaj movo | Komunikado | Cibernetiko | Diskreta matematiko | Informa teorio

Vikipedio:Projekto matematiko/Informa teorio

El Vikipedio

Enhavo

[redaktu] Ĝenerala priskribo

[redaktu] Matematika teorio de informo

[redaktu] (Mem, Sin)-informo

[redaktu] Entropio

[redaktu] Artika entropio

[redaktu] Kondiĉa entropio (_equivocation_)

[redaktu] Reciproka informo (_transinformation_)

[redaktu] Kontinua (ekvivalentoj, ekvivalentas) de entropio

[redaktu] Kanala kapacito

[redaktu] Fonta teorio

[redaktu] Kurzo

[redaktu] Fundamenta teoremo

[redaktu] (Propozicio, Frazo, Ordono) (brui-kanala kodanta teoremo)

[redaktu] Kanala kapacito de aparta modelo (unudirektaj kanaloj, ŝaneloj, ŝanelas, kanaloj, kanalas)

[redaktu] Rilatanta (konceptoj, konceptas)

[redaktu] Mezura teorio

[redaktu] Kolmogorova komplekseco

[redaktu] Aplikoj

[redaktu] Kodiga teorio

[redaktu] Ĉifriko, Ĉifranalitiko

[redaktu] Rilato kun varmodinamika entropio

[redaktu] Kvantuma Informa Scienco

[redaktu] Detekto kaj Proksumuma Teorio

[redaktu] (Hazardludo, Vetanta)

[redaktu] Inteligenteco

[redaktu] Muziko

[redaktu] Historio

[redaktu] Antaŭ 1948

[redaktu] Kvanteca (ideoj, ideas) de informo

[redaktu] Entropio en statistika mekaniko

[redaktu] Evoluo ekde 1948

[redaktu] Referencoj

[redaktu] La klasika papero

[redaktu] Alia ĵurnalo (artikoloj, artikloj)

[redaktu] (Lernolibroj, Lernolibras) sur informa teorio

[redaktu] Alia (libroj, mendas)

[redaktu] Vidu ankaŭ jenon:

[redaktu] Aplikoj

[redaktu] Historio

[redaktu] Teorio

[redaktu] Ekstera (ligoj, ligas)

Views

Navigado

Serĉu

Aliaj lingvoj