Konvergence náhodných proměnných

V teorii pravděpodobnosti existuje několik různých pojmů konvergence náhodných proměnných. Konvergence posloupnosti náhodných proměnných k nějaké limitní náhodné proměnné je důležitým konceptem v teorii pravděpodobnosti, a v jejích aplikacích na statistiku a náhodné procesy. Stejné koncepty jsou známy v matematice obecněji jako stochastická konvergence a formalizují očekávání, že chování posloupnosti v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit do formy, která se v zásadě nemění, když zkoumáme položky, které jsou v posloupnosti dostatečně daleko. Různé typy konvergence se odvíjejí od toho, jak lze takové chování charakterizovat: dva snadno představitelné případy jsou, že posloupnost začne být od určitého členu konstantní, nebo že hodnoty posloupnosti se budou dále měnit, ale bude možné je popsat nějakým pevným rozdělením pravděpodobnosti.

Pozadí

„Stochastická konvergence“ formalizuje myšlenku, že můžeme očekávat, že posloupnost v zásadě náhodných nebo nepředpověditelných událostí se někdy může ustálit a vyhovovat určitému vzoru. Tímto vzorem může například být

• Konvergence v klasickém smyslu k pevné hodnotě, která snad vychází z náhodné události
• Rostoucí podobnost výsledků s tím, co by produkovala čistě deterministická funkce
• Rostoucí preference k určitému výsledku
• Rostoucí „odpor“ proti odchylce od určitého výsledku
• Že rozdělení pravděpodobnosti popisující další výsledek se může postupně stále více podobat určitému rozdělení

K méně zjevným, teoretičtějším, vzorům patří

• Že posloupnost středních hodnot vzdáleností výsledku od určité hodnoty může konvergovat k 0
• Že rozptyl náhodné veličiny popisující další událost se zmenšuje.

Tyto další typy vzorů, které se mohou objevit, jsou popsány různými typy stochastické konvergence, které se zkoumají.

Zatímco výše uvedená diskuze se týkala konvergence jedné posloupnosti k limitní hodnotě, důležitý je také pojem konvergence dvou posloupností k sobě navzájem. Ten však lze snadno převést na studium posloupnosti definované jako rozdíl anebo poměr dvou posloupností.

Pokud je například průměr n statisticky nezávislých náhodných proměnných Y_i, i = 1, ..., n, které všechny mají stejnou konečnou střední hodnotu a rozptyl, popsán vztahem

${\displaystyle X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,}$

pak, když se n blíží k nekonečnu, konverguje X_n v pravděpodobnosti (viz níže) ke společné střední hodnotě μ, náhodných proměnných Y_i. Tento výsledek je znám jako „slabý zákon velkých čísel“. Jiné formy konvergence jsou důležité v jiných užitečných větách, včetně centrální limitní věty.

V následujícím textu předpokládáme, že (X_n) je posloupnost náhodných proměnných a X je náhodná proměnná, přičemž všechny jsou definované na stejném pravděpodobnostním prostoru ${\displaystyle (\Omega ,{\mathcal {F}},\operatorname {Pr} )}$.

Konvergence v rozdělení

Továrna na házecí kostky
Předpokládejme, že byla postavena továrna na výrobu házecích kostek. První vyrobené kostky byly kvůli nepřesnostem při výrobě dost nepoctivé. Výsledek hodu libovolnou z nich odpovídá rozdělení, které se značně odlišuje od požadovaného rovnoměrného rozdělení. Jak se výrobní proces zlepšuje, kostky jsou stále lepší, a výsledky vrhu s nově vyrobenými kostkami odpovídají rovnoměrného rozdělení stále lépe.
Hod mincí
Nechť Xn je podíl hlav po n hodech poctivou mincí. Pak náhodná proměnná X1 má alternativní rozdělení s očekávanou hodnotou μ = 0.5 a variancí σ2= 0.25. Následující náhodné proměnné X2, X3, ... budou mít všechny binomické rozdělení. Pokud se n zvětšuje, toto rozdělení bude postupně nabývat tvaru, který se stále více podobá normálnímu rozdělení. Pokud Xn vhodným způsobem posuneme a přeškálujeme, pak ${\displaystyle \scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu )}$ bude konvergovat v distribuci ke standardnímu normálnímu rozdělení, což je výsledek, který odpovídá oslavované centrální limitní větě.
Grafický příklad
Předpokládejme, že {Xi} je posloupnost nezávislých stejně rozdělených náhodných veličin s rovnoměrným rozdělením U(−1, 1). Nechť ${\displaystyle \scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}}$ jsou jejich (normalizované) sumy. Pak podle centrální limitní věty rozdělení proměnných Zn se blíží normálnímu rozdělení ${\displaystyle N(0,{\frac {1}{3}})}$. Tato konvergence je ukázána na obrázku: s rostoucím n se tvar funkce hustoty rozdělení blíží Gaussově křivce.

U tohoto typu konvergence stále více očekáváme, že uvidíme, že další výsledek v posloupnosti náhodných pokusů budou lépe modelovat daným rozdělením pravděpodobnosti.

Konvergence v rozdělení je nejslabším z typů konvergence se kterými se běžně pracuje, protože vyplývá ze všech dalších typů konvergence, které popisuje tento článek. Konvergence v rozdělení se však často používá v praxi; nejčastěji se objevuje při použití centrální limitní věty.

Definice

O posloupnosti X₁, X₂, ... reálných náhodných proměnných řekneme, že konverguje v rozdělení nebo konverguje slabě nebo konverguje v zákoně k náhodné proměnné X, pokud

${\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x),}$

pro každou hodnotu ${\displaystyle x\in \mathbb {R} ,}$ v níž je funkce F spojitá. F_n a F jsou distribuční funkce náhodných proměnných X_n, resp. X.

Požadavek, uvažovat pouze body, v nichž je funkce F spojitá, je nutný. Pokud například X_n mají rovnoměrné rozdělení na intervalech ${\displaystyle (0,{\frac {1}{n}})}$, pak tato posloupnost konverguje v rozdělení k degenerované náhodné proměnné ${\displaystyle X=0}$. Protože ${\displaystyle F_{n}(x)=0}$ pro všechna n, když x ≤ 0, a F_n(x) = 1 pro všechna ${\displaystyle x\geq {\frac {1}{n}}}$ když n > 0. Ale, pro tuto limitní náhodnou proměnnou F(0) = 1, přestože F_n(0) = 0 pro všechna n. Konvergence distribuční funkce tedy selže v bodě x = 0, kde je funkce F nespojitá.

Konvergence v rozdělení se značí

${\displaystyle X_{n}{\xrightarrow {d}}X}$ ${\displaystyle X_{n}\xrightarrow {\mathcal {D}} X,}$ ${\displaystyle X_{n}\xrightarrow {\mathcal {L}} X,}$ ${\displaystyle X_{n}\xrightarrow {d} {\mathcal {L}}_{X},}$ ${\displaystyle X_{n}\rightsquigarrow X,}$ ${\displaystyle X_{n}\Rightarrow X,}$ ${\displaystyle {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),}$

(Vzorec 1)

kde ${\displaystyle \scriptstyle {\mathcal {L}}_{X}}$ je zákon (rozdělení pravděpodobnosti) proměnné X. Pokud například X je standardní normální rozdělení, můžeme psát ${\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)}$.

Pro náhodné vektory {X₁, X₂, ...} ⊂ R^k je konvergence v rozdělení definována podobně. Říkáme, že tato posloupnost konverguje v rozdělení k náhodnému k-vektoru X pokud

${\displaystyle \lim _{n\to \infty }\operatorname {Pr} (X_{n}\in A)=\operatorname {Pr} (X\in A)}$

pro každé A ⊂ R^k, které je množinou spojitosti proměnné X.

Definice konvergence v rozdělení může být rozšířena z náhodných vektorů na obecnější náhodné prvky v libovolných metrických prostorech, a dokonce i na „náhodné proměnné“, které nejsou měřitelné, což je situace, která se objevuje například při studiu empirických procesů. To je „slabá konvergence rozdělení bez toho, že by rozdělení bylo definováno jinak než asymptoticky“.^[1]

V tomto případě je vhodnější termín slabá konvergence (viz slabá konvergence míry), a říkáme, že posloupnost náhodných prvků {X_n} konverguje slabě k X (značíme X_n ⇒ X), pokud

${\displaystyle \operatorname {E} ^{*}h(X_{n})\to \operatorname {E} \,h(X)}$

pro všechny spojité omezené funkce h.^[2] E* zde označuje vnější očekávanou hodnotu, což je očekávaná hodnota „nejmenší měřitelné funkce g, která dominuje h(X_n)“.

Vlastnosti

• Protože F(a) = Pr(X ≤ a), konvergence v rozdělení znamená, že pravděpodobnost X_n je v daném rozsahu přibližně rovna pravděpodobnosti, že hodnota X je v tomto rozsahu, za předpokladu, že n je dostatečně velké.
• Konvergence v rozdělení obecně neznamená, že posloupnost odpovídajících hustot pravděpodobnosti bude také konvergovat. Jako příklad můžeme uvažovat náhodné proměnné s hustotami f_n(x) = (1 + cos(2πnx))1_(0,1). Tyto náhodné proměnné konvergují v rozdělení k rovnoměrnému rozdělení U(0, 1), zatímco jejich hustoty nekonverguje vůbec.^[3]
  • Ale, podle Schefféovys věty, konvergence hustot pravděpodobností implikuje konvergenci v rozdělení.^[4]
• Portmanteauovo lemma poskytuje několik ekvivalentních definic konvergence v rozdělení. Tyto definice jsou sice méně intuitivní, ale používají se pro důkaz několika statistických vět. Lemma říká, že {X_n} konverguje v rozdělení k X právě tehdy, když je splněno libovolné z následujících tvrzení:^[5]
  • ${\displaystyle \Pr(X_{n}\leq x)\to \Pr(X\leq x)}$ pro všechny body spojitosti funkce ${\displaystyle x\mapsto \Pr(X\leq x)}$;
  • ${\displaystyle \operatorname {E} f(X_{n})\to \operatorname {E} f(X)}$ pro všechny omezené, spojité funkce ${\displaystyle f}$ (kde ${\displaystyle \operatorname {E} }$ označuje operátor střední hodnoty);
  • ${\displaystyle \operatorname {E} f(X_{n})\to \operatorname {E} f(X)}$ pro všechny omezené Lipschitzovské funkce ${\displaystyle f}$;
  • ${\displaystyle \lim \inf \operatorname {E} f(X_{n})\geq \operatorname {E} f(X)}$ pro všechny nezáporné spojité funkce ${\displaystyle f}$;
  • ${\displaystyle \lim \inf \Pr(X_{n}\in G)\geq \Pr(X\in G)}$ pro každou otevřenou množinu ${\displaystyle G}$;
  • ${\displaystyle \lim \sup \Pr(X_{n}\in F)\leq \Pr(X\in F)}$ pro každou uzavřenou množinu ${\displaystyle F}$;
  • ${\displaystyle \Pr(X_{n}\in B)\to \Pr(X\in B)}$ pro všechny množiny spojitosti ${\displaystyle B}$ náhodné proměnné ${\displaystyle X}$;
  • ${\displaystyle \limsup \operatorname {E} f(X_{n})\leq \operatorname {E} f(X)}$ pro každou shora polospojitou funkci ${\displaystyle f}$ omezenou shora;^[zdroj?]
  • ${\displaystyle \liminf \operatorname {E} f(X_{n})\geq \operatorname {E} f(X)}$ pro každou zdola polospojitou funkci ${\displaystyle f}$ omezenou zdola.^[zdroj?]
• Věta o spojitém zobrazení říká, že pro spojité funkce g, pokud posloupnost {X_n} konverguje v rozdělení k X, pak {g(X_n)} konverguje v rozdělení k g(X).
  • Všimněte si však, že konvergence v rozdělení proměnné {X_n} k X a {Y_n} k Y obecně neznamená konvergenci v rozdělení {X_n + Y_n} k X + Y nebo {X_nY_n} k XY.
• Lévyho věta o spojitosti: posloupnost {X_n} konverguje v rozdělení k X právě tehdy, když posloupnost odpovídajících charakteristických funkcí {φ_n} konverguje bodově k charakteristické funkci φ proměnné X.
• Konvergence v rozdělení je metrizovatelná pomocí Lévyho–Prochorovovy metriky.
• Přirozený odkaz na konvergenci v rozdělení je Skorochodova věta o reprezentaci.

Konvergence v pravděpodobnosti

Výška osoby
Uvažujme následující experiment. Nejdříve vybereme na ulici náhodnou osobu. Nechť X je její výška, což je ex ante náhodná proměnná. Pak požádáme ostatní lidi, aby tuto výšku odhadli od oka. Nechť Xn je průměr prvních n odpovědí. Pak (za předpokladu, že není žádná chyba měření) podle zákona velkých čísel bude posloupnost Xn konvergovat v pravděpodobnosti k náhodné proměnné X.
Předvídání generovaných náhodných čísel
Předpokládejme, že generátor náhodných čísel generuje pseudonáhodná reálná čísla z intervalu ${\displaystyle \langle 0,1\rangle }$. Nechť náhodná proměnná X reprezentuje rozdělení možných výsledků generátoru. Protože pseudonáhodné číslo se generuje deterministicky, jeho další hodnota není skutečně náhodná. Předpokládejme, že jak pozorujeme posloupnost náhodně generovaných čísel, můžeme zjistit nějaký vzor a stále přesněji predikovat, jaké bude následující náhodně generované číslo. Nechť Xn je náš odhad hodnoty následujících náhodných čísel po pozorování prvních n náhodných čísel. Jak se učíme vzor a naše odhady se stanou přesnějšími, bude rozdělení proměnné Xn nejen konvergovat k rozdělení proměnné X, ale výsledky Xn budou také konvergovat k výsledkům X.

Základní myšlenka za tímto typem konvergence je, že pravděpodobnost „neobvyklého“ výsledku se s prodlužováním posloupnosti zmenšuje.

Koncept konvergence v pravděpodobnosti se používá velmi často ve statistice. Například odhad se nazývá konzistentní, pokud konverguje v pravděpodobnosti k hodnotě, která je odhadována. Konvergence v pravděpodobnosti je také typem konvergence, která se používá v zákonu velkých čísel.

Definice

Posloupnost {X_n} náhodných proměnných konverguje v pravděpodobnosti k náhodné proměnné X, pokud pro všechna ε > 0

${\displaystyle \lim _{n\to \infty }\Pr {\big (}|X_{n}-X|>\varepsilon {\big )}=0.}$

Podrobněji: nechť P_n(ε) je pravděpodobnost, že X_n je mimo kouli o poloměru ε se středem v X. Pak o posloupnosti X_n řekneme, že konverguje v pravděpodobnosti k X, pokud pro jakékoli ε > 0 a jakékoli δ > 0 existuje číslo N (které může záviset na ε a δ) takové, že pro všechna n ≥ N, P_n(ε) < δ (definice limity).

Všimněte si, že aby podmínka byla splněna, není možné, aby pro každé n byly náhodné proměnné X a X_n nezávislé (a tedy konvergence v pravděpodobnosti je podmínkou na sdružené distribuční funkce, čímž se liší od konvergence v rozdělení, která je podmínkou na jednotlivé distribuční funkce), pokud žádné X není deterministické jako pro slabý zákon velkých čísel. Zároveň případ deterministického X nemůže být, když je deterministickou hodnotou (neizolovaný) bod diskontinuity, proveden na konvergenci v rozdělení, kde body diskontinuity musejí být explicitně vynechané.

Konvergence v pravděpodobnosti se značí písmenem p nad šipkou značící konvergenci nebo pomocí operátoru „plim“ pravděpodobnostní limity:

${\displaystyle X_{n}\ \xrightarrow {p} \ X,\ \ X_{n}\ \xrightarrow {P} \ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X.}$

(Vzorec 2)

Pro náhodné prvky {X_n} na separabilním prostoru (S, d) je konvergence v pravděpodobnosti definována podobně vztahem^[6]

${\displaystyle \forall \varepsilon >0,\Pr {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.}$

Vlastnosti

• Konvergence v pravděpodobnosti implikuje konvergence v rozdělení.^[důkaz]
• V opačném směru konvergence v rozdělení implikuje konvergenci v pravděpodobnosti, když limitní náhodná proměnná X je konstanta.^[důkaz]
• Konvergence v pravděpodobnosti neznamená konvergenci skoro jistě.^[důkaz]
• Věta o spojitém zobrazení říká, že pro každou spojitou funkci g(·), pokud ${\textstyle X_{n}\xrightarrow {p} X}$, pak také ${\textstyle g(X_{n})\xrightarrow {p} g(X)}$.
• Konvergence v pravděpodobnosti definuje topologii na prostoru náhodných proměnných nad pevným pravděpodobnostním prostorem. Toto topologie je metrizovatelná Ky Fanovou metrikou:^[7]
  $${\displaystyle d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \Pr {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}},}$$

  
  případně metrikou
  $${\displaystyle d(X,Y)=\mathbb {E} \left\langle \min(|X-Y|,1)\right\rangle .}$$

  

Konvergence skoro jistě

Příklad 1
Uvažujme živočicha nějakého krátce žijícího druhu. Budeme zaznamenávat množství potravy, kterou tento živočich spotřebuje za den. Tato posloupnost čísel bude nepredikovatelná, ale můžeme si být skoro jisti, že někdy nabyde hodnoty nula a od této chvíle bude nulová.
Příklad 2
Předpokládejme, že nějaký člověk provede každé ráno hod 7 mincemi. Každé odpoledne pošle za každou padlou hlavu jednu libru na charitu. Když však padne sedm orlů, skončí. Nechť X1, X2, … je denní částka, kterou od něj charita dostala. Jsme si skoro jisti, že jednoho dne tato částka bude nula, a od té doby bude nula trvale. Pokud však uvažujeme libovolný konečný počet dní, je nenulová pravděpodobnost, že ukončující podmínka nenastane.

Tento typ stochastické konvergence se nejvíce podobá bodové konvergenci používané v elementární reálné analýze.

Definice

Řekneme, že posloupnost X_n konverguje skoro jistě nebo skoro všude nebo s pravděpodobností 1 nebo silně k X, pokud

${\displaystyle \operatorname {Pr} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.}$

To znamená, že hodnoty X_n se blíží k hodnotě X, v tom smyslu (viz skoro jistě), že jevy, pro které X_n nekonverguje k X mají pravděpodobnost 0. Pokud použijeme pravděpodobnostní prostor ${\displaystyle (\Omega ,{\mathcal {F}},\operatorname {Pr} )}$ a koncept náhodné proměnné jako funkce z Ω do R, je tato definice ekvivalentní s

${\displaystyle \operatorname {Pr} {\Big (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Big )}=1.}$

Pomocí pojmu limes superior posloupnosti množin můžeme konvergenci skoro jistě definovat také takto:

${\displaystyle \operatorname {Pr} {\Big (}\limsup _{n\to \infty }{\big \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\big \}}{\Big )}=0\quad {\text{for all}}\quad \varepsilon >0.}$

Konvergence skoro jistě se často označuje přidáním písmen s.j. (anglicky a.s., almost sure) nad šipku značící konvergenci:

${\displaystyle {\overset {}{X_{n}\,\xrightarrow {\mathrm {s.j.} } \,X.}}}$

(Vzorec 3)

Pro obecné náhodné prvky {X_n} na metrickém prostoru ${\displaystyle (S,d)}$ je konvergence skoro jistě definována podobně:

${\displaystyle \operatorname {Pr} {\Big (}\omega \in \Omega :\,d{\big (}X_{n}(\omega ),X(\omega ){\big )}\,{\underset {n\to \infty }{\longrightarrow }}\,0{\Big )}=1}$

Vlastnosti

• Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti (podle Fatouova lemmatu), a tedy implikuje konvergenci v rozdělení. Je to pojem konvergence používaný v silném zákonu velkých čísel.
• Koncept konvergence skoro jistě nepochází z topologie na prostoru náhodných proměnných. To znamená, že na prostoru náhodných proměnných neexistuje žádná topologie taková, že skoro jistě konvergentní posloupnosti podle této topologie konvergují přesně. Speciálně neexistuje žádná metrika konvergence skoro jistě.

Jistá konvergence nebo bodová konvergence

Řekneme, že posloupnost náhodných veličin (X_n) definovaných na stejném pravděpodobnostním prostoru (tj. náhodný proces) konverguje jistě nebo všude nebo bodově k X pokud

kde Ω je prostor elementárních jevů podkladových Pravděpodobnostní prostor, na němž jsou náhodné proměnné definované.

Jedná se o rozšíření pojmu bodové konvergence posloupnosti funkcí na posloupnost náhodných veličin. (Náhodné veličiny samy o sobě jsou funkcemi).

Jistá konvergence náhodné proměnné implikuje všechny další druhy konvergence uvedené výše, ale v teorii pravděpodobnosti nepřináší jistá konvergence žádnou výhodu v porovnání s konvergencí skoro jistě. Tyto dva druhy konvergence se liší pouze na množinách míry nula. To je důvodem, proč se koncept jisté konvergence náhodných proměnných používá velmi zřídka.

Konvergence ve střední hodnotě

Je-li dáno reálné číslo r ≥ 1, pak řekneme, že posloupnost X_n konverguje v r-té střední hodnotě (nebo v L^r-normě) k náhodné proměnné X, pokud existují r-té absolutní momenty E(|X_n|^r ) a E(|X|^r ) proměnných X_n a X, a

${\displaystyle \lim _{n\to \infty }\operatorname {E} \left(|X_{n}-X|^{r}\right)=0,}$

kde operátor E označuje střední hodnotu. Konvergence v r-té střední hodnotě nám říká, že očekávaná hodnota r-té mocniny rozdílu mezi ${\displaystyle X_{n}}$ a ${\displaystyle X}$ konverguje k nule.

Tento typ konvergence se obvykle značí písmenem L^r nad šipkou značící konvergenci:

${\displaystyle {\overset {}{X_{n}\,{\xrightarrow {L^{r}}}\,X.}}}$

(Vzorec 4)

Nejdůležitější případy konvergence v r-té střední hodnotě jsou:

• Když X_n konverguje v r-té střední hodnotě k X pro r = 1, říkáme, že X_n konverguje ve střední hodnotě k X.
• Když X_n konverguje v r-té střední hodnotě k X pro r = 2, říkáme, že X_n konverguje ve čtverci střední hodnoty (nebo v kvadratická střední hodnotě) k X.

Konvergence v r-té střední hodnotě, pro r ≥ 1, implikuje konvergenci v pravděpodobnosti (podle Markovovy nerovnosti). Pokud navíc platí, že r > s ≥ 1, konvergence v r-té střední hodnotě implikuje konvergenci v s-té střední hodnotě. Konvergence ve čtverci střední hodnoty tedy implikuje konvergenci ve střední hodnotě.

Stojí za to také zmínit, že pokud

${\displaystyle {\overset {}{X_{n}\xrightarrow {L^{r}} X}},}$

pak

${\displaystyle \lim _{n\to \infty }E[|X_{n}|^{r}]=E[|X|^{r}]}$

Vlastnosti

Za předpokladu, že pravděpodobnostní prostor je úplný:

• Pokud ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ a ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$, pak ${\displaystyle X=Y}$ skoro jistě.
• Pokud ${\displaystyle X_{n}\ \xrightarrow {\overset {}{\text{s.j.}}} \ X}$ a ${\displaystyle X_{n}\ \xrightarrow {\overset {}{\text{s.j.}}} \ Y}$, pak ${\displaystyle X=Y}$ skoro jistě.
• Pokud ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ a ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$, pak ${\displaystyle X=Y}$ skoro jistě.
• Pokud ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X}$ a ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y}$, pak ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{p}}}\ aX+bY}$ (pro jakákoli reálná čísla a a b) a ${\displaystyle X_{n}Y_{n}{\xrightarrow {\overset {}{p}}}\ XY}$.
• Pokud ${\displaystyle X_{n}\ \xrightarrow {\overset {}{\text{s.j.}}} \ X}$ a ${\displaystyle Y_{n}\ \xrightarrow {\overset {}{\text{s.j.}}} \ Y}$, pak ${\displaystyle aX_{n}+bY_{n}\ \xrightarrow {\overset {}{\text{s.j.}}} \ aX+bY}$ (pro jakákoli reálná čísla a a b) a ${\displaystyle X_{n}Y_{n}\xrightarrow {\overset {}{\text{s.j.}}} \ XY}$.
• Pokud ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ X}$ a ${\displaystyle Y_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ Y}$, pak ${\displaystyle aX_{n}+bY_{n}\ {\xrightarrow {\overset {}{L^{r}}}}\ aX+bY}$ (pro jakákoli reálná čísla a a b).
• Žádné z výše uvedených tvrzení neplatí pro konvergenci v rozdělení.

Implikace mezi různými pojmy konvergence jsou uvedeny v částech o jednotlivých typech konvergence. Platí následující:

${\displaystyle {\begin{matrix}\xrightarrow {\overset {}{L^{s}}} &{\underset {s>r\geq 1}{\Rightarrow }}&\xrightarrow {\overset {}{L^{r}}} &&\\&&\Downarrow &&\\\xrightarrow {\text{s.j.}} &\Rightarrow &\xrightarrow {p} &\Rightarrow &\xrightarrow {d} \end{matrix}}}$

Tyto vlastnosti, spolu s několika dalšími speciálními případy, jsou shrnuty v následujícím seznamu:

• Konvergence skoro jistě implikuje konvergenci v pravděpodobnosti:^[8][důkaz]

  ${\displaystyle X_{n}\ \xrightarrow {\text{s.j.}} \ X\quad \Rightarrow \quad X_{n}\ \xrightarrow {\overset {}{p}} \ X}$

• Konvergence v pravděpodobnosti implikuje existenci podposloupnosti ${\displaystyle (n_{k}),}$ která konverguje skoro jistě:^[9]

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n_{k}}\ \xrightarrow {\text{s.j.}} \ X}$

• Konvergence v pravděpodobnosti implikuje konvergenci v rozdělení:^[8][důkaz]

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{p}} \ X\quad \Rightarrow \quad X_{n}\ \xrightarrow {\overset {}{d}} \ X}$

• Konvergence v r-tém řádu střední hodnoty implikuje konvergenci v pravděpodobnosti:

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{L^{r}}} \ X\quad \Rightarrow \quad X_{n}\ \xrightarrow {\overset {}{p}} \ X}$

• Konvergence v r-tém řádu střední hodnoty implikuje konvergenci v nižším řádu střední hodnoty za předpokladu, že oba řády jsou větší nebo rovny jedné:

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{L^{r}}} \ X\quad \Rightarrow \quad X_{n}\ \xrightarrow {\overset {}{L^{s}}} \ X,}$ za předpokladu, že r ≥ s ≥ 1.

• Pokud X_n konverguje v rozdělení ke konstantě c, pak X_n konverguje také v pravděpodobnosti k c:^[8][důkaz]

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {\overset {}{p}}}\ c,}$ za předpokladu, že c je konstanta.

• Pokud X_n konverguje v rozdělení k X a rozdíl mezi X_n a Y_n konverguje v pravděpodobnosti k nule, pak Y_n také konverguje v rozdělení k X:^[8][důkaz]

  ${\displaystyle X_{n}\ \xrightarrow {\overset {}{d}} \ X,\ \ |X_{n}-Y_{n}|\ \xrightarrow {\overset {}{p}} \ 0\ \quad \Rightarrow \quad Y_{n}\ \xrightarrow {\overset {}{d}} \ X}$

• Pokud X_n konverguje v rozdělení k X a Y_n konverguje v rozdělení ke konstantě c, pak sdružený vektor (X_n, Y_n) konverguje v rozdělení k (X, c): ^[8][důkaz]

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{d}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{d}}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{d}}}\ (X,c)}$ za předpokladu, že c je konstanta.

  Všimněte si, že podmínka, že Y_n konverguje ke konstantě, je důležitá, pokud by Y_n konvergovala k náhodné proměnné Y, pak bychom nebyli schopni dojít k závěru, že (X_n, Y_n) konverguje k (X, Y).

• Pokud X_n konverguje v pravděpodobnosti k X a Y_n konverguje v pravděpodobnosti k Y, pak sdružený vektor (X_n, Y_n) konverguje v pravděpodobnosti k (X, Y): ^[8][důkaz]

  ${\displaystyle X_{n}\ {\xrightarrow {\overset {}{p}}}\ X,\ \ Y_{n}\ {\xrightarrow {\overset {}{p}}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {\overset {}{p}}}\ (X,Y)}$

• Pokud X_n konverguje v pravděpodobnosti k X, a, pokud ${\displaystyle P(|X_n|\leq b)=1}$ pro všechna n a nějaké b, pak X_n konverguje v r-té střední hodnotě k X pro všechna r ≥ 1. Jinými slovy, pokud X_n konverguje v pravděpodobnosti k X a všechny náhodné proměnné X_n jsou skoro jistě omezené výše a níže pak X_n konverguje k X také v jakékoli r-té střední hodnotě.^[10]
• Skoro jistá reprezentace. Konvergence v rozdělení obvykle neznamená konvergenci skoro jistě. Ale pro danou posloupnost {X_n}, která konverguje v rozdělení k X₀ je vždy možné najít jiný pravděpodobnostní prostor (Ω, F, P) a náhodné proměnné {Y_n, n = 0, 1, ...} na něm definované takové, že Y_n jsou v rozdělení rovny X_n pro každé n ≥ 0, a Y_n konverguje k Y₀ skoro jistě.^[11][12]
• Pokud pro všechna ε > 0,

  ${\displaystyle \sum _{n}\mathbb {P} \left(|X_{n}-X|>\varepsilon \right)<\infty ,}$

  pak říkáme, že X_n konverguje téměř úplně nebo téměř v pravděpodobnosti k X. Když X_n konverguje téměř úplně k X pak také konverguje skoro jistě k X. Jinými slovy, pokud X_n konverguje v pravděpodobnosti k X dostatečně rychle (tj. výše uvedenou posloupnost ocasních pravděpodobností lze sčítat pro všechna ε > 0), pak X_n také konverguje skoro jistě k X. To je přímým důsledkem Borelova–Cantelliho lemmatu.

• Pokud S_n je suma n reálných nezávislých náhodných proměnných:

  ${\displaystyle S_{n}=X_{1}+\cdots +X_{n}\,}$

  pak S_n konverguje skoro jistě právě tehdy, když S_n konverguje v pravděpodobnosti.

• Lebesgueova věta dává postačující podmínky, aby z konvergence skoro jistě plynula konvergence L¹:

${\displaystyle \left.{\begin{matrix}X_{n}\xrightarrow {\overset {}{\text{s.j.}}} X\\|X_{n}|<Y\\\mathrm {E} (Y)<\infty \end{matrix}}\right\}\quad \Rightarrow \quad X_{n}\xrightarrow {L^{1}} X}$

(Vzorec 5)

• Nutná a postačující podmínka pro L¹ konvergenci je ${\displaystyle X_{n}{\xrightarrow {\overset {}{P}}}X}$ a aby posloupnost (X_n) byla stejnoměrně integrovatelná.

Odkazy

Poznámky

Reference

V tomto článku byl použit překlad textu z článku Convergence of random variables na anglické Wikipedii.

Literatura

• BICKEL, Peter J.; KLAASSEN, Chris A.J.; RITOV, Ya’acov; WELLNER, Jon A., 1998. Efficient and adaptive estimation for semiparametric models. New York: Springer-Verlag. ISBN 978-0-387-98473-5. 
• BILLINGSLEY, Patrick, 1986. Probability and Measure. 2. vyd. [s.l.]: Wiley. (Wiley Series in Probability and Mathematical Statistics). 
• BILLINGSLEY, Patrick, 1999. Convergence of probability measures. 2. vyd. [s.l.]: John Wiley & Sons. Dostupné online. ISBN 978-0-471-19745-4. S. 1–28. 
• DUDLEY, R.M., 2002. Real analysis and probability. Cambridge, UK: Cambridge University Press. ISBN 978-0-521-80972-6. 
• FRISTEDT, Bert; GRAY, Lawrence, 1997. A Modern Approach to Probability Theory. New York: Springer Science+Business Media. ISBN 978-1-4899-2837-5. DOI 10.1007/978-1-4899-2837-5. 
• GRIMMETT, G.R.; STIRZAKER, D.R., 1992. Probability and random processes. 2. vyd. [s.l.]: Clarendon Press, Oxford. Dostupné online. ISBN 978-0-19-853665-9. S. 271–285. 
• JACOBSEN, M., 1992. Videregående Sandsynlighedsregning (Advanced Probability Theory). 2. vyd. [s.l.]: HCØ-tryk, Copenhagen. ISBN 978-87-91180-71-2. S. 18–20. 
• LEDOUX, Michel; TALAGRAND, Michel, 1991. Probability in Banach spaces. Berlin: Springer-Verlag. ISBN 978-3-540-52013-9. S. xii+480. 
• ROMANO, Joseph P.; SIEGEL, Andrew F., 1985. Counterexamples in probability and statistics. Great Britain: Chapman & Hall. ISBN 978-0-412-98901-8. 
• GRIMMETT, Geoffrey R.; STIRZAKER, David R., 2020. Probability and Random Processes. 4. vyd. [s.l.]: Oxford University Press. ISBN 978-0-198-84760-1. 
• VAN DER VAART, Aad W.; WELLNER, Jon A., 1996. Weak convergence and empirical processes. New York: Springer-Verlag. ISBN 978-0-387-94640-5. 
• VAN DER VAART, Aad W., 1998. Asymptotic statistics. New York: Cambridge University Press. ISBN 978-0-521-49603-2. 
• WILLIAMS, D., 1991. Probability with Martingales. [s.l.]: Cambridge University Press. ISBN 978-0-521-40605-5. 
• WONG, E.; HÁJEK, B., 1985. Stochastic Processes in Engineering Systems. New York: Springer–Verlag. 
• https://www.ma.utexas.edu/users/gordanz/notes/weak.pdf
• Tento článek obsahuje materiál z článku „Stochastic convergence“ na webu Citizendium, který je licencován podle Creative Commons Attribution-ShareAlike 3.0 Unported License, ne však podle GFDL.

Související články

• Důkazy konvergence náhodných proměnných
• Konvergence měr
• Konvergence v míře
• Spojitý stochastický proces: otázka spojitosti náhodného procesu je v zásadě otázkou konvergence, a mnoho stejných konceptů a vztahů používaných výše se vztahuje na otázky spojitosti.
• Asymptotické rozdělení
• Velké O v pravděpodobnostní notaci
• Skorochodova věta o reprezentaci
• Tweedieova věta o konvergenci
• Cramérova-Sluckého věta
• Věta o spojitém zobrazení

Externí odkazy

• Kniha Econometric Theory/Asymptotic Convergence ve Wikiknihách