統計獨立性
维基百科,自由的百科全书
在機率論裡,說兩個事件是獨立的,直覺上是指一事件的發生不會影響到另一事件發生的機率。例如,骰子擲出「6」的事件和其在下一次也擲出「6」的事件是相互獨立的。類似地,兩個隨機變數是獨立的,若其在另一事件給定觀測量的條件機率分佈和另一事件沒有被觀測的機率分佈是一樣的。例如,第一次擲骰子擲出的數目和第二次會出現的數目是相互獨立的。
目录 |
[编辑] 獨立事件
標準的定義為:
- 兩個事件A和B是獨立的若且唯若Pr(A ∩ B) = Pr(A)Pr(B)。
這裡,A ∩ B是A和B的交集,即為A和B兩個事件都會發生的事件。
更一般地,任意個事件都是互相獨立的若且唯若對其任一有限子集A1, ..., An,會有
- 。
這被稱為獨立事件的乘法規則。
若兩個事件A和B是獨立的,則其B給之A的條件機率和A的「無條件機率」一樣,即
- 。
至少有兩個理由可以解釋為何此一敘述不可以當做獨立性的定義:(1)A和B兩個事件在此敘述中並不對稱,及(2)當機率為0亦可包含於此敘述時,會有問題產生。
若回想條件機率Pr(A | B)的定義為
- (只要Pr(B) ≠ 0 )
則上面的敘述則會等價於
即為上面所給定的標準定義。
注意獨立性並不和它在地方話裡的有相同的意思。例如,一事件獨立於其自身若且唯若
亦即,其機率不是零就是一。因此,當一事件或其補集幾乎確定會發生,它即是獨立於其本身。例如,若事件A從單位區間的連續型均勻分佈上選了0.5,則A是獨立於其自身的,儘管重言式地,A完全決定了A。
[编辑] 獨立隨機變數
上面所定義的是事件的獨立性。在這一節中,我們將處理隨機變數的獨立性。若X是一實數值隨機變數且a是一數字的話,則X ≤ a的事件是一個事件,所以可以有意義地說它是否會獨立於其他的事件。
兩個隨機變數X和Y是獨立的若且唯若對任何數字a和b,事件[X ≤ a](X小於或等於a的事件)和[Y ≤ b]為如上面所定義的獨立事件。類似地,隨意數量的隨機變數是明確地獨立的,若對任一有限子集X1, ..., Xn和任一數字的有限子集a1, ..., an,其事件[X1 ≤ a1], ..., [Xn ≤ an]會是如上面所定義的獨立事件。
其量測可以由事件[X ∈ A]來取代上面所定義的事件[X ≤ a],其中A為任一包絡集合。此一定義完全和上述其隨機變數的值為實數的定義等價。且他有著可以作用於複值隨機變數和在任一拓撲空間中取值之隨機變數上的優點。
即使任意數目中的任二個隨機變數都是獨立的,但它們可能仍舊會無法互相獨立;這種的獨立被稱為兩兩獨立。
若X和Y是獨立的,則其期望值E會有下列的好性質:
- E[X Y] = E[X] E[Y],
且其方差會有
- var(X + Y) = var(X) + var(Y),
所以其協方差 cov(X,Y) 為零。(其相反,即若兩個隨機變數的協方差為0,則它們必為獨立的假設是不正確的。見無相關。)
此外,具有分佈函數FX(x) 及 FY(y)和機率密度fX(x) 及 fY(y)的隨機變數X和Y為獨立的,若且唯若其相結合的隨機變數(X,Y)有一共同分佈
-
- FX,Y(x,y) = FX(x)FY(y),
或等價地,有一共同密度
-
- fX,Y(x,y) = fX(x)fY(y).
類似的表示式亦可以用來兩個以上的隨機變數上。
[编辑] 條件獨立隨機變數
Main article: 條件獨立性
Intuitively, two random variables X and Y are conditionally independent given Z if, once Z is known, the value of Y does not add any additional information about X. For instance, two measurements X and Y of the same underlying quantity Z are not independent, but they are conditionally independent given Z (unless the errors in the two measurements are somehow connected).
The formal definition of conditional independence is based on the idea of conditional distributions. If X, Y, and Z are discrete random variables, then we define X and Y to be conditionally independent given Z if
- P(X ≤x, Y ≤y | Z ≤z) = P(X ≤x | Z ≤ z) · P(Y ≤ y | Z ≤ z)
for all x, y and z such that P(Z ≤ z) > 0. On the other hand, if the random variables are continuous and have a joint probability density function p, then X and Y are conditionally independent given Z if
- pXY|Z(x, y | z) = pX|Z(x | z) · pY|Z(y | z)
for all real numbers x, y and z such that pZ(z) > 0.
If X and Y are conditionally independent given Z, then
- P(X = x | Y = y, Z = z) = P(X = x | Z = z)
for any x, y and z with P(Z = z) > 0. That is, the conditional distribution for X given Y and Z is the same as that given Z alone. A similar equation holds for the conditional probability density functions in the continuous case.
Independence can be seen as a special kind of conditional independence, since probability can be seen as a kind of conditional probability given no events.
[编辑] 另見
- 耦合
- 獨立且同態隨機變數
[编辑] 書籍
- Kirby Faciane (2006). Statistics for Empirical and Quantitative Finance. H.C. Baird: Philadelphia. ISBN 0978820894.