Некоррелированные и независимые связанные но не эквивалентные; Математическая цитадель

Математическая цитадель.

НАУЧНАЯ ФИРМА.

Некоррелированные и независимые: связанные, но не эквивалентные.

Математика известна своим непоколебимым стремлением к точности определений и утверждений. Однако, когда слова взяты из английского языка и даны жесткие математические определения, коннотации и разговорная речь за пределами математики все еще остаются. Это может привести к взаимозаменяемому использованию неизменных математических терминов, даже если математические определения не эквивалентны. Это часто случается с вероятностью и статистикой, особенно с понятиями некоррелированного и независимого. В этом посте мы сосредоточим внимание на точном значении обоих этих слов и на том, как они связаны, но не эквивалентны..

Независимость.

Сначала дадим формальное определение независимости:

Определение (независимость от случайных величин) .

Две случайные величины X и Y независимы, если совместное распределение вероятностей P (X, Y) может быть записано как произведение двух отдельных распределений. То есть,

По сути, это означает, что совместная вероятность случайных величин X и Y вместе фактически разделяется на произведение их индивидуальных вероятностей. Вот еще несколько эквивалентных определений:

P (X \ cap Y) = P (X) P (Y) P (X | Y) = P (X) и P (Y | X) = P (Y)

Это первое альтернативное определение гласит, что вероятность любого исхода X и любого исхода Y, возникающих одновременно, является произведением этих индивидуальных вероятностей..

Например, предположим, что вероятность того, что вы положите в бутерброд ветчину и сыр, равна P (H \ cap C) = 1/3. Вероятность того, что на вашем сэндвиче есть ветчина (с какой-либо другой начинкой или без нее), равна P (H) = 1/2, а вероятность того, что на вашем бутерброде есть сыр (опять же, с ветчиной или другими вкусностями или без них), равна P (C) = 1/2. Если бы ветчина и сыр были независимыми приспособлениями для сэндвичей, то P (H \ cap C) = P (H) P (C), но.

P (H \ cap C) = 1/3 \ neq 1/4 = P (H) P (C)

Таким образом, ветчина и сыр не являются самостоятельной заправкой для бутерброда. Это приводит нас к следующему эквивалентному определению:

Две случайные величины независимы, если P (X | Y) = P (X) и P (Y | X) = P (Y). .

Вертикальная черта — условная вероятность. P (X | Y) читается как «вероятность X при условии Y» и представляет собой вероятность того, что X будет иметь любой результат x при условии, что произошла случайная величина Y..

Второе определение означает, что две случайные величины независимы, если результат одной не влияет на другую. То есть добавление сыра в бутерброд не влияет на вероятность того, что я добавлю затем ветчину, а если я начал с ветчины, то это не влияет на вероятность того, что я добавлю сыр вторым. Приведенный выше пример уже показал, что ветчина и сыр не являются независимыми, но мы повторим это еще раз с другим эквивалентным определением..

По формуле Байеса,

Вероятность того, что на моем сэндвиче будет ветчина, при том, что на моем сэндвиче будет сыр, составляет 2/3. Это означает, что присутствие сыра увеличивает вероятность присутствия ветчины, что также говорит мне о том, что ветчина и сыр не являются независимыми..

Кроме того, я с большей вероятностью добавлю в бутерброд сыр, если там уже есть ветчина. В обоих случаях наличие одного влияет на вероятность другого, поэтому они не являются независимыми..

Подбрасывание монет не зависит. Вероятность того, что я переверну четвертак и получу голову, не влияет на вероятность того, что вы затем получите хвост (или голову), когда вы поднимете четвертак и подбросите его вслед за мной. Независимость — распространенное допущение в статистике, потому что большинство распределений полагается на нее, хотя реальные данные редко бывают действительно независимыми. О развитии теории зависимых случайных величин см. Здесь, здесь и здесь..

Затем мы определим, что значит быть некоррелированным, и обсудим некоторые тонкости и эквивалентные интерпретации..

Некоррелированный.

Когда люди используют слово «некоррелированный», они обычно имеют в виду коэффициент корреляции Пирсона (или коэффициент продукта-момента), имеющий значение 0. Коэффициент корреляции Пирсона случайных величин X и Y определяется выражением.

Где \ text (X) — это дисперсия случайной величины, а \ text (X, Y) — ковариация между X и Y. Корреляция 0 или отсутствие корреляции между X и Y подразумевает \ text (X, Y) = 0, и поэтому достаточно просто взглянуть на числитель..

Ковариация между двумя случайными величинами X и Y измеряет совместную изменчивость и имеет формулу.

\ text (X, Y) = E [XY] -E [X] E [Y] E [\ cdot] — оператор ожидания и дает ожидаемое значение (или среднее значение) объекта внутри. E [X] — среднее значение случайной величины X. E [XY] — среднее значение произведения двух случайных величин X и Y. .

Например, предположим, что X и Y могут принимать совместные значения (выраженные в виде упорядоченных пар (0,0), (1,0) и (1,1) с равной вероятностью. Тогда для любой из трех возможных точек ( x, y), P ((X, Y) = (x, y)) = 1/3. Мы найдем ковариацию между этими двумя случайными величинами.

Первый шаг — вычислить среднее значение каждой отдельной случайной величины. X принимает только два значения, 0 и 1, с вероятностью 1/3 и 2/3 соответственно. (Помните, что две точки имеют X = 1, причем каждая из этих вероятностей равна 1/3.) Тогда.

E [X] = 0 \ cdot 1/3 + 1 \ cdot 2/3 = 2/3.

Аналогично, E [Y] = 0 \ cdot 2/3 + 1 \ cdot 1/3 = 1/3. Теперь мы должны вычислить ожидаемую стоимость произведения X и Y. Этот продукт может принимать значения 0 или 1 (умножить элементы каждой упорядоченной пары вместе) с соответствующими вероятностями 2/3 и 1/3. Эти вероятности получаются так же, как и для индивидуальных ожиданий. Таким образом,

E [XY] = 0 \ cdot 2/3 + 1 \ cdot 1/3 = 1/3.

Наконец, мы собрали все вместе:

Ковариация (и корреляция, нормализованная форма ковариации) измеряют линейную связь между двумя случайными величинами. Это важно. Далее мы посмотрим, как связаны независимость и корреляция..

Независимость \ Rightarrow Некоррелированный.

Вот где начинается путаница. Во-первых, абсолютно верно, что если две случайные величины независимы, то они некоррелированы. Это важно доказать, поэтому я сделаю это. Я докажу это для дискретных случайных величин, чтобы избежать исчисления, но это справедливо для всех случайных величин, как непрерывных, так и дискретных..

Теорема. Если две случайные величины X и Y независимы, то они некоррелированы..

Доказательство. Некоррелированность означает, что их корреляция равна 0, или, что то же самое, ковариация между ними равна 0. Следовательно, мы хотим показать, что для двух заданных (но неизвестных) случайных величин, которые независимы, ковариация между ними равна 0..

Теперь вспомним формулу ковариации:

Если ковариация равна 0, то E [XY] = E [X] E [Y]. Поэтому мы говорим математически, что достаточно показать, что E [XY] = E [X] E [Y]. Это связано с тем, что некоррелированность эквивалентна ковариации 0, что эквивалентно E [XY] = E [X] E [Y], и, таким образом, демонстрация этого последнего равенства эквивалентна показу того, что X и Y некоррелированы..

Хорошо, нам дано, что X и Y независимы, что по определению означает, что P (X, Y) = P (X) P (Y). Это наша отправная точка, и мы знаем, что хотим показать, поэтому давайте вычислим E [XY]:

E [XY] = \ sum_ \ sum_ x \ cdot y \ cdot P (X = x, Y = y)

Вот что такое E [XY]. Мы должны суммировать произведение двух случайных величин, умноженное на вероятность того, что X = x и Y = y по всем возможным значениям X и всем возможным значениям Y. Теперь мы используем определение независимости и заменяем P (X = x, Y = y) P (X = x) P (Y = y):

\ begin E [XY] &= \ sum_ \ sum_ x \ cdot y \ cdot P (X = x, Y = y) \\&= \ sum_ \ sum_ x \ cdot y \ cdot P (X = x) P (Y = y) \ конец.

Если я сначала просуммирую по Y, то все, что связано с X, будет постоянным по отношению к Y. 1. Затем я могу вычленить все, что связано с X, из суммы по y:

\ begin E [XY] &= \ sum_ \ sum_ x \ cdot y \ cdot P (X = x, Y = y) \\&= \ sum_ \ sum_ x \ cdot y \ cdot P (X = x) P (Y = y) \\&= \ sum_ x \ cdot P (X = x) \ sum_ y \ cdot P (Y = y) \ конец.

Затем, если я действительно проведу эту внутреннюю сумму по y, он станет завершенным объектом, не имеющим отношения к внешней сумме, проходящей по x. Это означает, что я могу заключить его в круглые скобки и вытащить его из суммы по x:

\ begin E [XY] &= \ sum_ \ sum_ x \ cdot y \ cdot P (X = x, Y = y) \\&= \ sum_ \ sum_ x \ cdot y \ cdot P (X = x) P (Y = y) \\&= \ sum_ x \ cdot P (X = x) \ left (\ sum_ y \ cdot P (Y = y) \ right) \\&= \ left (\ sum_ y \ cdot P (Y = y) \ right) \ left (\ sum_ x \ cdot P (X = x) \ right) \ конец.

Глядя на объекты в каждой группе круглых скобок, мы видим, что они соответствуют определению ожидания для X и Y. Это E [X] = \ sum_ x \ cdot P (X = x) и аналогично для Y. Таким образом, мы показали, что E [XY] = E [X] E [Y], и доказали, что независимость всегда влечет некоррелированность.

Теперь, чтобы использовать эти два слова (независимый и некоррелированный) как взаимозаменяемые, мы должны знать, что утверждение, обратное только что доказанному, верно:.

Некоррелированность подразумевает независимость.

Если мы найдем хотя бы один контрпример (пример, когда две переменные имеют нулевую корреляцию, но не соответствуют определению независимости), то обратное неверно, и мы не можем использовать эти термины как взаимозаменяемые..

Не повезло, у меня есть контрпример.

Предположим, что X и Y существуют как упорядоченная пара в точках (-1,1), (0,0) и (1,1) с вероятностями 1/4, 1/2 и 1/4. Тогда E [X] = -1 \ cdot 1/4 + 0 \ cdot 1/2 + 1 \ cdot 1/4 = 0 = E [Y] и.

E [XY] = -1 \ cdot 1/4 + 0 \ cdot 1/2 + 1 \ cdot 1/4 = 0 = E [X] E [Y]

и, таким образом, X и Y некоррелированы.

Теперь давайте посмотрим на предельное распределение X и Y. X может принимать значения -1, 0 и 1, и вероятность каждого из них равна 1/4, 1/2 и 1/4. То же самое с Y. Затем, перебирая возможности, мы должны проверить, если P (X = x, Y = y) = P (X = x) P (Y = y) P (X = -1, Y = 1) = 1/4 \ neq 1/16 = P (X = -1) P (Y = 1)

Мы перебираем две другие точки и видим, что X и Y не соответствуют определению независимых.

Таким образом, мы только что нашли пример, в котором две некоррелированные случайные величины не являются независимыми, и, следовательно, обратное утверждение неверно..

Заключение.

Корреляция — это линейная мера ассоциации. В нашем контрпримере мы видели, что между двумя случайными величинами не существует линейной зависимости 2. Это не означает, что переменные не влияют друг на друга (опять же, как мы видели в нашем контрпримере). Распространенная ошибка — забыть эта корреляция является ограничивающей мерой отношений, поскольку она охватывает только линейные типы. Независимость — это мера «вероятностного эффекта», который охватывает гораздо больше, чем просто линейную связь..

Слова «некоррелированный» и «независимый» могут использоваться в английском языке как синонимы, но они не являются синонимами в математике. Независимые случайные величины некоррелированы, но некоррелированные случайные величины не всегда независимы. С математической точки зрения мы заключаем, что независимость является более ограничивающим свойством, чем некоррелированность. Эта работа находится под лицензией Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Похожие статьи