ЯК розрахувати регресію

Уявімо собі, що мається випадкова величина (СВ) Y, значення якої підлягають визначенню. При цьому Y пов'язана якимось чином з випадковою величиною X, значення якої X = x, у свою чергу, доступні для вимірювання (спостереження). Таким чином, вийшла задача оцінювання значення СВ Y = y, недоступною для спостереження, за спостережуваним значенням X = x. Саме для таких випадків застосовуються регресійні методи.

Вам знадобиться

- знання основних принципів методу найменших квадратів.

Інструкція

Нехай є система СВ (X, Y), де Y залежить від того, яке значення в досвіді прийняла СВ Х. Розглянемо спільну щільність ймовірностей системи W (x, y). Як відомо, W (x, y) = W (x) W (y | x) = W (y) W (x | y). Тут фігурують умовні щільності ймовірностей W (y | x). Повне прочитання такої щільності наступне: умовна щільність ймовірностей СВ Y, за умови, що СВ Х прийняла значення х. Більш коротка і грамотна запис має вигляд: W (y | Х = x).

Слідуючи Байєсова підходу W (y | x) = (1 / W (x)) W (y) W (x | y). W (y | x) - це апостеріорне розподіл СВ Y, тобто таке, яке стає відомим після твори досвіду (спостереження). Дійсно, саме апостериорная щільність ймовірностей містить в собі всі відомості про CB Y після отримання досвідчених даних.

Встановити значення СВ Y = y (апостериорно) - значить знайти її оцінку y *. Оцінки знаходять слідуючи критеріям оптимальності, в даному випадку - це мінімум апостеріорної дисперсії б (х) ^ 2 = M (y * (x) -Y) ^ 2 = min, при виконанні критерію y * (x) = MY, який називають оптимальною оцінкою за даним критерієм. Оптимальна оцінка y * СВ Y, як функція від х, називається регресією Y на х.

Розгляньте лінійну регресію y = a + R (y | x) x. Тут параметр R (y | x) називається коефіцієнтом регресії. З геометричної точки зору R (y | x) - кутовий коефіцієнт, що визначає нахил лінії регресії до осі 0Х. Визначення параметрів лінійної регресії можна здійснити за допомогою методу найменших квадратів, заснованим на вимозі мінімальності суми квадратів відхилень вихідної функції від апроксимуючої. У разі лінійно апроксимації метод найменших квадратів приводить до системи для визначення коефіцієнтів (див. Рис. 1).

Для лінійної регресії визначення параметрів можна провести на основі зв'язку між коефіцієнтами регресії і корреляціі.Между коефіцієнтом кореляції і параметром парної лінійної регресії існує залежність, а саме. R (y | x) = r (x, y) (бy / бx) де r (x, y) - коефіцієнт кореляції між х і у- (бx і бy) - среднеквадратические відхилення. Коефіцієнт a визначаються за формулою: a = y * -Rx *, тобто для того щоб його вирахувати, треба просто в рівняння регресії підставити середні значення змінних.