ЯК знайти матрицю переходу

Матриці переходу виникають при розгляді марковських ланцюгів, які є окремим випадком марковських процесів. Визначальне їх властивість полягає в тому, що стан процесу в «майбутньому», залежить від поточного стану (в сьогоденні) і, при цьому, не пов'язане з «минулим».

Інструкція

Необхідно розглянути випадковий процес (СП) X (t). Його імовірнісний опис грунтується на розгляді n-мірної щільності ймовірності його перетинів W (x1, x2, ..., xn- t1, t2, ..., tn), яку, на основі апарату умовних щільностей ймовірності, можна переписати у вигляді W (x1, x2 , ..., xn- t1, t2, ..., tn) = W (x1, x2, ..., x (n-1) - t1, t2, ..., t (n-1)) • W (xn, tn | x1 , t1, x2, t2, ..., x (n-1), t (n-1)), cчітая, що t1< t2

Визначення. СП, для якого при будь-яких послідовних моментів часу t1< t2

Використовуючи апарат все тих же умовних щільностей ймовірностей, можна прийти до висновку, чтоW (x1, x2, ..., x (n-1), xn, tn- t1, t2, ..., t (n-1), tn) = W (x1, tn) • W (x2, t2 | x1, t1) ... • W (xn, tn | x (n-1), t (n-1)). Таким чином, всі стани марківського процесу повністю визначаються його початковим станом і густиною ймовірностей переходів W (xn, tn | X (t (n-1)) = x (n-1))). Для дискретних послідовностей (дискретні можливі стану і час), де замість щільності ймовірностей переходів присутні їх ймовірності та матриці переходів, процес носить назву - ланцюг Маркова.

Розгляньте однорідну ланцюг Маркова (немає залежності від часу). Матриці переходу складаються з умовних ймовірностей переходу p (ij) (див. Рис.1). Це ймовірність того, що за один крок система, що мала стан рівне хi, перейде в стан xj. Ймовірності переходів визначає постановка задачі та її фізичні сенс. Підставляючи їх в матрицю отримують відповідь для даної задачі.

Типові приклади побудови матриць переходу дають завдання про блукаючих частинках. Приклад. Нехай система має п'ять станів x1, x2, x3, x4, x5. Перше і п'яте є граничними. Нехай на кожному кроці система може перейти тільки в сусіднє за номером стан, причому при русі в сторону х5 з ймовірність p, a в сторону х1 з ймовірність q (p + q = 1). При досягненні кордонів система може перейти в х3 з ймовірність v або залишитися в колишньому стані з вероятностью1-v. Рішення. Для того щоб задача стала абсолютно прозорою побудуйте граф станів (див. Рис. 2).