Matriks Probabilitas Transisional

Dinamika variabel yang diobservasi yang mempengaruhi setiap kejadian dalam proses Markov dituangkan dalam sebuah matriks yang dikenal dengan probabilitas transisional (transitional probability) yang berdimensi m x n. Dalam hal ini, aij mencerminkan peluang perubahan dari keadaan i ke keadaan j atau dari keadaan j ke keadaan i, tergantung pada penempatannya, dari i ke j atau sebaliknya. Penempatan itu tentu saja akan membawa konsekuensi pada operasi matriks. Tidak ada  pedoman baku mengenai hal ini, maka beberapa penulis saling menempatkannya sesuai dengan kesenangan mereka.

Jika sebuah vektor yang berdimensi (l x m) dikalikan dengan matriks yang berdimensi (m x n), maka perkalian itu akan menghasilkan vektor yang berdimensi (l x n). Sebaliknya jika matriksmatriks yang berdimensi (m x n) dikalikan dengan vektor berdimensi (n x l), maka perkalian itu akan menghasilkan vektor yang berdimensi (m x l). Dimensi vektor ini, sesuai dengan penjelasan mengenai penempatan dari dan ke, tentu saja harus menyesuaikan dengan kaidah-kaidah dalam operasi matriks.