Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

Main Examination period 2023 – January – Semester A

MTH6141 / MTH6141P: Random Processes

Question 1 [25 marks]. Let (Ⅹ0 . Ⅹ1 . Ⅹ2 . 3 3 3) be the discrete-time, homogeneous

Markov chain on state space ; = {1. 2. 3. 4. 5} with Ⅹ0  = 3 and transition matrix

、│

『(『)   0     1/6   1/6   1/6   1/2│(│)

．│

(b)  Calculate the probability that the chain is absorbed in state 5.

(c)  Calculate ← Ⅹt \ where T is the time of absorption.

(d) Explain why this chain has infinitely many equilibrium distributions.

(e)  Show that the first return probability for state 3 satisfies

≤ j3  ≤

(e) to determine upper and lower bounds on ←(M3 ).

(iv) What is wrong with the following argument:

The process (Y (t) :  t ≥ 0) is a thinned version of the process      (Ⅹ(t) :  t ≥ 0) in which each arrival is deleted with probability . Therefore, by the Thinning Lemma, (Y (t) :  t ≥ 0) is a Poisson   process of rate 1.

Question 3 [25 marks]. Let (Ⅹ0 . Ⅹ1 . Ⅹ2 . 3 3 3) be the discrete-time, homogeneous

Markov chain on state space ; = {1. 2. 3. 4. 5. 6} with Ⅹ0  = 1 and transition matrix

、│

P =

．│

(b) Does this Markov chain have a limiting distribution? Justify your answer.

(c) What can you say about the proportion of time that the chain spends in state 1?

(d)  Calculate P(Ⅹt  = 1) for all t.

Let (Y0 . Y1 . Y2 . 3 3 3) be a new discrete-time homogeneous Markov chain on the same        state space obtained by modifying this chain as follows. At each time I toss a biased     coin which has probability 1/3 of showing Heads. If it shows a Head then I take one     step in the chain with transition matrix P ; if it shows a Tail I remain in the same state. Let Q be the transition matrix for (Y0 . Y1 . Y2 . 3 3 3).

(f) Does this Markov chain have a limiting distribution? Justify your answer.

(g) What can you say about the probability that the chain is in an odd numbered state at time t?

Question 4 [25 marks].

(a) The integers from 1 to 7 are written in order clockwise around a circle. I start with a counter on number 1 and repeatedly roll a standard six-sided fair die. If the die shows 1 then I move the counter to the next number clockwise around the circle;  if the die shows 2 or 3 then I move the counter to the next number anticlockwise  around the circle; if the die shows 4. 5 or 6 then I do not move the counter.

(i) Describe how to model this process as a discrete-time Markov chain. Write down the transition matrix for the chain.

(ii) Explain briefly why the Markov property is satisfied.

(iii)  Give an example of how you could make a small modification after which the process would be a discrete-time Markov chain which is not homogeneous.

(b) A machine is running continuously except when it is broken. Suppose that while

the machine is running, breakages happen according to a Poisson process of rate -. As soon as the machine breaks an engineer is called. The time it takes for the engineer to arrive follows an Exp(a) distribution. When the engineer has arrived they spend a time with Exp(8) distribution working on the machine. At the end of this time it is either mended and running (this happens with probability p) or permanently broken (this happens with probability 1 − p).

(i) Describe how to model the state of the machine as a continuous-time Markov chain with four states. Write down the generator matrix for the chain.

(ii)  Suppose that the machine is running at time 0. What is the probability that it runs continuously without breaking until at least time 1?

(iii) Why is it natural to model this situation as a continuous-time process.

(c) Which result about continuous-time processes from this module appeals to you the most? Give an informal indication of what this result says. Say what it is about this that you particularly like and why.

(I expect your answer to part (c) to contain roughly three to five sentences. It should consist mainly of coherent written English rather than mathematical symbols.)