1   Solution Exercise A1

Part A1 (a).   The Kolmogorov backward equations are given by

dtp1,1 (t)   =   -αp1,1 (t) + αp2,1 (t),

d

dtp2,2 (t)   =   βp1,2 (t) - βp2,2 (t),

d

for t > 0, p1,1 (0) = p2,2 (0) = 1 and p1,2 (0) = p2,1 (0) = 0.

The Kolmogorov forward equations are given by

dtp1,1 (t)   =   -αp1,1 (t) + βp1,2 (t),

d

dtp2,2 (t)   =   αp2,1 (t) - βp2,2 (t),

d

for t > 0, p1,1 (0) = p2,2 (0) = 1 and p1,2 (0) = p2,1 (0) = 0.

Part A1 (b).   Observe that p1,2 (t) = 1 -p1,1 (t) and p2,1 (t) = 1 -p2,2 (t). From the Forward equations, we see that

p1,1 (t) = β - (α + β)p1,1 (t)   and    p2,2 (t) = α - (α + β)p2,2 (t),

for t > 0.

The previous equations are of the form given in the hint and we obtain that

p1,1 (t) = c1 e-(α+β)t +     and   p2,2 (t) = c2 e-(α+β)t +  ,

for t > 0, and some unknown constants c1, c2  e Ⅸ.  Since p1,1 (0) = p2,2 (0) = 1, we see that c1  = α/(α + β) and c2= β/(α + β). Therefore,

P (t) =  =  α(α) ,   for  t > 0.

Part A1 (c).   The invariant distribution ξ = (ξ(1), ξ(2)) of (Xt, t > 0) must satisfy the equation ξQ = 0 (i.e. component-wise (ξQ)1 = -αξ(1) + βξ(2) = 0 and (ξQ)2 = αξ(1) - βξ(2) = 0) together with ξ(1) + ξ(2) = 1. Therefore, ξ(1) = β/(α + β) and ξ(2) = α/(α + β).

Part A1 (d).   It follows from the explicit expressions of the transition probabilities in Part A1 (b) by letting t 二 o.

Alternatively, this exercise can be proved as follow.  Since α > 0 and β > 0, we observe that the continuous-time Markov chain (Xt, t > 0) is irreducible. In Part A1 (c), we have proved that (Xt, t > 0) has an invariant distribution ξ = (ξ(1), ξ(2)). By Proposition 12 in the lecture notes, we

conclude that (Xt, t > 0) is positive recurrent. Therefore, Theorem 3 in the lectures notes implies the result.

Part A1 (e).   Since α > 0 and β > 0, we observe that the continuous-time Markov chain (Xt, t > 0) is irreducible.  In Part A1 (c), we have proved that (Xt, t > 0) has an invariant distribution ξ = (ξ(1), ξ(2)). By Proposition 12 in the lecture notes, we conclude that (Xt, t > 0) is positive recur- rent. Therefore, the ergodic theorem (Theorem 4 in the lecture notes) implies that the asymptotic proportion of time that the machine is down is equal to ξ(2) = α/(α + β) with probability one, i.e.,

T『 t(l)im二o  (0t 1（Xs=2】ds = ξ(2)│ = 1.

2   Solution Exercise B1

Part B1 (a).   For the continuous-time Markov chain (Xt, t > 0), we have three communicating classes（0】,（1】and（2】.

We see that（1】and（2】are not closed communicating classes and thus, they are transient. We also see that（0】is closed, absorbing and recurrent.

Part B1 (b).   For i > 0 and t > 0, we want to compute p2,i(t) = T(Xt  = i|X0  = 2).  We use the Kolmogorov forward equations to compute such probabilities. More precisely, we have that

p2,0 (t) = λ2p2,1 (t),   p2,1 (t) = -λ2p2,1 (t) + λ1p2,2 (t),   p2,2 (t) = -λ 1p2,2 (t),

for t > 0, p2,0 (0) = p2,1 (0) = 0 and p2,2 (0) = 1.

We see that the solution of the previous system is given by

p2,0 (t) = 1 + ‘λ1 e-λ2 t - λ2 e-λ 1 t \,   p2,1 (t) = ‘e-λ 1 t - e-λ2 t \,   p2,2 (t) = e-λ 1 t,

for t > 0. Note that the previous solution also includes the case λ 1 = λ2 by viewing this case as the limit when λ2 二 λ 1 .

Part B1 (c).   We see that

T(T s t) = T(Xt = 0|X0 = 2) = p2,0 (t) = 1 + ‘λ1 e-λ2 t - λ2 e-λ 1 t \,   for   t > 0,

and T(T s t) = 0, for t < 0, where we have used the expression found in Part B1 (b). Note that the previous solution also includes the case λ 1 = λ2 by viewing this case as the limit when λ2 二 λ 1 .

3   Solution Exercise C1

We observe that

正[VT] = 正[max(0,K - XT)] = (0o T(max(0,K - XT) > u)du.

On the other hand, for u > 0,

T(max(0,K - XT) > u)   =   T(max(0,K - XT) > u,K - XT > 0) + T(max(0,K - XT) > u,K - XT s 0) =   T(K - XT > u) +T(0 > u,K - XT s 0) = T(K - XT > u).

Then,

正[VT]   =   (0o T(K - XT > u)du = (0o T(K - yeBT  > u)du           =   (0K T(yeBT  < K - u)du = (0K T『BT < log『 ││ du.

Recall that BT ~ N(0,T ). Therefore,

正[VT] =  (0K ( e-  dxdu.

4   Solution Exercise C2

Part C2 (a).   Consider the function f (s,x) = xn+1, for s > 0, x e Ⅸ and n > 1. Observe that

f (s,x) = 0,   f (s,x) = xn    and   f (s,x) = nxn-1 .

By Itô’s formula, we see that

B+1 =t(n) (0t Bs(n)dBs +  (0t nBs(n)-1ds,   for   t > 0,

which implies the result.

Part C2 (b).   Consider the function f (s,x) = sx, for s > 0, x e Ⅸ. Observe that

f (s,x) = x,   f (s,x) = s   and   f (s,x) = 0.