This list of problems will not be graded.  You do not have to submit your solutions. It does not contribute to the final grade.  These problems are going to be reviewed at the tutorials. Sketch solutions will be provided during the semester on a week-by-week basis. The list of problems are under constant review. Please check always for the latest version.

1   Conditional probability

Exercise 1.  Suppose that Sheila has a coin such that the probability of a head is equal to p1  2 (0, 1) and that Betty has a coin with a probability of head equal to p2  2 (0, 1).  Sheila tosses her coin m 2 N times.  For each time Sheila obtains “heads”, Betty tosses her coin (otherwise not).

(i) Find the distribution of the total number of heads obtained by Betty given that Sheila obtained n heads, for 0    n    m.

(ii) Find the distribution of the total number of heads obtained by Betty.

Hint:  You can use without proof that(n(m)）( k(n)）= (k(m)）(mn--k(k)）, for 0     k      n     m integers.

Recall also the Binomial Theorem (x + y)n = Σk(n)=0 (k(n)）xky n-k , for n     0 an integer, real

numbers x, y    0.

(iii) Find the expected value of the total number of heads obtained by Betty.

Exercise 2.  Imagine you have a coin such that the probability of getting a head is random. More precisely, it is equal to P, where P is a uniform random variable on (0, 1).  For n 2 N, let the (random) variable Xn be equal to the number of heads after n tosses (recall that coin tosses are independent). Suppose that the conditional distribution of Xn  given that P = p 2 (0, 1) is Binomial(n, p).

*Please post all of your questions to Canvas Discussions or, if you prefer to ask anonymously, please send your question to me via the Canvas Inbox and I will post it to Canvas Discussions on your behalf.  Note that Canvas Inbox does not have an equation editor (LATEX). Nevertheless, you can upload a file with your math related question.

(i)  Show that Xn  is uniformly distributed over the integers 0, 1, . . . , n, i.e., P(Xn  = k) = 1/(n + 1), for k = 0, 1, . . . , n.

Hint: You can use without proof that

l01 un一1 (1 一 u)m一1 du =  ,   for  n, m e N,

where Γ (n) = (n 一 1)! is the so-called gamma function.

A second thought reveals that this is a very reasonable conclusion.  Since nothing is known about the coin, there is nothing that favours a specific outcome, that is, all outcomes should be equally probable. On the other hand, if the probability of getting head is not random, i.e. it is equal to some fixed p e (0, 1), we know that the results in diferent tosses are independent and that the probability of heads given that we obtained n heads in a row (still) equals p.

(ii) Compute P(Xn+1 = n + 1lXn = n) and show that limny凯 P(Xn+1 = n + 1lXn = n) = 1.

This means that if we know that there were many heads in a row then the (conditional) probability of another head is very large; the results in diferent tosses are not at all independent in this “random coin-tossing model”.

(iii) Compute the conditional distribution and the conditional density of P given Xn  = k, for k = 0, 1, . . . , n. What is the name of the (conditional) distribution? Moreover, show also that limny凯 P(P > 1 一 ε lXn = n) = 1, for all ε e (0, 1).

Hint: Compute P(P 参 plXn = k), for p e R, and then diferentiate it.

This means that if we know that there were many heads in a row then we also know that P is close to 1 and thus that it is very likely that the next toss will yield another head in this “random coin-tossing model”.

This exercise provides an application of conditional probability to so-called Bayesian analysis or Bayesian inference.  In particular, this exercise studies coin-tossing from the Bayesian point of view under the assumption that nothing is known about the probability of getting heads.

Exercise 3.  Let (λi, i ≥ 1) be a sequence strictly positive real numbers.  Let E1, E2, . . .  be a sequence of independent random variables such that Ei … Exp(λi),for i ≥ 1.

(i) For n ≥ 1, define Wn = min{E1, . . . , En }. Prove that Wn … Exp(λ), where λ = λ 1+ ··· + λn .

(ii) For n ≥ 1, let In  = argmin{E1, . . . , En } be the (random) index of the minimum of the exponential random variables E1, . . . , En (i.e. for i = 1, . . . , n, In = iif Wn = Ei). Prove that

P(In = i) = λi/λ, for i = 1, . . . , n.

(iii) Prove that Wn and In are independent.

if X 参 Y,

if X > Y.

(i) Identify the distributions of W and M (i.e. for w ≥ 0, computer(W > w) andr(M = 1)).

(ii) For w ≥ 0, show that the events {W > w} and {M = 1} are independent.

(iii) For w, t ≥ 0, express the event {W 参 w, M = 1, O 参 t} in terms of the random variables X and Y, and show that

r(W 参 w, M = 1, O 参 t) = (1 _ e_2λw )(1 _ e_λt).

What is r(W 参 w, M = 0, O 参 t)?

(iv) Prove that W and (M, O) are independent.

Hint: You may assume without proof that it is enough to check that r(W 2 A, (M, O) 2 B) = r(W 2 A)r((M, O) 2 B),for A = [0, w] and B = {m} x [0, t], for all w ≥ 0, m 2 {0, 1} and t ≥ 0.

(v) Prove that W and O are independent. What is the distribution of O?

Exercise 5. A bank has two clerks. Service times at this bank are independent Exp(μ) dis- tributed, for some μ > 0. When the bank opens at 9am, you enter the bank together with two other customers. You are generous and let the other two customers proceed to be served. You will then be served by the next available clerk; what is the probability that, of the three customers, you will be the last to leave?

Hint: Express the event in question in terms of three independent Exp(μ) random variables.

2  Poisson processes

Exercise 6. Consider a device that completely fails when a cumulative efect of k 2 N shocks occurs. Suppose that the shocks happen according to a Poisson process of parameter λ > 0 and let T be the (random) life time of the device. Find the distribution of T (i.e. what is the density function of T?)

Exercise 7. Let (Xt, t ≥ 0) be a Poisson process of parameter 1. Define the continuous-time stochastic process (Yt, t ≥ 0) by letting Yt = Xλt, for t ≥ 0 and some λ > 0. Prove that (Yt, t ≥ 0) is a Poisson process of parameter λ .

Exercise 8. Customers arrive at a holding facility at random according to a Poison process having rate λ > 0. The facility processes in batches of size K. That is, the first K __1 customers

wait until the arrival of the K-th customer. Then all are passed simultaneously, and the process repeats (service times are simultaneous).

(i) Find the expected valued of the first dispatched time T given that at the beginning there are no customers.

(ii) Show that Ell0T Ntdt] = K (K 一 1)/2λ .

Hint: Recall that a Poison process (Nt, t ≥ 0) can be represented as an increasing step function. So, how do you integrate a step function?

Exercise 9. Let (Xt, t ≥ 0) be a Poisson process of parameter λ > 0. For t, s ≥ 0, compute the covariance between Xt and Xt+s (i.e. compute E[(Xt 一 E[Xt])(Xt+s 一 E[Xt+s ])]).

Exercise 10. Let (Xt, t ≥ 0) be a Poisson process of parameter λ > 0. Find the finite-dimensional distributions of (Xt, t ≥ 0), that is, compute

P(Xt1 = x1, . . . , Xtn  = xn ),

for n 2 N, 0 参 t1 参 ··· 参 tn  and 0 参 x1 参 ··· 参 xn  such that x1, . . . , xn 2 N0.

Exercise 11. Suppose that a radioactive source emits particles at times of a Poisson process of parameter λ > 0. Suppose also that a Geiger counter detects each particle independently with probability p 2 (0, 1).

(i) Prove that the counting process (Nt1, t ≥ 0) of particles detected by the Geiger counter is a Poisson process of parameter λp.

Hint: Let X1, X2, . . . be a sequence of independent random variables such that P(Xi  = 1) = p = 1 一 P(Xi  = 0), for p 2 (0, 1) and i ≥ 1. Let N be a Poisson random variable of parameter θ > 0 and independent of X1, X2, . . . . You can use without proof that Σ .

(ii) What is the distribution of the time until the first particle is detected by the Geiger counter?

(iii) What is the probability that the number of particles detected by the Geiger counter is exactly equal to 3 in the first unit of time?

(iv) Suppose that we have proved that the counting process (Nt0, t ≥ 0) of particles that are not detected by the Geiger counter is a Poisson process of parameter λ(1 一p). (Indeed, this can be proved as part (i).) For any fixedt ≥ 0, prove that the random variables Nt0 and Nt1 are independent (i.e., for any j, k = 0, 1, 2, . . . , one has that P(Nt0 = j, Nt1 = k) = P(Nt0 = j)P(Nt1 = k)).

Exercise 12. Let (Nt, t ≥ 0) be a Poisson process with parameter λ > 0. Let (Wn, n ≥ 0) be the associated arrival times of (Nt, t ≥ 0) (i.e., W0= 0 and Wn = inf{t ≥ 0 : Nt  = n}, for n ≥ 1).

(i) For t ≥ 0, let γt  = WNt+1 - t be the excess lifetime (or residual lifetime) of the Nt-th event. Show that γt has an exponential distribution of parameter λ .

Hint: For t ≥ 0 and x > 0, write an identity for the event {γt> x} in terms of the Poisson process (Nt, t ≥ 0); see Figure1.

This exercise shows that the excess lifetime has the same exponential distribution as every inter-arrival time. In particular, this is another manifestation of the memoryless property of the exponential distribution.

(ii) For t ≥ 0, let δ t = t- WNt  be the current life of the Nt-th event. Show that the probability distribution of δ t is given by

8> 1 - e-λx      if    0    x < t

Hint: For t ≥ 0, x ≥ 0, analyse the event {δt> x}; see Figure1.

(iii) For t ≥ 0, let βt  = γt + δ t  be the total life of the Nt-th event. Compute the expectation of βt.

Hint:  Recall that if Y is a nonnegative continuous random variable, then E[Y ] = l01 P(Y > u)du .

(iv) For t ≥ 0, compute the joint probability distribution of γt  and δ t.  That is, compute P(γt> x,δt> y), for x, y ≥ 0.

Hint: For t,x, y ≥ 0, write an identity of the event {γt> x,δt> y} in terms of (Nt, t ≥ 0).

Figure 1: The excesses life γt, the current life δ t  and the total life βt.

Exercise 13.  Consider a submarine cable that sufers defects according to a Poisson process of parameter λ = 0.1 per km.

(i) What is the probability that there are no defects in the first two kilometers of cable?

(ii) If there are no defects in the first two kilometers, what is the probability that there are no defects in the third kilometer either?

Exercise 14. Let (Xt, t  ≥ 0) and (Yt, t  ≥ 0) be two independent Poisson processes of pa- rameters λ > 0 and μ > 0, respectively. Define the stochastic process (Zt, t ≥ 0) by letting Z t = Xt + Yt, for t ≥ 0. Prove that (Zt, t ≥ 0) is a Poisson process of parameter λ + μ .

Hint: Let W1 … Poisson(θ1) and W2 … Poisson(θ2) be two independent random variables. You can use without proof that W1+ W2 … Poisson(θ1+ θ2).

Exercise 15. Let (Nt, t ≥ 0) be a Poisson process with parameter λ > 0. For t ≥ 0, let Nt represent the number of claims to an insurance company at time t and let Yk be the magni- tude (amount of money) of the k-th claim. Assume that (Yk, k ≥ 1) is a sequence of random variables representing the magnitude of the claims and such that they are independent, con- tinuous and positive (i.e. P(Yk  > 0) = 1), with the convention Y0 = 0. Moreover, assume also that the variables (Yk, k ≥ 1) and the process (Nt, t ≥ 0) are also independent. Then, Xt =：0 Yk represents the cumulative amount claimed up to time t ≥ 0. Suppose that the insurance company continues to operate as long as the cumulative amount claimed is less or equal than some critical value a > 0 and declares bankruptcy in the contrary circumstance. Let Ta be the time of ruin of the insurance company.

(i) Compute the distribution of the time of ruin Ta  of the insurance company, i.e., show that

P(Ta > t) =   G(n)(a),   for t ≥ 0,

where G(n)(a) = P(Y1+ · · · + Yn 参 a),for n ≥ 1, and G(0)(a) = 1 if a ≥ 0, and G(0)(a) = 0 if a < 0.

Hint: For t ≥ 0, write the event {Ta > t} in terms of Xt.

(ii) Show that the expected time of ruin of the insurance company is given by E[Ta ] = λ—1 n)(a).

Hint: Recall that if Y  is a nonnegative continuous random variable, then E[Y ] = l01 P(Y > u)du .

This exercise provides an application of Poisson process to Risk Theory. In particular, it provides a model to study the state of an insurance company under the assumption that the claims occur in a Poissonian manner.

3  Simple birth processes

Exercise 16. A village of N + 1 people sufers an epidemic. Suppose that we model the number of ill people as an (1, (λn )n≥1)-birth process (Xt, t ≥ 0), where λn = λn(N + 1 — n), for n = 1, . . . , N, and λn  = 0, for n > N. More precisely, Xt  denotes the number of ill people at time t ≥ 0. Suppose that N individuals in the village are already infected (i.e., X0 = N ).

(i) Let T be the length of time required until every member of the population has suc- cumbed to the illness (i.e. T = inf{t ≥ 0 : Xt = N + 1}). Show that E[T ] = (λN )-1 (justify your answer).

(ii) Compute E[Xt] and show that lim t→∞E[Xt] = N + 1.

In this exercise, the birth-rate λn = λn(N +1-n) can be interpreted as the number of ways an ill person can infect a healthy person in a population of size N + 1. On the other hand, Part (ii) of this exercise allows us to infer (expect) that in the long run (under the assumptions of this model), the entire population of this village will succumb to the disease.

Exercise 17. Cooperative process. Consider a hermaphrodite population (i.e. individuals are both male and female as, for example, with worms). Suppose that any individual can mate with any other, and a specific pair of individuals have a (single) child after an expo- nential time of parameter λ > 0. Suppose that initially, there are two individuals in the population. We model the size of the population as a continuous-time stochastic process (Xt, t ≥ 0) by letting Xt be the number of individuals at time t ≥ 0. Assume that the process starts with two individuals in the population,i.e., X0= 2.

(i) Explain (informally) that (Xt, t ≥ 0) is an (2, (λn )n≥2)-birth process. Compute the birth rates (λn )n≥2 of (Xt, t ≥ 0).

(ii) Let T1, T2, . . . be the jump times of (Xt, t ≥ 0) and let T∞ = limn→∞Tn . Show that (Xt, t ≥ 0) is explosive and calculate E[T∞].

Hint: Note that  -  = 

Exercise 18. Let (Xt, t ≥ 0) be a continuous-time stochastic process that counts the number of events that occur in some system (e.g., the number of particles detected by a Geiger counter near a radioactive source, the number customers that arrive to some store, the number of births in a population). To be precise, Xt  is the number of events at time t ≥ 0. Suppose that if the number of events at some fixed time is n ∈ N, then the next event occurs after an exponential time of parameter λnα , for λ > 0 and α ∈ (-∞, ∞). Suppose that the exponential times between events are independent and that X0= 1.

(i) Explain (informally) that (Xt, t ≥ 0) is an (1, (λn )n≥1)-birth process. Compute the birth rates (λn )n≥1 of (Xt, t ≥ 0).

(ii) Determine for which value of α the process (Xt, t ≥ 0) is not explosive.

Exercise 19. Consider a bacteria colony where each bacterium splits into two identical bac- teria after an exponential time of parameter λ > 0, independently and repeatedly. We model the size of the colony as a simple birth process (Xt, t ≥ 0) by letting Xt  be the size of the colony at time t ≥ 0. Suppose that the initial colony size is 1 (i.e. X0 = 1).

(i) Compute the birthrates (λn )n≥1 of (Xt, t ≥ 0).

(ii) Show that (Xt, t ≥ 0) is not explosive.

(iii) For t ≥ 0 and z 2 [一1, 1], let φ(t) = E[zX t] be the probability generating function of Xt. By conditioning on the first splitting time (that is, τ1 = inf{t ≥ 0 : Xt = 2}),show that

φ(t) = ze一λt + l0t λe一λs(φ(t 一s))2ds,    for t ≥ 0.

In particular, show also that φ\(t) = λφ(t)(φ(t) 一 1) such that φ(0) = z.

(iv) We write Z … Geom(1一q) to say that Z is a Geometric distributed random variable with parameter 1 一 q, for some q 2 (0, 1) (i.e. Z has the probability mass function p Z(n) = qn一1(1 一 q),for n 2 N). Recall that the probability generating function of Z is given by

E[uZ ] = u1(1  q(q)),    u 2 [一1, 1].

Show that, P(Xt = n) = qn一1(1 一 q),with q = 1 一 e一λt, and for t > 0 and n 2 N.

Hint: You can use without proof that the probability generating function gY  of a discrete random variable Y completely characterizes its distribution. In particular,

P(Y = k) = gk)(0)/k!,where gk) denotes the k-th derivative of the function gY .

(v) For n 2 N, let Z1, Z2, . . . , Zn  be a sequence of independent random variables such that Zi … Geom(1 一 q),for i = 1, . . . , n. Recall that the distribution of the sum Z1+ · · · + Zn is known as the negative binomial distribution,i.e.,

P(Z1+ · · · + Zn = k) = ( 一 1(1)）qk一n (1 一 q)n,   k ≥ n.

Show that, for t > 0 and 1 参 m 参 n,

P(Xt  = njX0 = m) = (m(n) 一  1(1)）(1 一 e一λt)n一me一λmt.

Exercise 20. Yule process with immigration. Consider a small island adjacent to the main- land, where individuals of some population live. An individual in the small island gives birth to a new individual after an exponential time of parameter λ > 0, independently (of the other individuals) and repeatedly. Moreover, individuals in the mainland immigrate to the small island after an exponential time of parameter α > 0 independently of the other in- dividuals. Suppose that initially, there are no individuals on the small island. We model the size of the population in the small island as a continuous-time stochastic process (Xt, t ≥ 0) by letting Xt be the number of individuals at time t ≥ 0 such that X0= 0.

(i) Explain (informally) that (Xt, t ≥ 0) is an (0, (λn )n≥0)-birth process. Compute the birth rates (λn )n≥0 of (Xt, t ≥ 0).

(ii) Let T1, T2, . . . be the jump times of (Xt, t ≥ 0) and let T∞ = limn→∞Tn . Show that (Xt, t ≥ 0) is not explosive and compute E[T∞].

4  Continuous-time Markov chains

Exercise 21. Let (Xt, t ≥ 0) be a continuous-time Markov chain with state space S = {1, 2, 3, 4} and Q-matrix

 -4

Explain the evolution of (Xt, t ≥ 0), that is, write down the holding rates and transition probabilities of the underlying jump chain. Draw also a diagram to represent the behaviour of the continuous-time Markov chain.

Exercise 22. Two-state machine. Consider a machine that can be up or down at any time. If the machine is up, it fails after an exponential time of parameter μ > 0. If it is down, it is repaired after an exponential time of parameter λ > 0. The successive up times are i.i.d. and so are the successive down times, and the up and down times are independent from each other. Suppose that we model the state of the machine as a continuous-time Markov chain (Xt, t ≥ 0) with state space S = {0, 1} by letting Xt = 1 if the machine is up at time t ≥ 0, and Xt = 0 if the machine is down at time t ≥ 0. Compute the Q-matrix Q = (qi,j)i,j∈S of (Xt, t ≥ 0).