Question 1.  Expected value and variance

Letting µ = E[X] denote the expected value of a random variable X, the variance of the same

random variable, denoted V , is defined as V = E[(X - µ)2]. Show that

V = E[X2] - µ2 .

Solution.   We have (X - µ)2 = X2 - 2Xµ + µ2 . Taking expectation,

V = E[(X - µ)2] = E[X2] - 2µE[X] + µ2 = [EX2] - µ2 .

Question 2.  Expected value and variance for some distributions

Compute µ and V for

(a) uniform distribution on [a, b]

(b) roll of a fair die

(c) for the sum of the roll of two fair dice

(d) for the sum of the roll of three fair dice

(e) for the sum of the roll of n fair dice

Solution.

(a) For the uniform distribution, the density is f(x) =  on [a, b], so

µ =E[X] = (ab x dx =   │a(b) =   =  . [EX2] = (ab x2 dx =   │a(b) =   =  .

V =E(X - µ)2 = [EX2] - µ2 =  - ╱ 、2 =  .

(b) For a fair die, X can take values x = 1, 2, 3, 4, 5, 6 with pribability p = 1/6 each, thus

µ =E[X] = 1 *  + 2 *  + ... + 6 *  = 3.5.

6            6                    6 .

V =E(X - µ)2 = E[X2] - µ2 = (12 + 22 + 32 + 42 + 52 + 62) * 1 - (3.5)2 = 35

(c) For two fair dice, X = X1 + X2, where X1  and X2  are independent, thus

µ2 =E[X] = E[X1 + X2] = E[X1] + E[X2] = 2µ = 3.5 + 3.5 = 7.

V2 =E(X - µ2 )2 = E(X1 + X2 - 2µ)2 = E ╱(X1 - µ)2 + (X2 - µ)2 + 2(X1 - µ)(X2 - µ)、=

=E(X1 - µ)2 + E(X2 - µ)2 + 2E(X1 - µ)E(X2 - µ) = V + V + 0 = 2V = 35

Alternatively, use probabilities calculated in lectures:

12

µ2 =E[X] =- xp(x) = 2 *  + 3 *  + ... + 12 *  =

北=2

=(2 + 12) *  + (3 + 11) *  + ... + (6 + 8) *  + 7 *  =

12

=(7 + 7) *  + (7 + 7) *  + ... + (7 + 7) *  + 7 *  = 7 * - p(x) = 7.

北=2

12

V2 =E(X - µ2 )2 = -(x - 7)2p(x) = (2 - 7)2 *  + (3 - 7)2 *  + ... + (12 - 7)2 *  =

北=2

=2(52 *  1  + 42 *  2  + 32 *  3  + 22 *  4  + 12 *  5  ) = 35

(d)  and (e) For n fair dice, X = X1 + ... + Xn, where X1 , ..., Xn  are independent, thus

µn =E[X] = E[X1 + ... + Xn] = E[X1] + ... + E[Xn] = nµ = 3.5n.

Vn =E(X - µn)2 = E(X1 + ... + Xn - nµ)2 = E(X1 - µ + ... + Xn - µ)2 =

=E (X1 - µ)2 + ... + (Xn - µ)2 + (Xi - µ)(Xj - µ)!(!) =

=E(X1 - µ)2 + ... + E(Xn - µ)2 +-E(Xi - µ)E(Xj - µ) =

ij

=V + ... + V + 0 = nV = n

Alternatively, see how EX for three dice was calculated in Tutorial 10.   For variance, follow the same process as in (c).

Note that both the expected value and variance are linear functions of the number of dice .

Question 3.  Expected difference between adjacent order statistics

Verify that E[X(j:n) - X(j+1:n)] = E ì(扌)] when F is the uniform on [0, 1], j = 1 and

n = 2.

Solution. For the uniform distribution on [0, 1], we have f(x) = 1 and F (x) = x for x e [0, 1]. Then

f(1:2)(x) = nf(x)F (x)n-1 = nxn-1 ln=2 = 2x

and

f(2:2)(x) = 2f(x)(1 - F (x)) = 2(1 - x).

Hence,

E[X(1:2)] = (0 1 x * 2xdx = 2 (0 1 x2 dx = 2  │0(1) =  ,

E[X(2:2)] = (0 1 2x(1 - x)dx = (0 1 2xdx - 2 (0 1 x2 dx = 2  │0(1) - 2  │0(1) = 1 -  =  ,

and thus the left hand side (LHS) is equal to

E[X(1:2) - X(2:2)] =  -  =  .

On the other hand, 1 - F (z) = 1 - z and f(z) = 1, implying

RHS =E ┌ ┐ = E ┌ 1 - X(1:2)┐ = 1 - E ┌X(1:2)┐ = 1 -  =  or directly RHS =E ┌ ┐ = (0 1 f(1:2)(x)dx = (0 1 (1 - x)2xdx =  ,

which verifies the statement.

Question 4.  Stochastic orders

Consider two distributions F (x) and G(x) with support [a, b] and positive densities f(x) and g(x) on the support.

❼ Denote by

f(x)                                    g(x)   

1 - F (x)                              1 - G(x)

the hazard rates of these distributions.

❼ Denote by

σF (x) :=             and   σG (x) :=

their reverse hazard rates.

We say that

1.  F dominates G in terms of the likelihood ratio if for all x < y ,

f(x)      f(y)

g(x)      g(y) .

2.  F dominates G in terms of the hazard rate if for all x, λF (x) < λG (x).

3.  F dominates G in terms of the reverse hazard rate if for all x, σF (x) > σG (x).

4.  and F first-order stochastically dominates G if for all x, F (x) < G(x). Prove the following claims:

(a)  1.  implies 2., i.e.  likelihood ratio dominance implies dominance in terms of the hazard

rate.

(b)  1.  implies 3., i.e.  likelihood ratio dominance implies dominance in terms of the reverse

hazard rate.

(c)  2. implies 4., hazard rate dominance implies FOSD.

(d)  3. implies 4., reverse hazard rate dominance implies FOSD.

Solution.

(a) Likelihood ratio dominance (i.e.  (1)) is equivalent to  >  . This implies that, after

integrating both sides over y from x to b, we have (remember that F (b) = G(b) = 1)

(xb dy > (xb dy  =÷   >   =÷   > 

1 - F (x)      1 - G(x)              f(x)           g(x)   

f(x)             g(x)               1 - F (x)      1 - G(x) ,

which is the same as λF (x) < λG (x).

(b) Using the equivalence between (1) and    <    and integrating over x from a to y

yields (remember that F (a) = G(a) = 0)

(ay   < (ay    =÷   <   =÷   <

F (y)      G(y)            f(y)       g(y)

f(y)      g(y)           F (y)     G(y) ,

which is the same as σF (y) > σG (y).

(c) Notice that -λF (x) = [ln(1 - F (x))]\  and -λG (x) = [ln(1 - G(x))]\ . Therefore,

- (ax λF (y)dy = ln(1 - F (y))la(x) = ln(1 - F (x)) - ln(1 - F (a)) = ln(1 - F (x)) and 1 - F (x) = e- |a(﹔) λ#(y)dy   =÷  F (x) = 1 - e- |a(﹔) λ#(y)dy .

Consequently, given λF (y) < λG (y), we have

F (x) = 1 - e- |a(﹔) λ#(y)dy  < 1 - e- |a(﹔) λè(y)dy  = G(x).