Let X and Y be jointly-distributed discrete random variables, with joint probability function f (x, y).

(a) Prove, from the definitions of covariance and correlation (which you should state), and linearity of expectation, that two independent random variables are uncorre- lated. Is the opposite true, i.e. are uncorrelated random variables always (or ever)

independent?                                                                                                [8 marks] (b) Suppose f (x, y) =1(北)8(y)  for x = 1, 2, 3 and y = 1, 2.

(i) Complete following table:

y

2

1

x

Add to the table the marginal distributions of X and Y respectively, and use these to demonstrate that f (x, y) is a valid joint probability function. [6 marks]

(ii) Show that f (x, y) = P (X  = x) x P (Y  = y) and explain what this implies

about X and Y.                                                                                     [3 marks]

(iii) Numerically evaluate the conditional distribution of Y given X  =  1, and again, given X = 2. What do these distributions confirm about the random

variables X and Y?                                                                               [3 marks]

(iv) Find E(X) and E(Y).                                                                           [2 marks]

(v) What is the correlation of X and Y? Justify your claim.                    [3 marks]

Question 2                                                       [25 marks]

Let X1 , . . . , Xn be independent random variables, each with moment generating func- tion (mgf) Mi (t) (i = 1, . . . , n). Let ai be known constants where appropriate.

(a) Prove that Y =      aiXi has mgf

n

MY (t) =      Mi (ait)

i=1

justifying important steps.                                                                           [5 marks]

(b) Using the result in (a) and the mgfs provided in the table on page 2, derive the mgf of     Xi in TWO of the following cases, showing all working. Use the mgf to identify the distribution of this sum (family and parameter(s)).

(i) the Xi are binomial, with parameters mi and common probability p (ii) the Xi are geometric, with common parameter p

(iii) the Xi are Poisson, with rate parameter λi

(iv) the Xi are exponential, with common rate parameter λ

(v) the Xi are chi-squared, with νi degrees of freedom                          [10 marks]

(c) The normal random variable with mean µ and variance σ2 has mgf M (t) = eµt+σ 2 t2 .

(i) Let Xi  ~ N (µi , σi(2)). Using the result in (a), prove that Y =      aiXi  is also normal. Hence, identify the mean and variance of Y. Confirm these moments using linearity of expectation in the case of n = 2, i.e. derive E(a1X1 + a2X2 ) and var(a1X1 + a2X2 ).                                                                          [6 marks]

(ii)  Derive the distribution of the sample mean   =        Xi  in the situation

where the Xi have common mean and variance.                                   [2 marks]

(iii) If the Xi are not normal, but have common mean and variance, is the sample mean ever normally distributed? If so, under what conditions, and by what result?                                                                                                    [2 marks]

Question 3                                                      [25 marks]

In each of the questions below, let X1 , . . . , Xn be a random sample of independent and identically distributed random variables drawn from the distribution specified.  Let  be the sample mean.

(a) The table on page 2 lists various random variables, their probability function or probability density function, and moment generating function. Select one of the single-parameter distributions (i.e. not the negative binomial, uniform, gamma or normal).  [If you choose the binomial, you can treat m as a known constant, and estimate p only.]

(i) For the distribution you’ve chosen, derive the log-likelihood function, and thus determine the maximum likelihood estimator for the parameter, show-

ing all working.                                                                                     [8 marks] (ii) For the same random variable, derive the mean by any method, and use the method of moments to estimate the parameter, showing all working. [5 marks]

(iii) Compare the two estimators you’ve obtained. Is the pattern you’ve observed

true for all random variables?                                                              [2 marks] (b) Let X have density function equal to

f (x) =

with p > 0, and let X1 , . . . , Xn be a random sample (iid) from this distribution.

(i) Confirm that f (x) is a valid pdf.                                                          [2 marks]

(ii)  Show that E(X) =  and use this to derive the method of moments esti-

mator of p. Will pˆbe positive?                                                              [3 marks] (iii) Show that the log-likelihood is ln L(p) = n ln p + n ln(p + 1) + (p - 1)     ln xi + ln(1 - xi ) and hence show that the maximum likelihood estimator of p

solves a quadratic equation with coefficients functions of      ln Xi . [NB: you do NOT need to provide the MLE for p by solving this quadratic equation.] [5 marks]