1.  [10 marks. All parts carry equal marks.]

(a) Suppose a random variable X has themgf mX (t) = 4−10(3 + et )10 for any value of t. What standard distribution does X follow with what parameters?

(b) Suppose a random variable X has the mgf ee2(2e)t   for any value of t. What are the

mean and variance of X?

(c) Suppose a random variable X has themgf mX (t) = (1 − 2t)−5  . What standard distribution does X follow with what parameters?

(d) Suppose a random variable X has the pdf

fX (x) = (π)− 2 + 8x − 16, ,    −∞ < x < ∞

What standard distribution does X follow with what parameters?

(e) Suppose a random variable X has the pdf

fX (x) = (2πx)−  ,   0 < x < ∞

What standard distribution does X follow with what parameters?

2.  [10 marks]

(a) [2 marks] Suppose X1 ,..., Xn  is a random sample from the gamma distribution with positive parameters α and β. Assuming α is known, what is the method of    moments estimator for β?

(b) [2 marks] Suppose x1 ,..., xn are random observations of X1 ,...,Xn which follow the Poisson distribution independently and identically with parameter

λ > 0. Write down the log-likelihood function of λ for fixed values of x1 ,...,xn.

(c) [2 marks] Suppose x1 ,..., xn are random observations which gave rise to the score function

u(θ) = −5 + ,   θ > 0.

Find the maximum likelihood estimate of θ by solving u(θ) = 0.

(d) [4 marks] For a random sample X1 ,..., Xn  having E(Xi ) = θ for all i, suppose that the score function is given by:

U(θ) = −n + ,   θ > 0.

Evaluate I(θ), the Fisher Information number and the Cramr–Rao lower bound on the variance of an unbiased estimator for θ. [See definitions in the formula

sheet.]

3.  [10 marks. All parts carry equal marks.]

(a) Suppose X1 ,..., Xn is a random sample from the Bernoulli distribution with parameter p. State the asymptotic distribution of the estimator ˆ(p) =X(¯) .

(b) Assume that the maximum likelihood estimator θ(ˆ) based on a random sample

X1 ,...,Xn of θ has the asymptotic normal distribution N lθ, . State the

asymptotic distribution of g(θ(ˆ)) where g( · ) is a one-to-one function.

(c) In the context of hypothesis testing a null hypothesis is given by

Xi ∼ N(µ = 0,σ2 ),   i = 1, . . . ,n,

independently. Is this a simple or a composite hypothesis? Give justification for your answer.

(d) Define Type I error and Type II error in the context of testing the null hypothesis H0 against the alternative H1 .

(e) Which of the following is a part of the correct statement for the Neyman–Pearson lemma:

(A) “the test of smallest power is the likelihood ratio test.”

(B) “the test of smallest Type II error probability is the likelihood ratio test.” (C) “the likelihood tests can never achieve the largest power.”

(D) “the most powerful test has the least probability of Type I error.”

(E) None of the above.

4.  [20 marks]

(a) [2 marks] State the Bayes theorem for random variables.

(b) [2 marks] In a Bayesian inference set up for estimating θ, assume that the

likelihood function is given by f(x1 ,..., xn |θ) and the prior distribution is π(θ). When do we say that the prior distribution is conjugate for θ?

(c) [2 marks] State the Jeffreys prior for estimating a single parameter θ from a random sample X1 ,..., Xn from the distribution with probability function f(x|θ).

(d) [7 marks] Suppose that X1 ,..., Xn  is a random sample from the Poisson

distribution with parameter θ > 0. To estimate θ we assume the prior distribution π(θ) = e−θ for θ > 0. Obtain the posterior distribution of θ. What is the Bayes    estimator of θ under the squared error loss?

(e) [7 marks] Suppose we have one observation x = 0.25 from the exponential   distribution with parameter β > 0 (see the formula sheet). Find the maximum likelihood estimate (mle) of β. Assume a discrete uniform prior distribution:

π(β) =   ot(β)her(=)is(2) .. . . , 5,

Obtain the posterior probability table for β, i.e. P(β = i|x = 0.25) for

i = 1, 2, . . . , 5. Which value of i has the maximum posterior probability? Interpret your result based on themle of β you obtained earlier.

5.  [25 marks]

Suppose that a random sample X1 ,..., Xn  is obtained for a random variable which has the pdf

fX (x) = x2 exp ( −  , x > 0,θ > 0.

(a)  [6 marks] Write down the log-likelihood function of θ and show that the maximum

likelihood estimator (mle) of θ is θ(ˆ) = , where X(¯) is the sample mean.

(b)  [4 marks] Show that the Fisher information number, I(θ), is  .

(c)  [5 marks] Show that themle θ(ˆ) is unbiased and also achieves the Cramr-Rao

lower bound.

(d)  [5 marks] State the asymptotic distribution of θ(ˆ) for large values of n. Hence find

an approximate 95% confidence interval for θ .