1.   [25 marks] Assume that X1 , . . . , Xn are independent, identically distributed random variables with probability density function

fX (x; θ) =              ,   x > 0,   θ > 0.

Also assume that x1 , . . . , xn are observations of X1 , . . . , Xn.

(a)  [5 marks] Show that E (Xi ) = θ/2 and hence that θ(˜) = 2X(-) is an unbiased estimator of θ, where X =  ： Xi.

(b)  [1 mark] Write down the log-likelihood function for θ given x = (x1 , . . . , xn ). (c)  [2 marks] Find the score for θ for a sample of size n.

(d)  [5 Marks] Show that the Fisher information for θ, for a sample of size n, is

I(θ) =  3n  .

(e)  [3 marks] Give a lower bound for the variance of unbiased estimators of θ and show that this cannot be attained.

(f)  [3 marks] Given that Var(Xi 2 , find the efficiency of θ(˜).

(g)  [6 marks] Use the Central Limit Theorem to find the asymptotic distribution of θ(˜)

and hence an approximate 95% confidence interval for θ .

2.   [25 marks]

(a)  [3 marks] Consider the following two linear models both with Y = Xβ + ε, but where under M0

ε     N(0, σ2In )

and under M1

ε     N(0, Σ),

where Σ is an invertible n 根 n covariance matrix.

Show that the ordinary least squares estimator of β ,

β(ˆ) = (XTX)-1XTY ,

is unbiased under both models and find its covariance matrix under both models. (b)  [2 marks] Consider from now on the following special cases of M0 and M1:

Yi = 

where under M0

Ei       N(0, σ2 ),   i = 1, . . . , 2m,

and under M1

Ei        { N(N)0(0) σ(σ)  i(i)   . . ., . , 2m.

Further assume that the Ei , i = 1, . . . , 2m, are independent.

Write-out the vectors and matrices Y , X, β and Σ in terms of

Y1 , . . . , Y2m, β0 , β1 , σ 1(2) and σ2(2), when m = 2.

(c)  [6 marks] Show that under M1 the maximum likelihood estimates of β0 , β1 , σ 1(2) and σ2(2) are given by

β(ˆ)0    =  1 ,

β(ˆ)1    =  2 - 1 ,

ˆ(σ)1(2)  =

ˆ(σ)2(2)  =

(yi - β(ˆ)0 )2 ,

Σ(2m) (yi - β(ˆ)0 - β(ˆ)1 )2 ,

i=m+1

where 1  =  三 yi and 2  =  三i(2)+1 yi. There is no need to check that

the Hessian is negative definite.

(d)  [3 marks] Show that under model M0 , the maximum likelihood estimate of σ2 can be written as

ˆ(σ)2 =  (ˆ(σ)1(2) + ˆ(σ)2(2)).

(e)  [5 marks] Show that the generalised likelihood ratio test for testing M0 against M1 rejects M0 when

(1 + F) (1 +  > k,

where

F =     

(f)  [3 marks] Explain why the generalised likelihood ratio test for testing M0 against M1 rejects M0 when F < 1/c or when F > c.

(g)  [3 marks] Explain why F follows an F distribution under M0 and give its degrees of freedom. You may state any standard results from distribution theory without     proof.

3.   [25 marks]

Assume that X1 , X2 , . . . , Xn are independent identically distributed N (θ, σ2 ) observations. Suppose that the joint prior distribution for θ and σ2  is

π(θ, σ2 )   / ,  θ 2 (-1, 1), σ2  2 (0, 1).

(a)  [3 marks] Derive, up to a constant of proportionality, the joint posterior density of θ and σ2 .

(b)  [4 marks] Derive the conditional posterior distributions of θ given σ2 and of σ2 given θ. Name those distributions.

(c)  [8 marks] Derive the marginal posterior density of θ. Name that distribution and write down its mean and variance for n > 3.

(d)  [10 marks] Now assume that σ2  is a known constant. Find the Bayes factor where one model corresponds to θ = 0 and the other model has θ following N (0, τ2 ) a-priori.

4.  Consider a dose response study where the aim of the experiment is to model the

toxicity of a drug. Let xi  = 0 if the drug does not produce substantial side effects,

and xi  = 1 if it does, when the dose yi  is applied to a subject (i = 1, . . . , n). Each    dose is applied to a different subject, and we assume that the xi are realisations from independent Bernoulli random variables with corresponding success probabilities pi.  A logistic regression model will be used to describe the relationship between xi and   yi with

log  = α + βyi .

(a)  [8 marks] Find the likelihood for x = (x1 , . . . , xn ) and hence show that, when α and β have independent standard Normal prior distributions, the posterior density (up to a normalising constant) is given by

π(α, βjx) /  .

(b)  [7 marks] The joint posterior distribution for α and β can be explored using the Metropolis-Hastings algorithm. For the logistic regression example above, find   expressions for the acceptance probability of a new proposed combination

(α , β )

(i) using Normal distributions centred around the current iteration and with

variance 1 as the proposal distributions,

(ii) using the prior distributions from part (a) as the proposal distributions.

(c)  [10 marks] If π(θjx)/π(θ)     M < 1 for all values of θ, show that the

acceptance rate of the Metropolis-Hastings independence sampler is at least as  high as that of the corresponding rejection sampler. Use the fact that acceptance rate for any rejection sampler is less than or equal to 1/M and that the

probability of accepting the nextstep proposed by π(θ  ) at any point θ(t)  is:

1

α(θ(t)) = l π(θ ) min {1,π(π)θ(θ)(tj))  } dθ .

—1

Describe the advantages and disadvantages of using rejection sampling and Metropolis-Hastings independence sampler in this case.