Contents

1    Introduction

The Studio 12 questions are examples of the type of questions you will be asked on the exam, in number and length roughly commensurate with the real exam.  Please work on this questions during, and after the studio.  You may ask your demonstrator for some assistance on the questions your studio time.

2    Short Answer Questions

Please provide a short (2-3 sentences) description of the following terms:

1.  Bias and variance of an estimator

2.  A p-value

3.  Classification accuracy, sensitivity, specificity

4.  A decision tree

5.  Penalized regression

6.  A random variable

3    Maximum Likelihood Estimation

A random variable Y is said to follow an exponential distribution with a rate parameter β, if

r(Y = y | β) = β exp (−βy)

where y > 0 is a non-negative continuous number.  Imagine we observe a sample of n non-negative real numbers y =  (y1 , . . . , yn ) and want to model them using an exponential distribution.   (hint:   remember  that the  data  is independently and identically distributed) .

1. Write down the exponential distribution likelihood function for the data y (i.e., the joint probability of the data under an exponential distribution with rate parameter β).

2. Write down the negative log-likelihood function of the data y under an exponential distribution with rate parameter β .

3.  Derive the maximum likelihood estimator for β .

4    Random Variables

Suppose Y1 and Y2  are two random variables distributed as per Y1  ∼ Poi(2) and Y2  ∼ Poi(4).  Remember that Poi(λ) denotes a Poisson distribution with rate parameter λ, which means the random variable follows the probability distribution:

Recall that if Y ∼ Poi(λ), then E [Y] = λ and V [Y] = λ .  Let S = Y1  + Y2  denote the sum of these two variables; then:

1. What is the value of E [S]?

2. What is the value of V [S]?

3. What is the probability that S = 0?

4. What is the value of E [Y1 Y2]?

5. What is the value of E lY12]?

5    Confidence Intervals and p-values

Consider a drug targetting obesity being considered for introduction to the market by the Therapeutic Goods Administration (TGA). The drug has been demonstrated to substantially reduce BMI, but the TGA are concerned about possible side-effects.  They have measured cholestrol levels (in millimols per L mmol/L) on a cohort of 7

individuals who have been administered our drug. The measurements were

y = (5, 5.2, 5.05, 5.35, 5.03, 5.43, 5.36).

The population standard deviation for cholesterol levels is 0.6mmol/L. We can assume that a normal distribution is appropriate for our data, and that the population standard deviation of cholesterol levels for individuals in our sample is the same as the population standard deviation of cholesterol levels for the general population.

1.  Using our sample, estimate the population mean cholesterol levels of people being administered the drug. Calculate a 95% confidence interval for the population mean cholesterol level. Summarise your results.

2.  The mean cholesterol level in the general populace is known to be 4.8mmol/L.  The TGA wants to know two things:  (i) is the population mean cholesterol level in people being given the drug different from the general population,  and  (ii) is it lower than in the general population.   Specify  appropriate  null  and alternative hypotheses for these two questions, and calculate appropriate p-values to provide evidence against each null hypothesis. What is your conclusion regarding these two questions?

6    Regression

1.  Please explain the intuition behind the principle of least squares that is used to fit a linear model with predictor

x = (x1 , . . . , xn ) to the targets y = (y1 , . . . , yn ), and write down the least-squares objective function.

2.  If one of our predictors in a regression, or logistic regression model, is categorical, how can we handle it?

3. Imagine we model a persons blood pressure in mmHg (BP) using a linear regression.  Two predictors are fitted as part of the model:  (i) the persons age in years (AGE), and the amount of alcohol they consume on average per week ALCOHOL (in standard drinks). The model we arrived at is:

E [BP] = 51 + 1.4 AGE + 0.6 ALCOHOL

(a)  From this model, how does a person’s blood pressure change as their age and alchohol consumption vary?

(b) If a person is 33 years old, and drinks on average 2.5 standard drinks per week, what is their expected blood pressure?

4.  The R2  statistic is defined as:

where RSS is the residual sum-of-squares and TSS is the total sum-of-squares.

(a) What does an R2  of 1 mean?

(b) What is an advantage of using the R2  statistic over simply using the residual sum-of-squares  (RSS) to measure goodness-of-fit?

8    Logistic Regression

Imagine that we have built a logistic regression model to predict the probability of heart disease, H, given a persons age (AGE, in years) and their cholesterol level (CHOL, in mg/dl):

logOdds(H) = −7 + 0.0082 CHOL + 0.1 AGE

1.  From this model, what is the effect of age of heart disease?

2. If a person is 70 years old and has 260 mg/dl cholesterol, what is the probability that they will have heart disease?

3.  Using this probability, if you were asked to predict if they have heart disease, what would you say?

4. If you suspected cholesterol was non-linearly related to the log-odds of having heart disease, what could you do to try and improve the model?

9    Bias and Variance

Imagine you have a n random variables Y1 , . . . , Yn , with mean E [Yi] = µ and variance V [Yi] = σ 2 .  Consider the sample mean

Answer the following questions:

1.  Prove that the sample mean  is an unbiased estimator of the population mean.

2.  Prove that the sample mean  has variance V [] = σ 2 /n.

3.  Prove that the sample mean is a consistent estimator of the population mean.