Now that you have all the main tools used in regression we can consider the “bigger picture” which

is how to build regression models in statistcs.

First off: statistical modelling is something of an art. If you give the same (complex) data set to two statisticians you may find that they come up with two different models. If they know what they are doing they won’t be very different but they will be differences – so there is not necessarily one right answer. You must learn to use your judgement (and interactions with team members when working together) to make decisions about what steps to take in an analysis. So you must be able to defend any steps you take. This means you cannot analyse the data without thinking carefully about which steps to take. If you are not thinking about what the results mean at every step and are focussing only on diagnostics or plots then you are not doing it correctly!

Typically when faced with a new data set and a specific research question a statistician will do the following before starting to run regressions:

●  Think about what relationships you expect there to be between the variables (i.e. you expect age to be positively correlated with salary)

– but be prepared to reconsider your expectations when more variables come into play i.e. there may be confounding/non-linearity

●  Think carefully about whether there may be omitted predictors i.e. predictors you would like to have observed but haven’t.

– Is it possible to obtain appropriate data on these from another source, do the experts have these data?

– If it is not possible to obtain data on these confounders then how may omitting them from the analysis bias the results

●  If you are working with an expert then make sure you know what they think should be going

on

– beware though of assuming that the expert will be completely correct as they may have pre-conceptions

●  Look at the summary of the data

●  Check that you know which variables are what (type, role)

●  Plot those that are most relevant (typically the outcome vs the predictors)

●  Check these plots make sense (are they non-linear, do the signs make sense?)

●  Are there potential outliers? No need to do anything yet but bear them in mind.

I cannot emphasise how important it is to have thought hard about the problem and the available

data BEFORE you start running regressions.

Then start the analyses and do approximately this (not necessarily but often in this order) :

1.  Start off with a regression with all the variables that for non-statistical reasons (i.e. the expert says so) make sense as predictors

2.  Sometimes it makes sense to combine predictors in a score (as was done with the Study.Skills)

3.  Transform variables where this makes sense  (e.g. if you want to be able to interpret the intercept or if there is clear evidence of non-linearity)

4.  If after an initial regression some predictors have large effects (check the standardised coeffi- cients) check if interactions are also important

5.  Check overall model diagnostics and run the residual plots

6.  Identify outliers (as detailed in WorkShop 5)

7.  Run some cross-validation

Note: There is typically no need to perform steps 6 and 7 for every single model.

At various points you will have to decide whether to include a predictor or not. Do the following:

● If a predictor is non-significant at the 5% level but the sign is correct leave it (with some caveats see below)