Questions

1.  (3 marks) Write a short (approx. 2-4 sentences) explanation of why is it useful to have bias weights in a single or multi-layer perceptron (MLP)? Hint: use the example of a single neuron with a linear activation function and generalise to a larger network.

2.  (3 marks) Figures 1-3 show some results of training an MLP on a 2D test classification problem. The data and all hyperparameter/training settings are identical apart from the random initialization of weights.  Compare the results in a few sentences, specifically in terms of the discriminant function, the training and test error and the expected generalisation performance of the trained model.

3.  (2 marks) Figure 4shows another MLP training example. The setup is identical to Figures 1-3except a tanh() activation function has been used instead of a rectified linear (relu()) function.  Explain why the discriminant function looks different to those in Figures 1-3.

4.  (2 marks) The softmax activation function:

yi =

is often used in MLPs with multiple output units. Consider an MLP with 3 output units. If outputs o2  and o3  (before activation), are fixed at 0.2, plot the value of softmax as a function of the other output value, o1  at an appropriate scale.

Figure 1: MLP training example.

Figure 2: MLP training example.