Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

COMP4702/COMP7703 - Machine Learning

Homework W6 - Dimensionality Reduction

Questions

1.  (2 marks) The CIFAR-10 dataset is a widely-used benchmark dataset in machine learning (see         https://www.cs.toronto.edu/∼kriz/cifar.html for details). A subset of CIFAR-10 is available on the course blackboard site (cifar10 data batch2.mat).  Perform PCA on four1  of the classes in this

CIFAR-10 dataset. Submit a plot of the data projected onto the first two principal components. Use a different colour for each class.

2.  (3 marks) Fisher’s Linear Discriminant Analysis is described in this week’s lecture for a dataset with two classes. Alpaydin discusses (p.143-144) how to generalise this for K > 2 classes. Using the first

two features of the Iris dataset, calculate the between-class scatter matrix before the projection (correct to four decimal places).

3.  (1 mark) What is the general type of optimisation algorithm used for training in t-SNE?

Guyon and Elisseeff[1] is a very well-known paper about feature selection.  You will find it on the course blackboard site. Please refer to it to answer the following questions.

4.  (2 marks) Techniques for choosing features in machine learning are sometimes categorized as wrappers and filters. Explain in 3 sentences or less the difference between wrapper and filter methods.

5.  (3 marks) One very common way of performing feature selection is to calculate the correlation coefficients between all pairs of features in the dataset and then remove features that have a very high (absolute) correlation value. Guyon and Elisseeff show a simple example where this is a bad idea

(Fig.2b in [1]). After reading this example, explain in your own words (approx. three sentences) why this example demonstrates that selecting features based on their correlation might be a bad idea.