Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

COMP4702/COMP7703 - Machine Learning

Homework W4 - Multivariate Parametric Models and Density Estimation

Questions

1.  (2 marks) Consider the nearest mean classifier (see Alpyadin p.104). Given a dataset representing a

K-class classification problem:

X = {xt , rt}

How many distance values would need to be calculated to classify X using this method?

2.  (2 marks) Given the following sample covariance matrix:

C =    0.0100

−0.0200

0.0100

−0.0200

 

0.0700 

Calculate the sample correlation matrix, R.

3.  (3 marks) In the course Datasets folder, you will find two datasets that are a subset of the (Wisconsin) breast cancer dataset from the UCI Machine Learning Repository. These datasets have 9 inputs/fea- tures and class labels in the final column.   Apply quadratic discriminant analysis (see Alpaydin, Section 5.5) to the breast cancer (training) dataset, and provide the following (as a percentage value to two decimal places):

(a) Training error

(b) Validation error

Note: you do not need to work directly with the discriminant function (gi(x)) to do this. You proceed by estimating class densities and using Bayes rule.

4.  (3 marks) Read Section 5.8 of Alpaydin and then exercise 7 in 5.10. Using the approach described, fit a 2-D quadratic regression model to the dataset reg2d.csv, which has the inputs as the first two columns and the target function values in the third column. What are the coefficient values for your linear model?

5.  (2 marks) Imagine you have a 7-class classification problem, where the dataset contains 9 input features.   You decide to build a classifier using a  “mixture of mixtures”, i.e.   using a Gaussian mixture model for each likelihood (p(x|θ)). 3 mixture components are used with diagonal covariance matrices for each mixture model.  Calculate the total number of model parameters in the classifier (include mixture coefficients but do not consider the overall class priors in Bayes Rule).