Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

ELEC 475/575 Homework #4

Learning From Sensor Data

Problem 1

Use the table below to complete this problem

a

b

c

p(a, b, c)

0

0

0

0.192

0

0

1

0.144

0

1

0

0.048

0

1

1

0.216

1

0

0

0.192

1

0

1

0.064

1

1

0

0.048

1

1

1

0.096

Consider three binary variables a, b, c e {0, 1} having the joint distribution given in the table. Show by direct evaluation that this distribution has the property that a and b are marginally dependent, so that p(a, b)  p(a) . p(b), but that they become independent when conditioned on c, so that p(a, b I c) = p(a I c) . p(b I c) for both c = 0 and c = 1.

Problem 2

In this problem, you will use principal component analysis (PCA) to perform dimensionality re- duction with an example 2D dataset.

1. Implement PCA on the provided data problem2data.mat.   Plot the original data and the principal components.

2.  Project the data onto the principal component to reduce the dimension of the data to 1-D

3.  Recover an approximation of the 1-D data back onto the original high dimensional space. Plot the recovered data and compare it with the original data

Problem 3

Show that in the limit σ → 0, the posterior mean for the probabilistic PCA model E[Z I x] becomes an orthogonal projection onto the principal subspace, λM(-1)/2VM(T)(x - µ), as in conventional PCA.

Problem 4

Consider the matrix x  e Rn ×d  with rows containing the datapoints and let v  e Rd ×k  be an orthonormal basis for a k-dimensional subspace, where vvT  is the orthogonal projection onto the subspace.

Show that the subspace found by the PCA minimizes the following reconstruction error:

n

冂(冂)xi - vvxi 冂(冂)2(2) .

i=1