Questions 1–4 involve short computations. You only need to provide the answer (number or vector); no working is needed.

1.  (5 points)  Let

A = ] ,    x =  「(l)3 ,    y = [ 1] .

Compute yT Ax.

2.  (5 points)  Let

A = ] ,    B =  「(l)   2 .

Compute AB .

3.  (5 points)  Let

R =  「(l)2    1    1 ,    b =  「(l) .

Solve Rx = b.

4.  (5 points)  Suppose that a particular computer takes 3 seconds to perform the Gram-Schmidt algorithm on 20 500-vectors (i.e., 20 vectors each of length 500). Estimate how long it would take for the same computer to solve a least squares problem

minimize    ∥Ax − b∥2

where A is a 1000 × 300 matrix.

Questions 5– 10 involve longer responses. You need to provide justification/working for all of your answers.

5.  (10 points)  Let x,y be two n-vectors, and α,β be two scalars such that α + β = 1.  Define µ = αx + βy . Show that

α(x − µ)(x − µ)T + β(y − µ)(y − µ)T  = αxxT + βyyT  − µµT .

6.  (10 points)  Let

A = ] .

Determine whether the rows of A are linearly independent or not.

7.  (10 points)  Let A be an m × n matrix with linearly independent rows. Let B be an n × n orthogonal matrix. Does the pseudoinverse of AB exist? If so, give an expression for the pseudoinverse of AB; if not, provide a counterexample of A and B where the pseudoinverse does not exist.

8.  (10 points)  Let

lb1 J                la1(T)J                 lw1

b =  '「b...n   ,    A =  '「a...Tn   ,    W =  '「

J

wn    .

Assume that w1 , . . . ,wn  > 0. Consider the following variant of least squares:

n

minimize    工 wi (bi − ai(T)x)2 .

i=1

Show that this can be rewritten as an ordinary least squares problem, and give a formula for the solution in terms of A, b and W .