Questions 1–4 involve short computations. You only need to provide the answer (number or vector); no working is needed.

1.  (5 points)  Let

A =  ,    x =  

Compute Ax.

2.  (5 points)  Let

A =  ,    B =  3    4(4)  .

Compute AB .

3.  (5 points)  Let

R =                  1(3) 

Solve Rx = b.

4.  (5 points)  Suppose that a particular computer takes 0.6 seconds to compute the norm of a 5000-vector. Estimate how long it would take for that same computer to solve a constrained least squares problem

minimize    ∥Ax − b∥2

subject to   Cx = d,

where A is a 500 × 20 matrix, and C is a 100 × 20 matrix.

Questions 5– 10 involve longer responses. You need to provide justification/working for all of your answers.

5.  (10 points)  Compute the gradient ∇f(x) of f(x) = ∥Ax − b∥2 .

Hint:  You may use the following fact without proof. Let g : Rn  → R is defined by g(x) = xT Qx for some n × n matrix Q. Then ∇g(x) = (Q + QT )x.

6.  (10 points)  Consider the stacked vectors

c1  =  b(a)1(1)  , . . . ,ck  =  b(a)k(k)  .

If a1 , . . . ,ak  are linearly independent, can we conclude that c1 , . . . ,ck  are linearly independent? Why/why not?

7.  (10 points)  Let A be a m × n matrix and let W be a m × m diagonal matrix with nonzero diagonal entries. Show that Ax = 0 if and only if WAx = 0.  Use this to argue that A has linearly independent columns if and only if WA has linearly independent columns.

8.  (10 points)  Explain why the multiobjective least squares problem              minimize    ∥A1 x − b1 ∥2 + λ∥A2 x − b2 ∥2

can be rewritten as an ordinary least squares problem.

9.  (10 points)  Consider a least squares problem

minimize    ∥Ax − b∥2

where A is an m × (n + 1), x is an (n + 1)-vector, and b is an m vector. Assume that the first column of A is a column of 1s.

It is typically good practice to first standardize the columns of A  (except for the first column) before solving the least squares problem.   More precisely, we define a new m × (n + 1) matrix , where each