1.  (a)     Define formally what it means for vectors to be linearly independent.  Explain

intuitively how this notion is related to the rank of a matrix.

[3 marks] Vectors  x1 , . . . , xn   are  linearly  independent  if  α 1 x1  + . . . + αn xn  = 0  if and  only  if  α 1  = . . . = αn .    The  rank  of  a  matrix  is  the  maximal  num- ber  of  linearly  independent  (row  or  column)  vectors  in  the  matrix.

Suppose that A is a 3 × 4 matrix given by

A  =      

                            .

Find the rank of the matrix A. Is the rank full?

[9 marks]        The  rank  of  the  matrix  is  3 .    One  can  easily  check  that  the  first  three vectors  are  linearly  independent.    Since  the  rank  is  equal  to  the  num-  ber  of  rows  in  A ,  the  rank  is  full.

(c)    Consider the following system of linear equations

1x1     +   3x2     +   4x3     =      3;

2x1     +   7x2     +   3x3     =   −7;

2x1     +   8x2     +   6x3     =   −4.

Does it have a solution? Does it have more than one solution? Make sure to

precisely motivate your answer.

[7 marks]        From  the  previous  part  of  this  question,  we  know  that  vectors  (1, 2, 2) ,    (3, 7, 8),  and  (4, 3, 6)  are  linearly  independent.    Therefore,  the  rank  of      the  matrix  of  coefficients  corresponding  to  the  above  system  of  equa-    tions  is  full.    In  particular,  vector  (3, −7, −4)  must  be  a  linear  com-    bination  of  the  above  vectors,  which  suffices  to  conclude  that  the  sys- tem  of  equations  has  at  least  one  solution.    Since  there  are  only  three variables,  there  is  exactly  one  solution.

(d)    Consider a system of equations

1x1     +   3x2     +   4x3      +   3x4     =   b1 ;

2x1     +   7x2     +   3x3      −   7x4     =   b2 ;

2x1     +   8x2     +   6x3      −   4x4     =   b3 .

for some arbitrary values of b1 , b2 , b3 . Depending on the values of the numbers b1 , b2 , b3  on the right hand side, does the system of equations always have a solution? Can it have more than one solution? Motivate your answer.

[6 marks]        The  matrix  of  coefficient  corresponding  to  the  above  system  of  equa-      tions  is  equivalent  to  the  matrix  A.    We  know  that  the  rank  of  A  is      full,  so  the  above  system  has  a  solution  for  any  b1 ,  b2 ,  and  b3 .    How-     ever,  since  there  are  4  variables  and  3  rows,  there  are  infinitely  many solutions.

2.  (a)     Explain precisely what it means for a matrix to be invertible.

[3 marks]    The  inverse  of  a  matrix  A  is  another  matrix,  usually  denoted  by  A− 1 , such  that  the  inner  product  A · A− 1    is  equal  to  the  unit  matrix.    A     matrix  is  invertible  if  its  inverse  exist.

Suppose that A is a 3 × 3 matrix given by

A  =      

  0   1   2   .

(b)     Find the inverse of the matrix A (if it exists).

[8 marks]       The  method  of  finding  the  inverse  of  a  matrix  that  was  discussed  in       the  lecture  and  seminars  was  based  on  elementary  transformations.    In   other  words,  one  can  first  transform  matrix  A  to  a  unit  matrix.    Then, apply  the  same  transformations  to  the  unit  matrix  in  order  to  obtain     the  inverse  of  A .    The  solution  would  be

A− 1     =    1     

2    − 1   0      2   .

(c)    Solve the following system of linear equations.

2x2     +   2x3     =   2;

x1     +     x2     +     x3     =   1;

x2     +   2x3     =   0.

How many solutions does it have? Make sure to motivate your answer.

[6 marks]      Since  the  matrix  of  coefficients  in  the  above  system  is  equal  to  the    matrix  A,  it  suffices  to  apply  the  same  list  of  transformations  used   in  question  (b)  to  the  vector  (2, 1, 0) .    The  resulting  vector  (0, 2, − 1)     is  the  unique  solution  to  the  system  of  equations.    Alternatively,  one could  note  that  the  matrix  A  is  invertible,  or  has  the  full  rank,  so   the  corresponding  system  of  equations  has  exactly  one  solution.

(d)    Show that vector (x1 , x2 , x3 ) given by

      =  A− 1  ·    ,

is a solution to the system of linear equations in part (c), where A− 1  denotes the inverse of the matrix A.

[3 marks]        Indeed,  vector  (0, 2, − 1)  is  a  solution  to  the  above  system  of  equations.

(e)    “If an ℓ × ℓ matrix is invertible then its rank must be full.” Give a sketch of an

argument supporting this claim.

[5 marks]

The  easiest  way  to  show  this  is  to  notice  that  whenever  matrix  A  is invertible,  then  equation  A ·x = b  has  exactly  one  solution,  for  any  vector  b .    In  particular,  we  have  x = A− 1 ·b .    However,  this  must  im- ply  that  the  matrix  A  is  of  full  rank.

3.  Consider the function

f (x, y, z)  =  x3  + 3y2  + 2xz3  − z3 y − 1.

(a)    Compute the Jacobian of f and discuss whether the function is continuously

differentiable.

[4 marks]

The  Jacobian  is  a  vector

Df (x, y, z)   =              =    2y2  

Clearly,  each  partial  derivative  exists  and  is  continuous,  so  func- tion  f  is  continuously  differentiable.

(b)    Verify that the Hessian matrix of the function f is symmetric.  Is this true for

any function for which the Hessian exists? Explain precisely.

[5 marks]

The  Hessian  is  a  3 × 3  matrix

D2 f (x, y)   =       0(6x)

  6z2

0

6

−3z2

12xz − 6zy    ,

which  is  symmetric.    This  follows  from  Schwarz’s  theorem  (or  Clairaut’s theorem  on  equality  of  mixed  partials).    However,  this  need  not  al-        ways  hold.    This  is  always  true  as  long  as  the  cross-partial  deriva-      tives  are  continuous.

Next, consider the function

g(x, y)  =  

(c)    Sketch a level graph of the function g, with the horizontal axis corresponding to variable x and the vertical axis corresponding to variable y .

[4 marks] The  level  curves  will  be  hyporbolas  in  the  positive  orthant  and  all the  rest  will  be  flat  and  equal  to  0.

(d)     Evaluate the Jacobian of g at any point (x, y) such that x  0 and y  0.

[5 marks]

The  Jacobian  is  a  vector

Dg(x, y)   =    (   )   =    (     ) ,

for  x > 0  and  y > 0,  and  Dg(x, y) = (0, 0)  otherwise.

(e)    By applying the formal definition of the partial derivative, compute the partial

derivatives of function g at (0, 0).  Is this function continuously differentiable? [Hint: Check how the partial derivatives change as x and y approach 0.]

[7 marks]

Using  the  formal  definition

(x, y)   =   lim                                          =   lim                =   0.

4.  (a)     Define formally the notion of a local maximum and local minimum of a function.

How are these notions different from global maxima and global minima?

[3 marks]

A  local  minimum  of  a  function  f ,  is  an  argument  such  that  f (x) ≤ f (y) ,  for  all  y  is  some  open  ball  around  x .    We  define  a  local  maximum  anal- ogously.    Global  minima/maxima  satisfy  the  above  condition  for  any  y    in  the  domain.

(b)     Find all extremal points of the function

f (x, y)  :=  x4  + x2  − 6xy + 3y2

and classify each one as a local maximum, local minimum, or saddle point.    [9 marks]

The  Jacobian  of  the  function  is

Df (x, y)   =      ) ,

which  is  equal  to  0  at  (0, 0) ,  (1, 1),  and  ( − 1, − 1) .    The  Hessian  is

D2 f (x, y)   =     ) .

Hence,  matrices  D2 f (1, 1)  and  D2 f ( − 1, − 1)  are  positively  semi-definite,            so  (1, 1)  and  ( − 1, − 1)  are  local  minima.    The  matrix  D2 f (0, 0)  is  non-definite, so  (0, 0)  is  a  saddle  point.

(c)     Define formally what it means for a function to be concave. What does it mean for a function to be strictly concave?

[3 marks]

Function  f  is  concave  if  for  any  x ,  y  and  α ∈ [0, 1] ,  we  have

f (αx + (1 − α)y)   ≥  αf (x) + (1 − α)f (y).

The  function  is  strictly  concave  if  the  above  inequality  is  strict  for all  α ∈ (0, 1) .

(d)    Suppose that functions f : R → R and g : R → R are concave. Show, without assuming that the functions are differentiable, that the function

h(x)  =  min {f (x), g(x) },

is also concave. [By min{y, z}, we mean the lower of the two numbers.  That is, if y < z, then min{y, z} = y. Otherwise,we have min{y, z} = z .]

[10 marks] Take  any  x ,  x′ .    If  f (x)  ≥ g(x)  and  f (x′ )  ≥ g(x′ ) ,  the  concavity  con- dition  holds  trivially.    Let  f (x)  ≥ g(x)  and  f (x′ ) < g(x′ ) .    Take  any α ∈ [0, 1]  and  suppose  that  h(αx + (1 − α)x′ ) = g(αx + (1 − α)x′ ) .    Then

αh(x) + (1 − α)h(x′ )   =   αg(x) + (1 − α)f (x′ )

≤   αg(x) + (1 − α)g(x′ )

≤  g(αx + (1 − α)x′ )

=   h(αx + (1 − α)x′ ).

If  h(αx + (1 − α)x′ ) = f (αx + (1 − α)x′ ) ,  we  prove  this  analogously.

5. An individual maximises her preferences represented by the utility function u(x, y), where

u(x, y)  :=  √x  +  2 √y ,

with respect to the amounts x, y of goods 1 and 2, respectively.  We assume that both goods can be consumed only in positive amounts.  Moreover, the consumer faces the following budget constraint

x + 2y  ≤  24.

Since consuming each good takes time, she also faces a time constraint 2x + y  ≤  24.

(a)     Draw a graph of the set of constraints that the consumer is facing in this opti-

misation problem. Determine whether the set is compact and/or convex.

[3 marks]

y

12

8

12

The  set  is  bounded  and  closed,  hence,  compact.    It  is  also  convex.

(b)     Determine whether the objective function is continuous over the set of con-

straints. Is the function (strictly) concave? Determine if the consumer’s optimi- sation problem has a solution. Is it unique? Precisely motivate your answer.

[3 marks]

The  objective  function  is  well-defined  and  continuous  function  over      the  set  of  constraints.    One  can  show  that  it  is  also  strictly  con-      cave.    Given  that  the  set  of  constraints  is  compact  and  convex,  this    is  sufficient  to  conclude  that  there  is  a  unique  solution  to  the  above optimisation  problem.

(c)    Write down the Lagrange function corresponding to the optimisation problem and write down the Kuhn-Tucker conditions for this problem.  [Hint:  You may neglect the non-negativity constraints for x and y without loss.]

[5 marks]