Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

ECO 352 - Machine learning, SBU Fall 2022

Problem set # 4.

This problem set will have the theoretical part (problems 1 and 2) and empirical part (problem 3). Please, submit a scan if you write them by hand.

1. Read the wikipedia page about logical connective at

https : ==en:wikipedia:org=wiki=Logical connective

This type of operators lies in the basis of natural language processing. Following examples in class, design the neural networks that approximate the operators XOR, IMPLY, NAND, NOR, NOT, NIMPLY (hint: you may need to use more than one layer in the network).

2. Consider the neural network that has 3 inputs in the frst layer (plus add a constant term),

2 inputs in the second hidden layer (again add a constant term) and one output.  The activation functions are sigmoids.  Construct the corresponding cost function with regularization and derive the gradient of the cost function by hand (this essentially requires you to use chain rule for nested functions). Next, write down the gradient descent method for training such a network.

3. Consider the provided MATLAB code for handwritten image recognition. This code has too

many technical details to write it on your own in a short period of time. So, instead of writing a new code, we study the existing code and experiment with some parameters. Read the handout with a detailed description of the code. Write down (type) the key steps of the provided code and explain them. Try to modify the number of samples used for training, the degree of regularization and the learning rate. Documents the tendencies. Submit the MATLAB output with these experiments.