Hello, dear friend, you can consult us at any time if you have any questions, add WeChat: daixieit

EE 335/435: Deep Learning Foundations from Scratch

PREREQUISITES

Prior machine learning experience (e.g., an introductory machine learning course EE 375/475 or a similar course), a thorough understanding ofLinear Algebra and Vector Calculus, and strong   familiarity with the Python programming language (e.g., basic data manipulation libraries, how  to construct functions and classes, etc.). Python will be used for all coding assignments.

TEXTS:  There is no required text for the class.  Two ofthe textbooks I will draw material from

are:

J. Watt, R. Borhani, and A. K. Katsaggelos, Machine Learning Refined: Foundations, Algorithms, andApplications, Cambridge University Press, 2020 (2nd edition).

I. Goodfellow, Y. Bengio, A. C. Courville, Deep Learning, MIT Press, 2016. In addition, other textbooks and papers will be mentioned in the class.

COURSE OUTLINE:

1. Deep Feedforward Networks

•      Supervised learning recap

•      Feedforward networks in the context of function approximation

2. Technical Issues with Deep Networks

•      Mathematical optimization recap

•      Automatic differentiation, implementations in Python

•      First order stochastic gradient methods

•      Regularization techniques

•      Technical tricks

3. Convolutional Networks

•      From fixed feature extractors to convolutional networks

•      Composing filters and functions

•      Applications in computer vision and speech processing

•      Transfer Learning

4. Recurrent Networks

•      Recurrence relations

•      Parameterized recurrence relations and feedforward networks

•      Deriving vanilla recurrent networks

•      Popular architectures, Long-Short-Term-Memory (LSTM) networks, Gated Recurrent Unit (GRU)

•      Applications in NLP and speech recognition

5. Additional Topics

•      Autoencoders (AE), Variational Autoencoders (VAEs)

•      Generative Adversarial Networks (GANs); extensions and applications

•      Attention in networks and Transformers

•      Capsule Networks

•      Graphical models and Graphical CNNs

•      Spiking Neural Networks

•      Hybrid Networks

•      Visualization Approaches

•      Ensembling

•      Examples of specific applications in entertainments, the arts, science, and medicine

COURSE HAND-OUTS: This course has no required textbook.

PROBLEM SETS: 5-6 problem sets will be assigned and graded. They will be typically           assigned on Thursdays. All computer assignments and submissions will be in Jupyter Notebook script format.

COURSE PROJECT: There will be a project for the course.

COURSE GRADE: Final grades for the course are based on homework (65%) and project

(35%).