Lecture 1:Introduction of Deep Learning

一、机器学习

Machine Learning ≈ Let Machine looking for Function

机器学习其实就是让机器不断学习从而找到输入数据和输出结果的函数映射。然后使用这个函数去预测未来！！！

这些函数大致可以分为以下三种类型:

• Regression ：the function outputs a scalar.

• Classification ：given options,the function outputs the correct one.

• Structured learning ：create something with structure(image,document,etc.)

机器学习的步骤

1. Step1：Function with Unknown Parameters

首先根据 training data，推测一个带有未知参数的函数，这个函数就是模型(Model)。当然，这个函数越拟合 training data 越好。

2. Step2：Define Loss from Training Data

定义一个损失函数，它的输出结果代表着这一组未知参数好不好。对 training data 的每一个 sample 计算loss，loss为实际值(y_hat)与预测值之间的差值。最终计算所有loss的平均值得到 LOSS ，即 training data 在这个损失函数下的损失。

3. Step3：Optimization

根据 Optimization 算法找出使得 LOSS 足够小的一组未知参数，以Gradient Descent 算法为例。将所有的未知参数组成一个向量 θ。对 θ 计算gradient得到向量 g 。然后向 g 的反方向更新 θ 。

η ：learning rate。它是一个自己给定的参数。这种自己给定的参数在机器学习称之为 hyperparameter 。

在实际中，一般将训练数据分成一个个batch，每次用一个batch来计算gradient。每一次更新 θ 就是一次 update ，所有的batch全部计算gradient之后就叫一次 epoch 。

二、深度学习

深度学习是机器学习的一个子分支，他是让机器以一种类神经网络的方式进行学习。即将每一个 activation function作为一个神经元，每一层的输出作为下一层的输入，形成的类似于神经网络的model。