机器学习

• 实现AI的方法

• 广义：以实现系统具体能力为目标

• 狭义：从数据中学规律，学模型

模型

1. 是什么？
2. 如何得到？
3. 数据？

模型是什么

• 实际物理系统的简化表示
• ML中，能够表达输入与输出关系的数学表达式

如何得到模型/数据

• 预先收集的样本

  人给出标注，即给出样本

• 在智能系统运行后期间利用人机交互和反馈

• 左右互搏生成数据

技术路线

• 从数据出发
• 人机交互：强化学习
• 生成：对抗学习

样例学习

要点：基于收集到的样本数据学习

Classical: 着重小样本的统计数据学习

Popular: 适合大数据的深度学习

AI与大数据有重叠，但不等同

统计机器学习

基于数据构建统计模型，并基于模型实现对目标对象的预测

输入：数字，文字，图像，视频，音频

算法

• KNN
• Kmeans
• SVM

​ ……

如何评价模型好坏

损失函数: 预测值与真实值的差别，度量预测的好坏

0-1 loss function：
$$
L(Y,f(x))=\left{\begin{matrix}
1, & y\neq f(x)\
0, & y=f(x)
\end{matrix}\right.
$$
……

分类与回归

分类: 输出变量取有限个离散值

回归：输出变量取连续值

感知机模型

• 二分类， 线性分类
• 输入是特征向量，输出类别为 $\pm 1$
• 分离超平面

$$
w\cdot x+b=0
$$

$$
w \cdot x=(w^{(1)},w^{(2)},\cdots ,w^{(m)})\cdot (x^{(1)},x^{(1)},\cdots,x^{(m)})
$$

$$
w \cdot x = w^{(1)}x^{(1)}+w^{(2)}x^{(2)}+ \cdots + w^{(m)}x^{(m)}
$$

学习算法

随机梯度下降

损失函数:

$
L(w,b)=-\sum_{x_i \epsilon M}^{} y_i(w \cdot x_i+b)
$