1.定义
机器学习(MachineLearning，ML)是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。
≈自动构建一个映射函数
2.类型：
①监督学习：①回归问题（y∈R）②分类问题（y∈离散）
②无监督学习：①聚类②降维③密度估计
③强化学习：eg.交互
3.机器学习的五要素
数据--->模型--->学习准则--->优化算法--->评价指标
模型：
有线性模型也有非线性的等等，一个表达式。
学习准则：
1. 一个好的模型应该在所有取值上都与真实映射函数一致
经验风险最小化
机器学习问题转化成为一个最优化问题
2. 随机梯度下降法： 
在每次迭代时只采集一个样本。
优点：计算开销小，支持在线学习。
缺点：无法充分利用计算机的并行计算能力。
3.那么 机器学习------>?优化
答案肯定不完全是。
在模型构建时可能会出现两种情况：
欠拟合：对于已知数据不符合
过拟合：已知数据差异少，未知数据差异可能很大
4.泛化误差
期望风险 - 经验风险
既希望期望风险降低，也希望泛化风险降低。
5.如何降低泛化误差？
引入正则化：降低模型复杂度
优化虽然可以使经验风险最小，但是期望风险≠经验风险，所以我们有时候不用选取那么复杂的模型。即正则化。
6.除了正则化，提前停止也可以降低泛化误差
也就是说在模型即将出现过拟合的时候，通过验证集检验提前停止。
4.线性回归
毅线性回归为一个例子，来进行机器学习
