1.基本术语
（1）数据集不带最后一列：样本/示例/特征向量
带最后一列：样例
（2）表头不带最后一列：属性/特征，属性空间/特征空间/样本空间/输入空间
表头最后一列：标记/输出，标记空间/输出空间
（3）训练集：训练示例、训练样本、训练例
测试集：测试示例、测试样本、测试例
（4）学习任务：分类(二分类/多分类)、回归、聚类
分类和回归为监督学习，聚类为无监督学习
2.假设空间
（1）归纳：特殊到一般（泛化）
演绎：一般到特殊（特化）
（2）从样例中学习是归纳学习
（3）假设空间是样本空间到标记空间的映射，是属性所有可能的取值组合构成的空间
（4）假设空间大小：sum(属性的取值数+1)+1，第一个+1表示取通配符*，第二个+1表示∅这种极端情况
（5）搜索假设空间：自顶向下（一般到特殊）、自底向上（特殊到一般）
搜索过程中删除和正例不一致的假设
（6）假设空间的子集中，与训练集一致的空间的集合为版本空间，版本空间中的所有树都能将所有样本判断正确。版本空间包含了所有可能的决策树，这些决策树能够完美地对训练集进行分类，即没有误分类的样本。
3.归纳偏好
（1）版本空间中不同的模型在训练集上表现一致，选哪个去预测测试集？
（2）根据偏好选择比如特殊的、一般的、或根据领域知识决定某个属性取某某的（与特征选择不同）。
（3）原则：奥卡姆剃刀（选简单的平滑的）、没有免费的午餐（具体问题具体分析）
