1. 线性回归从数学原理到Python实现线性回归堪称机器学习领域的Hello World它用一条直线揭示数据背后的规律。想象你是一位房产中介手上有100套房子的面积和价格数据。线性回归能帮你找到面积和价格之间的定量关系这样当新房源出现时你就能快速估算合理价格。这个算法的数学之美在于最小二乘法。它通过最小化预测值与真实值的平方差残差平方和来找到最佳拟合直线。公式表示为y β₀ β₁x₁ β₂x₂ ... βₙxₙ ε用Python实现只需几行代码from sklearn.linear_model import LinearRegression import numpy as np # 生成示例数据 X np.array([[1.5], [2.3], [3.1], [4.8], [5.6]]) # 房屋面积 y np.array([3.7, 4.8, 5.9, 8.2, 9.1]) # 房屋价格 # 创建并训练模型 model LinearRegression() model.fit(X, y) # 预测新数据 new_house np.array([[3.5]]) predicted_price model.predict(new_house) print(f预测价格: {predicted_price[0]:.2f}万元)实际应用中要注意三个坑多重共线性会让系数估计不稳定异常值会显著影响模型效果记得检查残差是否符合正态分布2. 逻辑回归分类问题的利器别被名字骗了逻辑回归是个分类算法。它用Sigmoid函数将线性回归的输出压缩到(0,1)区间解释为概率。比如预测用户是否会点击广告输出0.7表示70%的点击概率。核心公式是p 1 / (1 e^(-z)) # zβ₀β₁x₁...βₙxₙ实战中处理二分类问题的代码示例from sklearn.linear_model import LogisticRegression from sklearn.datasets import load_breast_cancer # 加载乳腺癌数据集 data load_breast_cancer() X, y data.data, data.target # 创建模型并训练 model LogisticRegression(max_iter5000) model.fit(X, y) # 查看特征重要性 print(特征重要性:, model.coef_[0])调参经验分享正则化参数C越小惩罚力度越大类别不平衡时用class_weight大数据集用solversag加速3. 决策树像人类一样做决策决策树通过一系列if-else规则进行预测就像玩20个问题的游戏。它最大的优势是可解释性强——你可以直接把决策过程展示给业务方看。构建决策树的关键是选择分裂标准分类问题基尼系数或信息增益回归问题均方误差Python实现示例from sklearn.tree import DecisionTreeClassifier, plot_tree import matplotlib.pyplot as plt # 创建深度为3的决策树 model DecisionTreeClassifier(max_depth3) model.fit(X, y) # 可视化决策树 plt.figure(figsize(12,8)) plot_tree(model, feature_namesdata.feature_names, class_namesdata.target_names, filledTrue) plt.show()避免过拟合的技巧设置max_depth限制树深用min_samples_leaf控制叶节点最小样本数通过ccp_alpha参数进行剪枝4. 随机森林集体的智慧随机森林通过构建多棵决策树并投票来提高预测准确性。就像咨询多位专家比问一个人更可靠。我在电商用户流失预测项目中随机森林的准确率比单棵决策树提升了8%。关键参数解析n_estimators树的数量通常100-500max_features考虑的特征数常用sqrt或log2bootstrap是否使用自助采样代码示例from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score model RandomForestClassifier(n_estimators300, max_featuressqrt, random_state42) scores cross_val_score(model, X, y, cv5) print(f交叉验证准确率: {scores.mean():.2f}±{scores.std():.2f})特征重要性分析model.fit(X, y) importances model.feature_importances_ sorted_idx importances.argsort()[::-1] print(重要特征排序:) for idx in sorted_idx[:5]: print(f{data.feature_names[idx]}: {importances[idx]:.2f})5. 支持向量机(SVM)边界最大化的艺术SVM通过寻找最大间隔超平面来分类数据就像在两类之间画一条最宽的马路。核技巧让它能处理非线性问题我在文本分类任务中用过RBF核的SVM效果比逻辑回归好15%。不同核函数对比线性核速度快适合高维数据RBF核万能但需要调参多项式核适合特定领域问题Python实现from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline # 创建带标准化的SVM管道 model make_pipeline(StandardScaler(), SVC(kernelrbf, C1.0, gammascale)) model.fit(X, y)调参经验先用网格搜索找大致范围C控制分类严格度gamma影响决策边界形状6. K近邻(KNN)物以类聚KNN认为相似的数据应该有相似的输出。它不做显式建模而是记住所有训练数据。我在推荐系统中用过根据用户最近邻的行为推荐内容。距离度量选择欧式距离默认选择曼哈顿距离高维数据更稳定余弦相似度适合文本数据代码示例from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import GridSearchCV # 通过交叉验证选择最佳K值 params {n_neighbors: range(3, 15)} model GridSearchCV(KNeighborsClassifier(), params, cv5) model.fit(X, y) print(f最佳K值: {model.best_params_[n_neighbors]})注意事项特征缩放很重要大数据集计算成本高高维数据效果可能不佳7. 朴素贝叶斯概率的力量基于贝叶斯定理假设特征间相互独立。虽然这个假设很强但在文本分类等任务中表现惊人。我用它做垃圾邮件过滤准确率能达到95%以上。三种常见变体高斯型连续特征多项式型计数数据伯努利型二元特征实现示例from sklearn.naive_bayes import MultinomialNB from sklearn.feature_extraction.text import CountVectorizer from sklearn.pipeline import Pipeline # 文本分类管道 model Pipeline([ (vectorizer, CountVectorizer()), (classifier, MultinomialNB()) ]) texts [优惠促销, 会议通知, 免费领取, 项目进度] labels [1, 0, 1, 0] # 1表示垃圾邮件 model.fit(texts, labels) print(model.predict([限时折扣]))8. 主成分分析(PCA)降维神器PCA通过线性变换将高维数据投影到低维空间保留最大方差的方向。我在处理基因表达数据时用PCA将5000维降到50维依然保持了90%的信息。Python实现from sklearn.decomposition import PCA import matplotlib.pyplot as plt # 降到2维可视化 pca PCA(n_components2) X_pca pca.fit_transform(X) plt.scatter(X_pca[:,0], X_pca[:,1], cy) plt.xlabel(PC1 (解释方差: %.2f%%)%(pca.explained_variance_ratio_[0]*100)) plt.ylabel(PC2 (解释方差: %.2f%%)%(pca.explained_variance_ratio_[1]*100)) plt.show()选择主成分数的技巧观察碎石图拐点累计解释方差80%用交叉验证评估下游任务表现9. K均值聚类发现数据内在分组无监督学习的代表算法通过迭代将数据划分为K个簇。我用它做客户分群发现了高价值客户群体。算法步骤随机初始化K个中心点将每个点分配到最近的中心重新计算中心点位置重复2-3直到收敛代码示例from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 寻找最佳K值 scores [] for k in range(2, 8): model KMeans(n_clustersk) labels model.fit_predict(X) scores.append(silhouette_score(X, labels)) best_k np.argmax(scores) 2 print(f最佳簇数: {best_k})评估聚类效果轮廓系数(-1到1越大越好)簇内平方和(Elbow法)实际业务解释性10. 梯度提升树(GBDT)竞赛冠军的标配通过串行训练多棵弱学习器每棵树纠正前序的错误。XGBoost、LightGBM等都是其高效实现。我在Kaggle比赛中LightGBM比随机森林提高了3%的AUC。核心优势自动处理缺失值内置特征选择对异常值鲁棒LightGBM示例import lightgbm as lgb from sklearn.model_selection import train_test_split # 划分训练验证集 X_train, X_val, y_train, y_val train_test_split(X, y, test_size0.2) # 创建数据集 train_data lgb.Dataset(X_train, labely_train) val_data lgb.Dataset(X_val, labely_val) # 设置参数 params { objective: binary, metric: auc, learning_rate: 0.05, num_leaves: 31 } # 训练模型 model lgb.train(params, train_data, valid_sets[val_data], num_boost_round1000, early_stopping_rounds50)调参顺序建议先设大learning_rate(如0.1)找合适n_estimators调整num_leaves和max_depth调min_data_in_leaf等防过拟合参数最后减小learning_rate增加n_estimators在实际项目中我通常会先尝试逻辑回归和随机森林作为基线然后根据数据特性选择更复杂的算法。特征工程往往比算法选择更重要——好的特征能让简单算法表现惊人而糟糕的特征再强的算法也无力回天。