/>机器学习分为监督学习、无监督学习、强化学习（可选）三大分支

监督学习算法

线性回归

核心：拟合线性关系y

=

0.0359em;">y=

style="margin-right:

0.0269em;">wx+b

/>特点：简单、可解释性强

逻辑回归

核心：Sigmoid函数处理二分类P

=

\frac{1}{1+e^{-(wx+b)}}

style="margin-right:

0.1389em;">P(

style="margin-right:

0.0359em;">y=1∣x)=

style="height:

-2.6146em;">1+e

style="height:

0.0714em;">−(

style="margin-right:

0.0269em;">wx+b)

style="top:

-3.394em;">1​

style="height:

0.4438em;">

/>特点：输出概率值

决策树

核心：基于信息增益/基尼系数分裂节点

/>特点：可解释性强，易过拟合

随机森林

核心：多决策树投票集成

/>特点：抗过拟合，并行计算

支持向量机（SVM）

核心：最大化间隔超平面w

+

0

style="margin-right:

0.0269em;">w

style="height:

0.1389em;">Tx+b=0

/>特点：适合小样本高维数据

无监督学习算法

聚类->K均值聚类

核心：最小化簇内平方误差∑

=

\mu_i||^2

style="position:

0em;">∑

style="height:

0.05em;">i=1

style="top:

0.0315em;">k​

style="height:

0.2997em;">

style="position:

0em;">∑

style="height:

0.05em;">x∈

style="margin-right:

0.0715em;">C

style="height:

0.0714em;">i​

style="height:

0.143em;">​

style="height:

0.3998em;">∣∣x−μ

style="height:

0.05em;">i​

style="height:

0.15em;">∣∣

style="height:

0.05em;">2

/>特点：需预设K值

降维->主成分分析（PCA）

核心：特征降维，保留最大方差方向

/>特点：线性变换，丢失部分信息

其他关键算法

朴素贝叶斯

核心：基于条件独立性假设P

P(y|x)

P(x_i|y)

style="margin-right:

0.1389em;">P(

style="margin-right:

0.0359em;">y∣x)∝

style="margin-right:

0.1389em;">P(

style="margin-right:

0.0359em;">y)

style="position:

0.1389em;">P(x

style="height:

0.05em;">i​

style="height:

0.15em;">∣

style="margin-right:

0.0359em;">y)

/>特点：计算效率高

K近邻（KNN）

核心：基于距离投票分类

/>特点：惰性学习，计算成本高

梯度提升树（如XGBoost）

核心：迭代优化损失函数

/>特点：高性能，需调参