矩阵：机器学习的基石

在线性代数中，矩阵是一个基础而强大的工具。对于我们搞计算机的人来说只需要理解矩阵的概念就行，那些公式啊、定理啊，不用去死记硬背。为什么？因为我们写代码的时候，这些计算douKe以交给 NumPy、Eigen之类的库来完成。我们要Zuo的，只是搞清楚什么时候该用矩阵、怎么用就够了。

矩阵是一个按照长方阵列排列的数集合。在数学中，矩阵是一个由 m × n 个数排成的 m 行 n 列的矩形表格。

矩阵通常用大写字母表示，如 A、B、C。矩阵中的元素用小写字母表示，如 aᵢⱼ，其中 i 和 j 分别表示元素所在的行和列。

A = | a₁₁ a₁₂ ... a₁ₙ | | a₂₁ a₂₂ ... a₂ₙ | | ... ... ... .. | | aₘ₁ aₘ₂ ... aₘₙ |

这个 m × n 的矩阵Ke以记为 A = ₘₙ。

矩阵的起源矩阵Zui早来自于方程组的系数及常数所构成的方阵。这一概念由19世纪英国数学家凯利 提出。

我们先来kan一个简单的线性方程组：

2x + y = 5x - 3y = -2

以前我们求解方程组，需要一步步消元，过程繁琐且容易出错。数学家们就在思考：有没有一种geng简洁的方式来表示和计算？

答案就是矩阵！矩阵的出现主要为了解决以下问题：

. 简化线性方程组的表示和求解

. 描述线性变换

. 描述多维数据

有一些特殊类型的矩阵经常出现，它们各自具有独特的性质和应用场景。

. 零矩阵

. 单位矩阵

. 对角矩阵

. 对称矩阵

. 三角矩阵

加法与减法: 矩阵加法是指两个相同大小的矩阵对应位置元素相加。前提是两个矩阵必须是同型矩阵。减法类似，是对应位置元素相减。

A = | 1 2 | | 3 4 |B = | 5 6 | | 7 8 |A + B = | 1+5 2+6 | = | 6 8 | | 3+7 4+8 | |10 12|A - B = | 1-5 2-6 | = |-4 -4| | 3-7 4-8 | |-4 -4|

数乘: 用一个数 kkk 乘以矩阵，就是把每个元素dou乘以 kkk。

k = , A = |- − ||− − ||− − ||− − ||− − ||− − ||− − ||− − ||− − ||− − ||− − ||− − | kA=|⋅− ⋅−||⋅− ⋅−||⋅− ⋅−||⋅− ⋅−||⋅− ⋅−||⋅− ⋅−||⋅− ⋅−||⋅− ⋅−||⋅− ⋅---||⋅-- ⋅--| =|−−|||−−|

交换律与结合律 : 加法满足交换律与结合律；但乘法一般不满足交换律 , 即 AB≠BA。但满足结合律 C=A。

分配律 : A=AB+AC,C=AC+BC。

在机器学习里, 数据通常长成个什么样? —— 没错, 就是个大大的二维表格 : 每一行代表一个样本 , 每一列代表一个特征 。比如说你要预测房价, 你收集了100套房子的信息: 每套房子有面积、卧室数量、地理位置等特征, 那这就是个100×n的大表格。这其实就是个100×n 的实数矩阵X , 其中:

第i行xj​这一"行向量"代表第i个房子的全部特征

第j列xj​这一"列向量"代表所有房子的第j个特征

这样的组织方式妙处在于:批量计算超方便 : 有了NumPy这种专门Zuo数值计算的库, 处理整个数据矩阵的速度比自己写循环快几个数量级。

yyy 是预测目标值, 是一个 m×1 的列向量

XXX 是我们的特征数据, 是一个 m×n 的样本特征举证

www 是权重向量, 代表每个特征的重要性

bbb 是偏置项, 理解为基准值

整个式子 y=Xw+b 写出来其实是: