【老计带你懂线性代数】01：为什么搞AI的都绕不开线性代数

【老计带你懂线性代数】01为什么搞AI的都绕不开线性代数开头别把线性代数当拦路虎不少人想搞懂AI一翻资料就被向量、矩阵、特征值这些词劝退了觉得线性代数是横在面前的一座大山。我想在开篇就扭转这个印象线性代数不是拦路虎恰恰是理解AI最趁手的一把钥匙。你之所以觉得难多半是当年上课时它被讲成了一堆脱离实际的符号运算行列式怎么算、矩阵怎么求逆算得头晕却不知道有什么用。可一旦你知道这些东西在AI里到底对应什么、拿来干嘛它立刻就变得亲切、好懂、甚至优美起来。这就是这个系列的宗旨用大白话讲透AI真正用得上的线性代数。每个概念我都会告诉你两件事它直观上是什么尽量用几何和生活类比以及它在机器学习、深度学习里怎么用。不堆抽象证明配可跑的代码让你看得懂、用得上。这一篇是开篇总览我先带你从高处看一眼为什么整个AI几乎就是用线性代数搭起来的建立一张全局地图。一句话真相AI的世界是用向量和矩阵搭的先给你一个贯穿全系列的核心认知记住它后面全都好懂了在AI眼里一切数据都是向量一批数据摞在一起就是矩阵而模型的计算绝大部分就是矩阵运算。这句话听起来抽象我们拆开看你会发现它无处不在。数据在AI里长什么样全是向量和矩阵AI要处理的东西五花八门图像、文字、声音、用户行为可它们进到模型里之前都被统一变成了同一种东西数字组成的向量和矩阵。一个用户可以表示成一串数字年龄、消费额、登录频率、活跃天数……这一串数字排起来就是一个向量。一个词在现代AI里被表示成一串几百维的数字叫词嵌入这也是一个向量。意思相近的词它们的向量也相近。一张图片本质是一个像素亮度的网格一张灰度图就是一个数字矩阵彩色图是三个矩阵红绿蓝三个通道叠起来。一整个数据集比如一千个用户、每人十个特征摞起来就是一个一千行十列的矩阵。看不管原始数据是什么进了AI的世界都变成了向量和矩阵这种统一的数学对象。这一步转换极其关键正因为万物都被表示成了向量和矩阵我们才能用同一套数学工具线性代数去处理它们。这也是为什么线代是AI的通用语言。打个比方这就像不管你说中文、英文还是日文进了计算机都变成二进制的0和1于是能用同一套电路处理。AI里的线性代数就是那个把万物翻译成统一数学语言的翻译官。这里值得停下来体会一个反直觉但极重要的点向量不只是一串数字它还是空间里的一个位置。三个数字组成的向量就是三维空间里的一个点或从原点指向那个点的一个箭头。几百维的词向量就是几百维空间里的一个点我们虽然想象不出几百维长啥样但数学上完全成立。一旦万物都成了空间里的点很多AI任务就有了几何解释意思相近的词它们的点在空间里靠得近给用户做推荐就是在空间里找离他最近的商品点分类就是在空间里画一条界把不同类的点分开。这种把问题变成空间里点与点的几何关系的视角是线性代数送给AI最宝贵的礼物也是这个系列会反复带你体会的。你以后听到特征空间“向量空间”“距离”方向这些词就不会发怵它们说的都是这个几何图景。模型的计算绝大部分是矩阵运算数据是向量矩阵那模型对数据做的事呢也绕不开线代。举几个后面会详细讲的例子你先感受一下密度神经网络的一层做的核心运算就是输入向量乘以一个权重矩阵再加一步激活。整个深度网络就是一层层矩阵乘法叠起来第05、13篇细讲。PCA降维本质是求一个矩阵协方差矩阵的特征向量第10篇细讲。推荐系统的矩阵分解是把一个大的评分矩阵拆成两个小矩阵的乘积第12篇细讲。Transformer的注意力机制核心是三个矩阵查询、键、值之间的一连串矩阵运算第13篇细讲。图像压缩、数据去噪可以用SVD奇异值分解来做第11篇细讲。你会发现AI里那些听起来高大上的操作扒开外壳底层几乎都是向量和矩阵在做加减乘。线性代数不是AI的一个可选配件它是AI运转的底层机制本身。这里我想多说一句为什么线性代数明明这么有用很多人学起来却痛苦。问题往往出在学习顺序上。传统课堂习惯从抽象定义和计算技巧讲起一上来就是矩阵求逆的公式、行列式的展开法则让你反复做题却迟迟不告诉你这些东西是什么、有什么用。于是你记住了一堆计算步骤脑子里却没有画面学完就忘。真正好的学法是反过来先建立几何直觉和应用场景再看运算。比如先知道矩阵乘一个向量就是把这个向量在空间里旋转或拉伸一下再看矩阵乘法的公式你就明白那些数字为什么要那样相乘了。这个系列会一直坚持先直觉、后运算先用途、后细节因为我坚信理解了一个数学工具在干嘛比会不会手算它重要得多尤其在有NumPy帮你算的今天。而且还有个现实原因让线代在AI里如此重要它天生适合并行计算。矩阵运算可以被拆成大量同时进行的小计算这正是GPU最擅长的。可以说正是AI的计算能被表达成矩阵运算这一点加上GPU的并行能力才撑起了这一轮深度学习的爆发。作为一个做AI基础设施的人我对这一点感触很深我们买那么多昂贵的GPU很大程度上就是为了更快地做海量矩阵乘法。上代码亲手感受数据就是向量和矩阵光说不练没感觉。我们用NumPyPython里做数值计算的标准库实际造几个向量和矩阵感受一下。输入一些原始数据。输出它们的向量矩阵表示和基本运算。# 依赖pip install numpyimportnumpyasnp# 1. 一个用户表示成向量:[年龄, 月消费(千元), 每周登录次数]usernp.array([28,5.2,12])print(一个用户的向量表示:,user)print(这个向量是几维的:,user.shape)# (3,) 三维# 2. 一批用户摞起来就是矩阵:每行一个用户,每列一个特征usersnp.array([[28,5.2,12],[35,8.0,3],[22,2.1,20],[41,12.5,5],])print(\n一批用户的矩阵表示,形状:,users.shape)# (4, 3) 4个用户,每人3个特征# 3. 一张4x4的迷你灰度图,就是一个矩阵(数字代表像素亮度0到255)imagenp.array([[0,50,100,150],[50,100,150,200],[100,150,200,250],[150,200,250,255],])print(\n一张迷你灰度图就是矩阵,形状:,image.shape)# 4. 感受一个最基础的矩阵运算:给所有用户的消费额打八折(数乘的一部分)discountedusers.copy().astype(float)discounted[:,1]discounted[:,1]*0.8# 第2列(消费额)乘0.8print(\n打折后每个用户的消费额:,discounted[:,1])运行输出示例一个用户的向量表示: [28. 5.2 12. ] 这个向量是几维的: (3,) 一批用户的矩阵表示,形状: (4, 3) 一张迷你灰度图就是矩阵,形状: (4, 4) 打折后每个用户的消费额: [4.16 6.4 1.68 10. ]跑完你就有了最直观的感受一个样本是向量、一批样本是矩阵、一张图也是矩阵而对它们的操作就是在做数组运算。这就是AI处理数据的真实样子没有那么玄。NumPy的array就是我们后面全系列操作向量和矩阵的基本工具。这个系列会带你走过什么给你一张全系列的地图让你知道会学到什么、按什么脉络先认识基本对象向量万物的表示、点积与范数怎么衡量像不像、有多大、矩阵装数据也是变换、矩阵乘法神经网络的核心。再理解变换与空间线性变换矩阵怎么动空间、基与维度数据有几个自由度、秩与行列式矩阵健不健康。然后是AI的核心武器最重要特征值与特征向量、特征分解与PCA、SVD奇异值分解、矩阵分解与嵌入。这几样是线代在AI里真正的皇冠降维、压缩、推荐、词向量全靠它们。最后打通把整个神经网络用线代串一遍再回顾全系列。贯穿始终的一条线是不孤立讲数学每个概念都告诉你它在AI里干嘛。学完你再看那些机器学习、深度学习的原理会有一种哦原来底下就是这些线代的通透感。为了让你感受这种通透我先用一个你天天在用的例子把后面会学的线代串一遍你不用现在全懂有个印象就行。当你在手机上刷到一条推荐视频背后发生了这些线代你这个人被表示成一个向量你的兴趣特征每条视频也是一个向量系统用点积算你的向量和视频向量有多合拍第03篇这些向量其实是通过对海量行为数据做矩阵分解学出来的第12篇而学这些向量的推荐模型内部又是一层层矩阵乘法第05篇。你看短短一次刷视频向量、点积、矩阵乘法、矩阵分解全用上了。这个系列学完这条链路里的每一环你都能看懂。AI不再是黑箱而是一台你能看清齿轮的机器这种感觉很美妙。和另外两个系列的关系AI的数学三部曲如果你看过我前面两个系列这里正好把它们串起来。理解AI的原理需要三块数学地基它们各管一摊线性代数这个系列管数据的表示和变换。万物怎么变成向量矩阵、模型怎么用矩阵运算处理它们。概率统计《老计带你懂概率统计》管不确定性。怎么从数据推断规律、怎么衡量可信度、怎么不被随机性骗。AI算法本身《老计带你懂AI算法》管模型。各种模型怎么工作、适合什么场景。这三者合起来才是完整的AI原理地基。数据用线代表示、用概率统计推断、喂给算法建模。三个系列互相呼应比如PCA降维线代讲它的矩阵原理、概率统计讲它和方差的关系、算法系列讲它怎么用三个角度看同一个东西理解才立体。建议你搭配着看。小结与承上启下核心认知AI里一切数据都是向量、一批数据是矩阵、模型计算绝大部分是矩阵运算线代是AI的通用语言。数据的样子用户、词、图像、数据集进了AI都变成向量和矩阵。计算的样子神经网络、PCA、推荐、注意力、压缩底层都是矩阵运算还天生适合GPU并行。三部曲线代管表示与变换、概率统计管不确定性、算法管模型合起来是完整地基。建立了这张地图我们就从最基本的对象开始一块块搭。下一篇讲向量AI眼里万物的表示方式看清一个用户、一个词、一张图怎么就成了空间里的一个箭头。我们下一篇见。延伸阅读3Blue1Brown《线性代数的本质》Essence of Linear Algebra几何直觉讲线代的神级视频系列强烈推荐https://www.3blue1brown.com/topics/linear-algebraNumPy 官方文档本系列代码的基础库https://numpy.org/doc/姊妹篇《老计带你懂AI算法》《老计带你懂概率统计》和本系列共同构成AI的数学与原理地基推荐搭配阅读说明以上为官方与经典公开资料地址可能随版本调整如打不开可用标题搜索。