本文节选自交互式科普电子书《AI是如何思考的》 在线阅读GPT如何学会说话TokenAI的词汇单位GPT不会像人类一样读汉字或字母。它读的是Token——一种介于字符和单词之间的文本片段。英文中约3/4个单词对应一个Token中文中约1-2个汉字对应一个Token。GPT-3的训练语料包含了3000亿个Token——这是一个用任何人类阅读速度去类比都会显得荒谬的数字。BPE字节对编码分词算法的工作方式是从单个字符出发反复合并最常一起出现的字符对直到达到预设的词汇表大小GPT-3的词汇表是50257个TokenGPT-4扩展到约10万。这意味着同一个词的单复数“cat”/“cats”或不同时态“run”/“running”可能有独立的Token。自回归一个字一个字地思考GPT生成文本的核心机制是自回归。给定前文今天天气很模型计算词汇表中每个Token作为下一个词的概率从概率分布中采样得到好。然后今天天气很好变成新的前文模型继续预测下一个Token。这个过程持续重复。关键细节在于上下文窗口模型看到的只是最近N个TokenGPT-3约2048个GPT-4 Turbo扩展到128K个——大约300页书。超出窗口的内容被遗忘因此在很长的对话中模型确实可能忘记你最开始说了什么。GPT-1 → GPT-2 → GPT-3三部曲GPT-12018年1.17亿参数在BooksCorpus上训练。主要意义是概念验证——证明了生成式预训练的有效性。12层Transformer解码器12个注意力头。GPT-22019年15亿参数。OpenAI最初以可能被恶意使用为由拒绝开源完整模型引发巨大争议。但开源的缩减版本已经能生成连贯的假新闻——足以让所有人意识到这个技术有多强大。GPT-32020年1750亿参数。真正的分水岭。涌现出了少样本学习能力——只需要几个例子通常用演示文本不需要更新权重就能完成翻译、编程、写诗等任务。这是OpenAI迈向封闭的商业模式的转折点——GPT-3不再开源仅通过API提供。RLHFGPT如何学会好好说话基础语言模型有一个核心问题它被训练来预测下一个Token而不是回答用户问题。当你问法国的首都是什么“它可能给你续写一篇地理小论文而不是直接说巴黎”。OpenAI的解决方案是RLHF基于人类反馈的强化学习——一个三步流程第一步——监督微调SFTAI训练师扮演用户和AI助手两边编写高质量的问答对话。OpenAI雇佣了约40名标注员耗时数月编写了大约13000组对话。GPT-3在这些标准答案上微调后初步学会了对话格式。第二步——奖励模型让模型对同一个问题生成多个不同回答由人类标注员按质量排序。用这些对比数据训练一个奖励模型将人类偏好量化为数值分数。这一步产生了约33000个偏好比较对标注的挑战在于成本极高、一致性难以保证。第三步——PPO强化学习用奖励模型作为评分官通过PPO算法微调模型。当模型生成高质量回答时获得高奖励反之获得低奖励。如果模型回答偏离原始能力太远会加上一个KL散度惩罚项——防止模型为了讨好奖励模型而忘记原本的语言能力。规模定律越大越好2020年OpenAI发表了著名的论文提出了规模定律模型的性能随参数数量、训练数据量和计算量的增加而平滑改善遵循幂律关系。这意味着只要投入更多算力和数据模型就能持续变强。但这里有三个随之而来的问题成本爆炸GPT-4的训练成本估算为6300万至1亿美元推测使用了约25000块A100 GPU持续90-100天。这还不包括多次失败试运行的损失。数据天花板高质量互联网文本将在2026年左右被耗尽。Common Crawl的原始网页处理率仅为1/1000——质量太低无法直接使用。收益递减GPT-4相比GPT-3的提升已经不如GPT-3相比GPT-2那么显著这是否意味着简单的规模扩张正在触及天花板GPT-4混合专家的秘密GPT-4据推测使用了MoE混合专家架构——16个专家子模型每次推理只激活其中2个。传统的稠密模型中1.7万亿参数全部参与每次计算。MoE用一个路由网络决定这个问题更适合哪个专家只激活最相关的专家来处理。GPT-4的有效活跃参数约2000亿但总知识容量相当于1.7万亿参数的稠密模型。这意味着用更少的计算获得更多的能力。OpenAI从未官方确认GPT-4的具体参数数量可能是出于竞争和安全的双重考虑但多位独立研究者通过推理成本和性能等特征推断了这些数字。幻觉大模型最头疼的问题所有大语言模型都有幻觉——自信地编造不存在的事实。根本原因有三语言模型不是搜索引擎它的目标是生成从语法和上下文角度看合理的文本而不是真实的文本Token选择基于概率而非事实核实训练数据包含矛盾信息模型学会了在相冲突的事实之间插值推理的本质是概率预测而不是验证模型不会说我不知道——这是训练过程的固有特征而非简单修复的Bug目前最有效的缓解方案是RAG检索增强生成在生成回答之前先从外部知识库检索相关信息将其作为上下文嵌入提示中。这不是修复了幻觉而是给模型提供了一个外部参考书。多模态AI从眼盲到全感官AI为何需要多模态想象你只能通过文字了解世界——从未见过红色从未听过音乐。早期的大语言模型如GPT-3就是这样的存在。它读过人类写下的所有描述但它从未真正看到或听到任何东西。多模态AI的核心使命就是打破这种限制。让AI拥有视觉、听觉乃至触觉不是为了装酷而是因为真实世界的知识是跨感官的——没有视觉理解你无法真正理解红色。CLIP连接文字与图像的翻译官2021年OpenAI发布了CLIP——这是多模态领域最重要的突破之一。CLIP的训练方式听起来简单却非常巧妙从互联网收集4亿对图文图片对应的描述文字训练两个编码器——一个图像编码器ViT和一个文本编码器。然后通过对比学习让同一对的图文向量靠近不同对的推远。训练一个4亿分类的分类器在传统意义上是不可能的但CLIP巧妙地绕过了这个问题——它不直接识别类别而是学习图文之间的对齐关系。CLIP最令人惊讶的是它的零样本能力训练完成后它可以识别训练时从未见过的物体类别——只需用文字描述该物体CLIP就能判断图片是否匹配这个描述。这是第一个真正有效的零样本图像分类器。DALL-E / Midjourney / Stable Diffusion三种路径2022年是AI绘画的爆发年三大流派各自走出了不同的路属性DALL-E (OpenAI)MidjourneyStable Diffusion核心技术自回归 扩散模型混合扩散模型细节不明潜在扩散模型Latent Diffusion开源闭源闭源开源风格精确、写实艺术性极强通用性强商业模式ChatGPT Plus内置独立订阅Discord开源生态 商业版扩散模型的原理非常优雅从一张纯噪点图像开始反复迭代去噪每一步都根据文字描述来引导这个区域的噪点应该去掉还是保留。潜在扩散模型Stable Diffusion的突破在于把去噪过程压缩到潜在空间——一个高度压缩的信息表征——而非直接在像素空间操作将计算成本降低到了消费级GPU能在几秒内出图的水平。AI的听觉Whisper与音乐生成OpenAI的Whisper采用了与传统端到端语音识别不同的思路用68万小时的标注语音做监督训练覆盖97种语言。这个规模在当时是史无前例的。为什么能收集到这么多数据答案是Whisper的标注数据大部分来自互联网上已有的音频文本对——TED演讲的音频字幕、YouTube视频的内容字幕、教育讲座的音频课件文字。68万小时听起来很多但OpenAI用分布式训练系统在数周内完成了全部训练。与此同时AI音乐生成也在崛起Google的MusicLM、Stability AI的Stable Audio、Suno AI和Udio都能根据文字描述生成完整的歌曲——有配器、有人声、有完整的歌曲结构。质量和自然度在2024-2025年达到了惊人的飞跃。Sora与GPT-4o多模态的下一站2024年初Sora的发布震撼了所有人——60秒超写实的AI生成视频物理世界的模拟比以往任何技术都更逼真。Sora的核心创新在于将扩散模型和Transformer架构相结合在视频压缩成的时间-空间补丁Spacetime Patches上训练使其能够理解物体的3D结构、光影变化和跨帧运动一致性。2024年5月发布的GPT-4oo for omni全知全能则代表了另一个方向真正的原生多模态。不同于之前的GPT-4V文本模型外挂一个视觉编码器GPT-4o从一个统一的Token空间出发文本、图像、音频都在同一个神经网络中处理。这带来的实际效果是端到端推理延迟大幅降低——从GPT-3.5的2.8秒和GPT-4的5.4秒降至平均320毫秒。AI开始接近人类对话的自然节奏。不完美的现实偏见与DeepFake多模态AI的能力越强滥用的风险就越高。CLIP学习了互联网上的偏见护士倾向于女性、CEO倾向于男性。DALL-E在生成医生时默认是白人男性。DeepFake技术进入了高度逼真的阶段语音克隆只需要3秒的样本就能合成以假乱真的声音人脸替换从照片扩展到实时视频身份验证声纹、人脸面临前所未有的挑战。社会尚未准备好应对这个级别的信息可靠性挑战。标签建议#GPT #大语言模型 #RLHF #多模态AI #DALL-E #Sora #GPT-4o #科普