如题有些博主吹的巨离谱是真的不懂还是把小白当傻白当然有句话叫做“士别三日当刮目相看”我们给“豆姐”一次机会看看最新发布的豆包 Seed 2.1 Pro 是否真的有巨大的提升。以免有人混淆豆包和 Seed 的概念我插一句啊豆包是一个产品包含很多功能而 Seed 是豆包背后的多模态模型。我们今天要说的是这个模型的编程能力不是插科打诨的能力。1. 看点分析杂七杂八的二手资料就不看了。我们先来看一下 Seed 官方博客中的说法官方一句话概括是我们很高兴向你介绍 Seed 2.1 系列面向真实生产力场景的全新智能体。豆包毕竟不缺用户所以它目标很清晰面向“真实生产力场景”然后介绍了三个维度更可靠的通用 Agent 能力更稳定的代码工程交付能力更强劲的多模态等基础能力第一个是通用智能体能力可能确实会不错。第二个是代码工程交付能力是我们今天的测试重点。第三个是多模态能力这个毋庸置疑国内顶级。所以从第一个和第三个来说它们的 Work 功能应该还是可以的我上一篇也介绍过了。今天的重点是 Coding 功能我们把关注点拉到 Coding 部分这部分重点就是看这张基准图了各位注意看字节自己的报告中编程部分就没有一项是第一的但是呢分数确实和一线水平比较接近了相比 2.0 应该是有巨大的提升终端和编程这两个基准分数看着都还不错。当然这个只是卖家秀仅供参考另外还有一张 Seed 2.1 Pro 和 Opus 4.6 PK 的图片官方表示在众测开发者评估中结果显示在更贴近真实 Coding 流程的任务中Seed 2.1 在最终完成质量上获得更高评价。Seed 2.1 Pro 的胜率是 59%这一项我没有参与所以我不做评价另外就是 Arena 上面的排行榜了这个榜单最近国产模型必刷而且官方也会频繁站台发推。上次说 GLM-5.2 Max 排名第二超过了 Opus 4.8这个基本上是假的这次说豆包超过了 Opus 4.6我不确定啊。因为 4.6 已经是 Claude 的上一代的上一代的上一代模型了。也是有可能的这个榜单最怪异的地方是 Gemini-3.5 Flash 排名居然只排 14什么豆包、千问、智谱、Kimi 排名都比它高。这我第一个表示不服啊。论前端“满血版”Gemini肯定吊打所有人。好了精准的基础信息已经看完了。然后来看看“国产模型又杀疯了全面超越 Opus 4.6对标 Opus 4.7 了”这些描述到底是否靠谱了2. 坦克大战最近用 Fable 开发了一个经典游戏《坦克大战》所以我对这个进行了深入的研究同时也测试了好几个顶级模型。我发现除了 Claude 家的模型之外其他模型首轮表现都非常拉跨即便是修改也很难修改。既然有差距这就是一个非常棒的测试例子。今天也拿你来测试一下 Seed 2.1 Pro测试工具就是用它们自家最新版智能体工具 Trae Work。需求很简单就下面这一段话帮我写一个网页版的坦克大战吧玩法和界面可以参考经典版要实现前面的 10 关。要能够正常通过每个关卡没有明显 bug如果你不理解这个游戏规则可以先检索如果你已经知道了就直接开干你只有一次机会希望你好好把握创建一个单独文件夹作为项目目录不读取修改其他目录下面是豆姐的解题过程豆姐你这有点太欺负人了啊。人家一般都只是写一个页面你这个搞了 10 个文件还写了技术架构文档、产品需求文档上下文都干到 63%。当然这个是允许的。我们本身就是测试智能体 模型的综合能力。我只是负责把问题交给它怎么做是它的事情。哪怕是去网上抄我也不管。下面来验收一下结果这是它的开始界面这是它的游戏界面我测试了一下除了它这个大本营和地图有点一言难尽之外居然是可以玩的。而且各种道具生成和使用效果都是正常的也有各种对应的音效爆炸的视觉效果和声音还做得挺好的。右侧这个面板也显示了关键的几个要素除了各种细节不像之外运行逻辑上没太大问题哦豆姐这一波牛了。Kimi K2.7 和 GLM-5.2 第一轮结果基本是没法玩的状态。豆包 Seed 2.0 Pro 我也让我娃用过它认认真真写了几百字的提示词但是最终效果很拉跨被小学生无情吐槽。这个 2.1 Pro 至少是能玩了但是说实话细节还是没法看相比而言有人一次性就做到了这种程度不比较还好一比较就是差距。当然我们也从来没有期望 Seed 2.1 Pro 能达到这种程度。所以这一趴这一次的抽卡结果我个人觉得还可以能到国内主流模型的实力3. 超级玛丽当然《坦克大战》只是开胃小菜我们还有一个经典游戏“超级玛丽”呢同样把提示词扔给它然后它干了大概 38 分钟左右。看起来也是搞了很多东西。调用了webdev的技能写了需求文档写了技术文档。还做了测试确保第一个关可通过。然后又搞了一大堆的 JS 和 JSON 文件。看起来也是十拿九稳了可惜这一波没稳住。像不像这种已经不用说了。最大的问题是它根本……无法……跳跃作为一个跳跳的游戏居然没有跳跃功能基本是零分了。而且地图和位置关系也是有很大的问题的我记得测试 2.0 Pro 的时候地图虽然也很抽象但是还是能跳的这一波就没啥好评价了只能说确实是“豆包的水平”上一例可能是被它撞大运抽到一张好卡了。不太好的模型发挥就是会很飘忽有的时候还可以有的时候就特别拉跨。4、江湖百晓生我老是测试游戏豆姐可能会说我不是奔着游戏来的我是奔着工程实践来的。好的那就帮我做个网站吧。我之前一直测试一个《江湖百晓生》的网站就是让 AI 帮我把金庸古龙的小说、人物、兵器、武功等等都整理成一个网站中国武侠基本就在这里了我就把这个诉求给它看看它表现如何为了完成这个网站我大概是等了一个多小时。拿到结果后我看了一下首屏效果很不错它是有一个动态效果的中间的内容慢慢展开然后背景中做了一些水墨掉在宣纸上化开的静态效果。然后头部的首字都标红了。字体和配色板块划分都还不错。整个网站内容的组织逻辑是在线的它可能比较会做网站。比如它们官方例子中有一个语言学习类的网站效果也还可以它们对做网站应该是做了专门的优化训练的。然后我仔细二屏和其他网页就发现了一个问题。它其他地方的配色实在是太混搭了。我一个武侠网站啊你给我搞紫色粉红色亮黄色这是要开染坊么这个配色饱和度我真的无语了我认为网页设计中布局第一空间和业务逻辑配色视觉第二。它在布局上已经没有太大毛病了但是第二点没做好就不完整了。就差一点点这一点如果能配好一些这次测试是可以到中等偏上水平的。但是差一点就是差一点这就是我们常说的差点意思。5. 前端 9 考在上面截图中可以看到Seed 2.1 Pro 在模型竞技场前端测试中排在了第八名如果按模型系列分类的话它仅次于 Claude 系列和 GLM-5.2 系列排到了第三名这排名算是很高了那么你们觉得这排名靠谱么前端测试例子我多的很啊而且已经测试了很多的模型参考数据也非常充分。我就把我的9个例子拿出来让它跑跑看。我总共让它测了两轮第一轮是直接把所有题目扔给他让它一个题目一个题目依次回答。第二轮是每个对话一个题目手动开十个对话。Work这并发可以啊一口开了十个对话也没啥问题我们先来看第一个例子赛博朋克版《清明上河图》测试内容请不要直接画图而是编写一段 单个 HTML 文件 的代码当我用浏览器打开它时能看到一幅动态的、赛博朋克风格的《清明上河图》长卷。要求画面需要自动从右向左缓缓滚动。必须包含至少 50 个动态元素如闪烁的霓虹灯招牌、飞行的汽车、全息投影的广告、街头的机械义肢行人。鼠标悬停在任意店铺上时要弹出一个赛博风格的信息卡片如“老王义体维修店 - 好评率 98%”。关键技术点SVG/Canvas 绘图编程能力CSS 动画逻辑鼠标交互事件处理审美设计与视觉呈现豆包 2.1 Pro 的结果这是豆包 2.0 Pro 的结果相比前一代明显好了很多。天空中的飞行汽车和下面船的轮廓都非常圆润完整地面行人的形态也比较正常。就是整个画面还缺点意思这和《清明上河图》有什么关系呢这是 GLM-5.2 的结果整体氛围感和设计感应该是要比豆包好不少的。正常的例子说完了。后面我就要开火了你们仔细看下面的这个文件情况我总共测了两轮正常是18个文件。但是它只有17个文件。正常是应该没有编号3的而且6号文件是第一轮生成的。但是它多了一个3号并且修改了6号文件。我在指令中明确说了禁止读取和修改当前目录中的其他文件。要单独生成新的页面。它把我的话当耳旁风啊。这个问题非常严重乱改文件的模型你们敢在实际项目中用么我用同样的方法测过好多模型它们都能遵循我的指令不生成三号题目然后第二轮单独生成新的文件。它偷偷修改了这个例子这个页面效果确实比第一次生成的效果要好主要是一些氛围方面的东西还不错。水波纹、小舟、飞燕、瀑布、凉亭、树木这些物体的形态基本是正常的位置关系也没有太大问题这也说明如果你反复抽卡Seed 2.1 Pro 也是能抽出一些还不错的东西的。这个可能就是它排名高的原因只要拿好的结果来评分那么分数自然高了。除了这两个例子之外其它例子毛病就比较多了。比如这个无限流文字冒险游戏直接出现了 JS 错误导致完全无法使用比如华丽的五子棋项目打开页面直接显示源代码这就非常离谱很少有选手会这样我测了那么多模型好像就一个模型出现这种情况了。出现这个原因是它犯了一个低级错误lt;!DOCTYPE htmlgt; lt;html langzh-CNgt; lt;headgt; lt;meta charsetUTF-8gt; lt;meta nameviewport contentwidthdevice-width, initial-scale1.0gt; lt;titlegt;AI 五子棋对战lt;/titlegt; lt;stylegt;生成页面的时候用了“转义符号”这是正儿八经的 HTML 页面你用啥转义符呢连这一点都搞不清楚好意思说自己懂编程么我去回看了它的生成对话它这个例子用过了 10 分 46 秒居然连这个基础的错误都会出现而且没有做验证这是 10 分钟在干啥呢我又去看了它另一次生成的五子棋这次界面是有了设计很一般最重要的是又出现 JS 错误导致整个功能完全无法使用。我目测这个题目是“数组越界”了“豆姐”你是完全不犯“高级错误”啊另外一个项目 3D 太阳系也出问题了这个问题是使用了 Three.js 的新版本但是使用了老版本的写法。new了一个不能new的对象。这个例子跑了两次全部错误估计它对 Three.js 这部分知识不是很清楚。所以它的编程知识并不是很充分或者说不是很新。这个例子我一度认为测不出什么差距了没想到今天在豆包这里用上了。作为前端项目好不好看很重要但是能不能跑更重要。连跑跑都跑不起来真的就是错的很离谱了就这个实力怎么和 Opus 4.7 去对比啊。Opus 4.6 全套题目跑下来一个错误都没有而且审美在线很多例子放在今天看还是很不错的。豆包本身是不缺多模态能力的但是如何组织这些元素还是一个大问题而且频繁地出现 JS 错误这个是让人有些无语的页面不报错这是基础要求啊。总的来说豆包老版本的前端是挺拉跨的这个版本嘛正常了很多达到主流的水平了。Work 这个工具在文档编写、Todo 列表的规划这些方面做得还是不错的但是能力受限于模型。办公可能不错编程还是差不少意思从编程的角度来看现在也不是说不能用但不是最佳选择。我们不说它的上限有多高不高首先是下限就很低各种低级错误都会犯这一点就很要命。所以豆姐还是那个豆姐你要求不高用用都挺好。一旦涉及到高要求高标准的专业领域它就可能胡言乱语瞎搞了。我其实对它的编程能力期待不是很高所以也没啥失望的只要没人跟我尬吹我也不想有太多吐槽~~ 我做了这么多测试好的坏的都写出来了大家应该有数了。上面超级玛丽、坦克大战以及 9 个前端测试已经全部上传到 TOPAI有些例子还是挺好玩的而且只有真的在网页上玩过你才知道真实的差距有多少。