文章目录搞文生图的圈子这几年卷得特别有规律。1. 你写的长prompt可能大部分都是废话1.1 凑字数的活儿模型不吃这一套2. 啥才是真正有用的信息量2.1 第一个看图猜文的提升幅度2.2 第二个说的内容有多少能对上2.3 这俩指标能直接预判训练效果3. 怎么把信息量拉满结构化安排上3.1 三层结构清清楚楚3.2 为啥结构化比自由文本强3.3 批量生成有完整流水线4. 用户不会写JSON大模型来转4.1 大模型越强转得越好4.2 专门训练效果再升级5. 还有个隐藏福利改图特别方便5.1 迭代个两三轮基本就到位了6. 最终效果到底咋样6.1 真不是模型大是方法对P.S. 推荐一个大神的教程给想要了解或者学习人工智能知识的读者这个教程里内容讲解通俗易懂且风趣幽默对我帮助很大。我想与大家分享这个宝藏教程请点击下方链接查看 传送门https://blog.csdn.net/qq_74013365搞文生图的圈子这几年卷得特别有规律。就跟大家约好了似的比谁模型参数大比谁训练数据多比谁算力烧得狠三板斧轮着抡卷到现在都快卷出火星子了。结果最近字节Seed团队扔出来个新研究直接给大伙整懵了你们卷了半天有没有想过——给模型看的“题干”本身可能就没写明白1. 你写的长prompt可能大部分都是废话很多人都有个直觉prompt写得越长细节给得越多模型生成的图就越好。就像你给外包提需求总觉得写得越详细对方越不容易跑偏。但现实很打脸自然语言的prompt长度稍微加一点就饱和了再往长了写不仅没提升搞不好效果还往下降。1.1 凑字数的活儿模型不吃这一套团队专门做了个实验同一张参考图从同一份标注出发做了四版越来越长的描述。说白了就是不断加修饰、补铺垫、换说法把一句话抻成一段话字数翻了好几倍。结果呢图像还原的质量基本没涨。新增的那些话大多是换个说法重复已经说过的内容根本没加新的、模型能用的视觉信息。这就跟你写作文凑字数似的“今天天气很好”扩写成“今天的天空格外湛蓝云朵洁白柔软微风拂过脸颊十分惬意”老师一眼就看出来是水字数模型也一样不吃这套。2. 啥才是真正有用的信息量既然长度不靠谱那总得有个东西能衡量caption里到底有多少真东西。团队整出来两个互补的指标专门算这个。2.1 第一个看图猜文的提升幅度这个指标叫GPG大白话很好理解同一句话让视觉语言模型分别在“看图”和“不看图”的状态下去预测看图之后预测准度提升了多少。提升越大说明这句话里和图片绑定的信息就越多不是空口说白话。2.2 第二个说的内容有多少能对上第二个叫ED更直白caption里说的那些物体、属性有多少真的在图里又覆盖了多少图里的内容。简单说就是不吹牛说一个是一个每个描述都有图里的东西对应上。这就跟相亲看简历似的不是写得越长越优秀得每条都能落地说自己年薪百万结果是月薪三千那全是无效信息。2.3 这俩指标能直接预判训练效果最狠的是啥团队测了15种不同的caption配置发现caption的长度和最终训练效果根本没什么稳定关系。但换成这两个信息量指标结果就特别有规律信息量越高模型最终的训练损失就越低准得离谱。这意味着啥以前你想试个新的caption写法得花几十万电费训完模型才知道好不好。现在不用先拿这俩指标算一算大概效果就有数了省下来的钱够喝一年咖啡。3. 怎么把信息量拉满结构化安排上知道了核心是信息量下一步就是怎么把信息量做足还得让模型好消化。团队搞了个叫Structured Prompt的东西说白了就是用结构化的JSON格式来描述一张图。3.1 三层结构清清楚楚这套结构分三层各管各的。第一层是全局层管整个画面的基调什么场景、什么风格、什么光线、什么氛围统统一目了然。第二层是元素层管画面里每个东西是什么、长啥样、在干啥、在哪个位置甚至前后深度都标明白。第三层是关系层管东西和东西之间谁挡着谁、谁在谁左边、俩东西在干啥互动都写得明明白白。3.2 为啥结构化比自由文本强以前的自然语言caption就像一袋混装的零件所有信息搅在一块哪个属性归哪个物体哪个位置对应哪个东西模型得自己猜。结构化之后就不一样了每个信息都有自己的格子标签贴得清清楚楚模型拿过来直接用不用花精力猜谜。就像你收拾衣柜把衣服、裤子、袜子分抽屉放找的时候肯定比扔在一堆里快得多。3.3 批量生成有完整流水线训练数据那么多总不能人工一个个写JSON。团队搭了套完整的流水线通用大模型负责语义内容专门的模型负责补人体姿态、深度信息、分割掩码最后再统一整理成完整的结构化描述。相当于流水线作业各工种干自己擅长的活最后拼出来的成品又准又全。4. 用户不会写JSON大模型来转训练的时候用结构化描述没问题但用户用的时候总不能让人家自己写JSON吧总不能用户输入“画只猫”你回“请先提供符合schema的JSON格式描述”那用户得直接跑了。所以还得有个“翻译”的角色把用户的自然语言需求转成高质量的结构化提示。4.1 大模型越强转得越好团队先试了试零样本直接转发现大模型尺寸越大转出来的质量就越高。再加个思维链让模型先想想再输出效果还能再上一个台阶。就跟你让助理订餐厅一样新手助理只会问你想吃啥厉害的助理直接根据你的口味、预算、位置给你列好几个选项差距就在这。4.2 专门训练效果再升级零样本虽然能用但还是不够顶。团队又搞了三阶段训练一步步把这个“翻译官”训到极致。先学格式和内容分布再学怎么从用户需求反推完整结构最后让它自己生成、自己渲染、自己优化越练越顺手。5. 还有个隐藏福利改图特别方便结构化描述还有个特别实用的好处改起来省事。以前生成的图不对你得琢磨怎么重写一整段prompt改了前面怕影响后面越改越乱。现在不用哪不对改哪。猫的颜色错了就改元素层里的颜色字段位置不对就改坐标前后关系错了就改关系层。精准打击不用全盘推翻。5.1 迭代个两三轮基本就到位了团队还做了个循环修正的机制生成、判断、修改一轮一轮来。实际测下来平均改个两三轮就差不多达标了再往多了改提升也很小。毕竟大方向对了小细节修修补补就行总不能无限改下去改到天荒地老也没必要。6. 最终效果到底咋样说了这么多最关键的还是实际效果。这套组合拳打下来在开源模型里基本是第一梯队很多任务上甚至能跟闭源系统掰手腕。尤其是那种复杂组合、空间关系、需要点常识推理的任务优势特别明显。6.1 真不是模型大是方法对有人可能会说是不是偷偷加了训练量或者换了更大模型团队专门做了对照实验一模一样的模型架构、一模一样的训练数据、一模一样的训练预算一组用结构化描述一组用普通自然语言。结果自然语言那组提升很有限跟结构化的差一大截。说白了不是模型不行是你给模型的“说明书”没写明白。说明书写清楚了同一个模型能干的活直接升级。其实这个研究最有意思的地方是给行业指了个新方向。以前大家卷文生图都盯着模型本身卷拼参数拼数据拼算力卷到成本越来越高普通人越来越玩不起。但这个研究告诉我们换个思路把给模型的条件做扎实把信息捋清楚同样的模型、同样的数据也能出更好的效果。就像打仗不能只拼武器好不好情报准不准、指令清不清晰同样能决定胜负。以后再有人跟你说prompt越长越好你就可以告诉他别凑字数了整点有用的。P.S. 推荐一个大神的教程给想要了解或者学习人工智能知识的读者这个教程里内容讲解通俗易懂且风趣幽默对我帮助很大。我想与大家分享这个宝藏教程请点击下方链接查看传送门https://blog.csdn.net/qq_74013365