向量AI 时代的多模态数据底座Embedding向量嵌入将文本、图片、音频、视频等多模态数据的内在语义编码为高维向量。当这些向量被放入同一空间通过计算彼此间的距离来揭示数据之间的语义关联时它们的真正价值才得以释放——这就是向量检索Vector Search。最初向量主要服务于搜索和推荐用户搜一个词系统需要理解它与商品标题、内容正文之间的语义关系用户看过一个商品系统要找出相似款或可能感兴趣的内容。今天随着大模型和 RAG 的兴起向量的应用范围被大幅拓宽——智能问答、图片检索、文档去重、语音意图识别等场景都离不开 Embedding。只要业务需要让系统理解两段文本是不是同一个意思“两张图是否相似”“这个 Query 该匹配哪些知识块”向量就会进入数据链路。可以说向量已不仅是搜索推荐的基础设施而正在成为 AI 时代的通用数据底座。旧链路之困跨系统拼装的多模态检索架构传统架构下在大数据处理链路中构建并进行向量检索是一个复杂的过程。数据工程师通常需要在数据仓库/外部存储存储并提取原始数据使用专门的 ML 基础设施生成 Embedding将 Embedding 加载到独立的向量数据库进行检索匹配开发自定义管道将检索结果回流到 Maxcompute 进行离线的批量 Join 过滤和分析最终服务于在线场景对于很多 MaxCompute 客户来说这条链路的复杂性尤为真切原始数据在外部对象存储Embedding 由外部脚本生成索引构建和相似计算放在独立向量系统向量匹配结果再回流 MC 做 Join、过滤、评估和回写。这样的链路能跑通但跑久了会累 —— 脚本要维护、索引版本要对齐、失败后还要排查是模型、数据、检索还是同步出了问题多一个模态就多一段处理逻辑。最终形成碎片化、高成本、高维护的架构成为许多团队拥抱向量化的门槛。2.1 老版本Proxima CE 的复杂链路MaxCompute 早期的向量检索能力基于达摩院开发的 Proxima CE 向量计算引擎。它以内嵌 JAR 包的形式运行在 MaxCompute 上底层使用 Proxima 算法库。Proxima CE 能够完成基础的离线向量检索支持百万级 TopK 查询但使用流程相当重量级环境准备繁琐需要创建 MaxCompute 项目、创建 DataWorks 工作空间并绑定数据源、单独申请开通 Volume 能力、创建 External Volume 并指定 OSS 内网域名。任何一个环节缺失都会导致作业报错。平台限制严格JAR 包基于 Linux 编译不支持 Windows 和 Mac 平台odpscmd 命令行工具仅限 Linux 环境使用。链路割裂明显向量检索只是独立的一步检索结果需要额外的管道回流到业务表中做 Join 和过滤向量化依赖外部脚本或模型服务完成索引、脚本、结果表分散维护。多模态无从谈起仅面向纯向量数据不支持 BLOB 等多模态对象存储图文混合检索需要业务侧自行拼接多条链路。2.2 新旧版本功能对比MaxCompute 多模态检索的目标很明确把多模态对象、向量化、索引、检索、过滤、分析和结果回写全部放回 MaxCompute 主链路。围绕离线大规模多模态数据处理场景让客户用熟悉的表、SQL、分区和权限体系完成端到端的向量数据生产和计算。对比维度Proxima CEMaxcompute多模态检索算法库ProximaVSAG数据类型与向量化纯向量INT8/FLOAT/BINARY向量化依赖外部脚本或模型调用原生VECTORBLOB多模态对象SQL 内调用AI_EMBEDDING完成向量化使用流程开通 External Volume → 安装 JAR → 编写 Job脚本 → 结果回流CREATE TABLE→AI_EMBEDDING→VECTOR_SEARCH Join一条 SQL 闭环SQL 集成检索与后续分析割裂结构化过滤需业务侧二次处理VECTOR_SEARCH 距离函数 Join 过滤一体化与类目、分区、标签、价格等业务条件在同一 SQL 中完成大规模离线处理性能可完成基础检索但扩展和调优成本高面向批量任务深度优化以 Proxima CE 同等数据集和召回规模为基线在已测试的多个业务场景下作业运行时间加速1.27x ~ 5.86x运维治理索引、脚本、结果表分散维护统一纳入表、分区、权限、调度、血缘体系MaxCompute 面向多模态检索场景的升级不仅仅是提供一个 VECTOR_SEARCH 函数而是把向量检索从外部召回步骤变成离线数据生产链路的一部分从而减少跨系统数据搬运优化复杂的生产架构。它解决了传统链路的四个痛点MaxCompute 多模态检索分层构建了从数据入仓到检索结果产出的完整能力集包含核心能力如下能力层关键功能作用统一存储BLOB多模态对象 VECTOR原生向量类型图片、文档、文本、向量放在同一张表里内置向量化AI_EMBEDDING函数在 SQL 中完成文本、图片等数据的向量化索引与检索向量索引 VECTOR_SEARCH 距离函数批量 TopK 近邻召回业务分析SQL Join / 过滤 / 聚合 / 回写检索结果直接接入推荐、广告、搜索、RAG 链路3.1 统一存储多模态数据不再多系统拼装场景问题图片、文本、文档、OCR、ASR、视频帧和业务标签要一起处理过去结构化业务数据、非结构化原始数据和向量 Embedding 往往分散在不同系统中每次模型迭代或数据变更都需要重新同步对齐产品能力MaxCompute 多模态检索支持在同一张表里同时管理结构化字段、多模态对象和向量字段。CREATETABLEitem_base(item_idSTRING,titleSTRING,categorySTRING,brandSTRING,priceDECIMAL(10,2),stock_statusSTRING,imageBLOB,text_embeddingVECTOR(FLOAT,128),image_embeddingVECTOR(FLOAT,512))PARTITIONEDBY(dtSTRING)TBLPROPERTIES(data.evolution.enabletrue,table.format.version2);其中BLOBBinary Large Object作为 Maxcompute 支持存储图片、音频、视频、文档等非结构化二进制大对象将多模态数据的原始文件、元信息和标注信息统一存储在同一张表中VECTOR是 MaxCompute 的原生向量数据类型基于VECTOR(FLOAT type, dimension)格式用于在表中高效存储和处理 Embedding 数据AI_EMBEDDING函数支持在 SQL 中直接调用大语言模型将文本或多模态数据转换为向量。通过多种数据类型和存储能力所有数据得以在 MaxCompute 同一张表内完成向量化和存储。3.2 统一分析标量过滤与向量检索一体化执行场景问题真实业务很少只看向量距离。商品召回要看类目、价格、库存、内容安全广告匹配要看计划、人群、地域、预算知识库要看租户、权限、文档类型。传统做法是先匹配一个大候选集再过滤——候选集取大了成本高取小了过滤后结果可能不够。产品能力多模态检索把两种数据处理需求统一放到 Maxcompute SQL 链路里处理先限定业务条件再对 Query 向量做相似计算最后继续 Join 商品、用户和实验分组表。VECTOR_SEARCH函数可通过 base/query 子查询分别做过滤再执行 Base Table 和Query Table之间的离线批量向量检索业务条件不再是事后补救而是事前约束。SELECTr.query_id,r.item_id,r.distance,i.category,i.brand,i.priceFROMVECTOR_SEARCH((SELECTitem_id,category,brand,price,text_embeddingFROMitem_baseWHEREdt2026-06-22ANDcategory3C数码ANDpriceBETWEEN100AND500ANDstock_statuson_sale),text_embedding,(SELECTquery_id,query_embeddingFROMquery_embeddingWHEREdt2026-06-22ANDscenesearch_recall),query_embedding,50)rJOINitem_base iONr.item_idi.item_idANDi.dt2026-06-22ORDERBYr.query_id,r.distanceASC;3.3 面向大规模离线批量检索的全链路闭环场景问题很多企业的向量检索任务不是来一条查一条而是每天、每小时批量生产千万级商品相似召回、亿级内容去重、海量 Query 聚类、全量知识库重建。而且检索通常只是中间一步——结果还要补排序特征、做实验分桶、看质量指标、分析坏例再写给下游链路使用。过去这些动作分散在多个系统中数据在向量库和业务库之间反复搬运维护成本高传统向量数据库面对大规模批量任务时扩展和调优成本也较高。产品能力MaxCompute 多模态检索将检索→打分→补全→分析→回写整条链路在 SQL 中一次性闭环检索与打分支持 VECTOR_SEARCH 批量检索同时结合 cosine_distance、l2_distance、inner_product_distance 等距离计算函数完成融合打分业务补全SQL Join 补充类目、价格、标签、权限、用户分层等业务字段过滤和聚合直接在检索结果上执行分析与回写相似结果写入推荐、广告、搜索、RAG、数据治理等下游表纳入现有调度、权限和血缘体系分区表沉淀每日候选集交给下游任务消费。尤其这一全链路面向离线批量任务做了深度优化充分利用 MaxCompute 的分布式计算能力——以 Proxima CE 同等数据集和召回规模为基线在已测试的多个业务场景下作业运行时间获得 1.27x ~ 5.86x 加速CU 消耗也有明显下降。三个典型应用场景MaxCompute 多模态检索更适合承接大规模、批量化、需要和业务数据深度结合的离线多模态数据处理链路。以下三个场景分别围绕搜推广告、多模态理解和AI 语料治理三大方向展示了Maxcompute多模态检索在不同业务场景下的落地方式。4.1 搜推广告候选集生产场景痛点电商、搜索、推荐和广告链路需要周期性生成商品、内容、广告素材和用户意图的候选集。在原有的架构中通常先需要在外部向量系统召回再把结果导回数据仓库做过滤、Join 和回写链路长且候选集质量难控。MaxCompute 提供的能力将商品表、行为表、标签表、实验分桶和向量列放在同一套 SQL 链路中处理支持 Item-to-Item 相似召回、Trigger-Driven TopK 检索以及类目、价格、库存、地域、人群等业务条件过滤。业务价值离线生成“看了又看”“买了又买”、搜推融合召回和广告候选集线上链路只需合并、去重和重排降低实时召回压力。4.2 汽车多模态理解与意图预处理场景痛点智能座舱数据包含语音 Query、ASR 转写文本、车控指令、导航目的地、座舱图片/视频帧、车辆状态等多种信号。同一意图存在大量口语化、方言化表达单靠关键词规则很难稳定归类。MaxCompute 提供的能力将语音文本、车控标签、图片/视频帧特征和车辆状态字段统一入仓先按车型、设备、地域、时间窗口等标量条件缩小范围再做向量相似召回、聚类和 Badcase 对比。业务价值离线沉淀意图簇、意图映射表和训练样本表支持相似 Query 扩增、新意图发现、识别失败样本归因避免把计算密集型相似度任务放到车端或在线链路中实时完成。4.3 AI 语料治理与 RAG 候选集构建场景痛点大模型和 RAG 场景需要处理 PB 级文档、网页、图片说明、OCR 文本、问答记录和业务知识。检索结果通常还要叠加租户、权限、业务域、版本、更新时间和质量标签。MaxCompute 提供的能力在 MaxCompute 内完成“数据入仓 - 向量化 - 索引构建 - 批量检索 - 关联分析 - 结果回写”统一管理 BLOB 对象、文本片段、Embedding、质量标签和业务元数据。业务价值批量构建知识块候选集支持语料去重、相似内容发现、低质样本清洗和召回效果评估。相比把语料、向量和分析结果分散在多个系统中MaxCompute 能降低跨系统搬运和批处理编排成本。总结MaxCompute 多模态检索不是把向量检索包装成一个更复杂的新概念而是把向量能力放回 MaxCompute 数据生产链路里和表、SQL、分区、权限、调度、血缘一起工作。客户少维护几段链路少搬几次数据也少在每次改规则、换模型、重建索引时来回对齐系统状态。核心优势概括如下少搬数据— 多模态对象、向量、索引和召回结果留在 MaxCompute 内消除 Proxima CE 时代跨 Volume、OSS、外部向量系统的数据搬运。少写脚本— 向量化、检索、过滤、Join、融合打分和回写全部用 SQL 串起来外部脚本和临时同步任务大幅减少。结果更可控— 向量相似度可以和类目、价格、权限、人群、地域、时间窗口等业务条件在同一 SQL 中联合使用。过去需要先召回十万级候选集再逐层过滤到几百条现在直接在查询中约束条件精准匹配。适合离线批量处理— 面向千万级、亿级离线召回、内容去重、知识库重建等任务深度优化。对比 Proxima CE 同等数据集和召回规模为基线在已测试业务档位中Maxcompute Vector Search 能力相比 Proxima CE 取得了 1.27x ~ 5.86x 的作业运行时间加速CU 消耗大幅度优化。了解更多1VECTOR 数据类型与向量索引https://help.aliyun.com/zh/maxcompute/user-guide/vector-data-type2AI_EMBEDDING 函数https://help.aliyun.com/zh/maxcompute/user-guide/ai-embedded?spma2c4g.11186623.0.0.641c2442Tq5Tpo3VECTOR_SEARCH 函数https://help.aliyun.com/zh/maxcompute/user-guide/vector-function/4多模态存储与 BLOB 类型https://help.aliyun.com/zh/maxcompute/user-guide/blob-data-type-and-multimodal-storage5Proxima CE 向量计算老版本https://help.aliyun.com/zh/maxcompute/user-guide/overview-of-proxima-ce