多模态 AI 是具备全感官交互能力的智能系统集感知、理解、内容生成于一体全面支持文本、图片、音频、视频等多类型信息的输入输出。喜欢看视频的请看《16. LangChain ChatPromptTemplate多模态应用实战》在实际开发过程中LangChain框架为多模态交互提供了便捷的支持其中ChatPromptTemplate组件就原生具备多模态消息格式化的能力无需额外进行复杂的配置就能轻松对接多类型输入大大降低了多模态应用的开发门槛。实际使用时我们可以以图片模态为例熟悉具体用法需要说明的是图片模态的调用逻辑和写法与其他模态完全一致掌握一种就能举一反三无需重复学习不同模态的调用方式。该模板在参数注入上也具备很高的灵活性支持将图片的URL链接、Base64编码以及本地文件路径等多种形式作为参数动态注入到模板中适配不同的开发场景需求无论是在线图片还是本地图片都能轻松处理。prompt_template ChatPromptTemplate.from_messages([ {role: system, content: 你是专业的多模态内容分析助手}, {role: user, content: [ {type: text, text: 用中文简短描述图片内容}, {type: image_url, image_url: {url: {image_url}}} ]} ]) prompt_value prompt_template.invoke( { image_url: 图片地址 } )了解完基础用法后就进入实战环节我们可以通过具体的开发案例感受多模态AI的实际应用价值将理论知识转化为可落地的功能。from langchain_core.prompts import ChatPromptTemplate prompt_template ChatPromptTemplate.from_messages([ {role: system, content: 你是专业的多模态内容分析助手}, {role: user, content: [ {type: text, text: 用中文简短描述图片内容}, {type: image_url, image_url: {url: {image_url}}} ]} ]) prompt_value prompt_template.invoke( { image_url: 图片地址 } ) res llm.invoke(prompt_value, configconfig) print(res.content)