TL;DR纯文本 AI 已经不够用了。用户想「拍张图问问题」「用嘴说话发指令」。本文用 Python 实战多模态 AI 应用图片理解VLM、语音转文字ASR、文字转语音TTS并组合成一个能听、能看、能说的 AI 助手。1. 多模态能做什么模态能力典型场景文本 → 文本对话、写作客服、助手图片 → 文本看图说话商品识别、文档 OCR语音 → 文本语音输入语音助手、字幕文本 → 语音语音播报有声读物、无障碍全模态看 听 说智能音箱、机器人2. 图片理解VLM2.1 用 GPT-4o 分析图片Python - 图片理解from openai import OpenAI import base64 client OpenAI() def encode_image(image_path: str) - str: 将图片转为 base64 with open(image_path, rb) as f: return base64.b64encode(f.read()).decode(utf-8) def analyze_image(image_path: str, question: str) - str: 让 VLM 理解图片并回答问题 base64_image encode_image(image_path) response client.chat.completions.create( modelgpt-4o, messages[{ role: user, content: [ {type: text, text: question}, { type: image_url, image_url: { url: fdata:image/jpeg;base64,{base64_image} } } ] }], max_tokens500 ) return response.choices[0].message.content # 使用示例 result analyze_image( screenshot.png, 这张截图里有什么错误请指出问题所在 ) print(result)2.2 用开源模型Qwen-VLPython - 通义千问 VL# pip install transformers torch from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from PIL import Image import torch model Qwen2VLForConditionalGeneration.from_pretrained( Qwen/Qwen2-VL-7B-Instruct, torch_dtypetorch.bfloat16, device_mapauto ) processor AutoProcessor.from_pretrained(Qwen/Qwen2-VL-7B-Instruct) image Image.open(screenshot.png) messages [{ role: user, content: [ {type: image}, {type: text, text: 描述这张图片的内容} ] }] text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs processor(text[text], images[image], return_tensorspt).to(cuda) generated model.generate(**inputs, max_new_tokens256) response processor.batch_decode( generated,skip_special_tokensTrue )[0] print(response)3. 语音转文字ASR3.1 用 Whisper 本地识别Python - Whisper 语音识别# pip install openai-whisper import whisper # 加载模型base/small/medium/large model whisper.load_model(medium) # 识别音频 result model.transcribe( voice_input.mp3, languagezh, # 指定中文 tasktranscribe ) print(result[text])3.2 用 API 版 Whisper更快Python - OpenAI Audio APIfrom openai import OpenAI client OpenAI() def speech_to_text(audio_path: str) - str: 语音转文字 with open(audio_path, rb) as audio_file: transcript client.audio.transcriptions.create( modelwhisper-1, fileaudio_file, languagezh ) return transcript.text text speech_to_text(voice_input.mp3) print(text)4. 文字转语音TTS4.1 用 OpenAI TTSPython - 文本转语音from openai import OpenAI client OpenAI() def text_to_speech(text: str, output_path: str output.mp3): 文字转语音 response client.audio.speech.create( modeltts-1, voicealloy, # alloy/echo/fable/onyx/nova/shimmer inputtext ) response.stream_to_file(output_path) print(f✅ 语音已保存到 {output_path}) text_to_speech(你好我是你的 AI 助手, greeting.mp3)4.2 用 Edge TTS免费Python - Edge TTS# pip install edge-tts import asyncio import edge_tts async def edge_speak(text: str, output: str): # 中文声音zh-CN-XiaoxiaoNeural女/ zh-CN-YunxiNeural男 communicate edge_tts.Communicate(text, voicezh-CN-XiaoxiaoNeural) await communicate.save(output) asyncio.run(edge_speak(你好我是你的 AI 助手, greeting.mp3))5. 组合全能 AI 助手把看、听、说串起来做一个多模态助手Python - 多模态 AI 助手from openai import OpenAI import whisper import edge_tts import asyncio import base64 client OpenAI() # 1. 听语音转文字 asr_model whisper.load_model(base) user_text asr_model.transcribe(input.mp3)[text] print(f 用户说{user_text}) # 2. 看如果有图片一并理解 messages [{role: user, content: user_text}] if image_path: with open(image_path, rb) as f: img_b64 base64.b64encode(f.read()).decode() messages[0][content] [ {type: text, text: user_text}, {type: image_url, image_url: {url: fdata:image/jpeg;base64,{img_b64}}} ] # 3. 想LLM 生成回答 response client.chat.completions.create( modelgpt-4o, messagesmessages ) answer response.choices[0].message.content print(f AI 说{answer}) # 4. 说文字转语音 async def speak(text): communicate edge_tts.Communicate(text, voicezh-CN-XiaoxiaoNeural) await communicate.save(answer.mp3) asyncio.run(speak(answer)) print( 已生成语音回答)6. 实战场景场景用到模态实现方案拍照解题图→文VLM 分析题目 LLM 讲解语音笔记声→文Whisper 转写 总结智能客服声→文→声ASR LLM TTS无障碍阅读文→声TTS 朗读长文商品图搜索图→文→向量VLM 描述 Embedding 检索7. 成本对比能力方案成本图片理解GPT-4o API~$0.01/张图片理解Qwen-VL 本地GPU 成本无调用费语音识别Whisper API~$0.006/分钟语音识别Whisper 本地免费需 GPU语音合成OpenAI TTS~$0.015/1000字语音合成Edge TTS完全免费实测建议快速开发 / 原型全部用 APIGPT-4o Whisper TTS-1生产降本图片/语音用开源本地模型Qwen-VL WhisperTTS 用 Edge TTS免费隐私要求高全部本地部署Qwen-VL Whisper Coqui TTS8. 常见问题Q1图片太大API 报错怎么办压缩到 20MB 以内分辨率建议 ≤ 2048px。用 PIL 处理Python - 图片压缩from PIL import Image img Image.open(large.png) img.thumbnail((2048, 2048)) # 等比缩放 img.save(compressed.jpg, quality85)Q2语音识别不准怎么办用 medium/large 模型base 太小降噪处理音频明确指定 languagezhQ3TTS 声音太机械OpenAI TTS-1-HD 音质更好Edge TTS 的 XiaoxiaoNeural 音色最自然免费。9. 总结多模态让 AI 从「打字机」变成「全能助手」看VLM 理解图片GPT-4o / Qwen-VL听ASR 识别语音Whisper说TTS 合成语音OpenAI / Edge TTS入门路径先用 API 串起「看图 说话」最小闭环GPT-4o TTS-1跑通后按需替换为本地开源模型降本。如果对你有帮助欢迎在评论区分享你的多模态 AI 应用。