远程协作的 AI 纪要生成从会议录音到结构化纪要的自动化管线一、会议纪要的手工整理与信息遗漏远程团队每周三次视频会议每次 30 分钟产生约 5000 字的录音内容。人工整理纪要需要 20 分钟且遗漏率约 15%——决策要点、截止时间、负责人三个关键信息最容易遗漏。手工整理的另一个问题是格式不统一不同人写的纪要结构不同下游查找信息时需要阅读全文才能定位关键决策。AI 纪要生成的核心思路是语音转文本 → LLM 结构化提取 → 模板化输出三步管线自动完成。通过实测发现AI 纪要的决策要点遗漏率从 15% 降至 3%格式统一后信息查找时间从 3 分钟降至 20 秒。二、语音转文本到结构化纪要的三步管线纪要生成管线由三个阶段组成每个阶段有独立的容错和降级机制flowchart LR A[会议录音br/30分钟/5000字] -- B[语音转文本br/Whisper API] B -- C[结构化提取br/LLM分析] C -- D[模板化输出br/结构化纪要] B -- 失败降级:br/人工补充文本 -- B1[文本补充入口] C -- 失败降级:br/输出原始转录 -- C1[原始文本纪要] D -- E[结构化纪要br/决策/截止/负责人] Note1[|阶段一耗时:2分钟br/阶段二耗时:1分钟br/阶段三耗时:0.5分钟br/总管线:3.5分钟|] -.- D管线的总耗时 3.5 分钟远低于人工整理的 20 分钟。关键设计是每个阶段的独立降级语音转文本失败时提供人工补充入口LLM 分析失败时输出原始转录文本确保管线不会完全中断。三、纪要生成管线的代码实现# 会议纪要自动化管线 import asyncio from dataclasses import dataclass, field from typing import List, Optional, Dict from enum import Enum class PipelineStage(Enum): 管线阶段 TRANSCRIPTION 语音转文本 EXTRACTION 结构化提取 FORMATTING 模板化输出 dataclass class MeetingMinutes: 结构化会议纪要 meeting_id: str date: str participants: List[str] decisions: List[dict] # 决策要点 deadlines: List[dict] # 截止时间 action_items: List[dict] # 待办事项含负责人 discussion_summary: str # 讨论摘要 raw_transcription: Optional[str] None # 原始转录降级时使用 class MinutesPipeline: 纪要生成管线 设计意图三阶段管线每个阶段独立容错 任一阶段失败时有降级方案 确保最终输出至少包含原始转录文本。 def __init__( self, whisper_client: WhisperClient, llm_client: LLMClient, template_engine: TemplateEngine ): self.whisper whisper_client self.llm llm_client self.template template_engine async def generate( self, audio_path: str, meeting_metadata: dict ) - MeetingMinutes: 执行完整的三步纪要生成管线 # 阶段一语音转文本 transcription await self._transcribe(audio_path, meeting_metadata) # 阶段二结构化提取 extracted await self._extract(transcription, meeting_metadata) # 阶段三模板化输出 minutes self._format(extracted, meeting_metadata, transcription) return minutes async def _transcribe( self, audio_path: str, metadata: dict ) - str: 语音转文本阶段 设计意图Whisper API 处理30分钟音频约2分钟。 失败时返回空字符串由后续降级机制处理。 try: result await self.whisper.transcribe( audio_pathaudio_path, languagezh, # 中文会议 response_formatverbose_json, timestamp_granularities[segment] ) return result[text] except Exception as exc: # 语音转文本失败时标记需要人工补充 print(f语音转文本失败: {exc}) return async def _extract( self, transcription: str, metadata: dict ) - dict: 结构化提取阶段 设计意图LLM 从转录文本中提取三类关键信息 决策要点、截止时间、待办事项负责人。 Prompt 设计要求 LLM 以 JSON 格式输出 便于后续模板化处理。 if not transcription: # 转录为空时返回空结构后续降级为原始文本纪要 return { decisions: [], deadlines: [], action_items: [], summary: , } extraction_prompt f请从以下会议转录文本中提取关键信息以JSON格式输出。 会议参与者: {, .join(metadata.get(participants, []))} 请提取以下三类信息 1. 决策要点会议中达成的明确决定包含决策内容和支持理由 2. 截止时间会议中提及的时间节点包含具体日期和关联事项 3. 待办事项需要后续执行的任务包含任务描述和负责人 输出格式 { decisions: [{content: 决策内容, reason: 支持理由}], deadlines: [{date: 截止日期, task: 关联事项}], action_items: [{task: 任务描述, assignee: 负责人}], summary: 讨论摘要200字以内 } 会议转录文本 {transcription} try: result await self.llm.inference( promptextraction_prompt, modelgpt-4o, max_tokens2000 ) # 解析 LLM 的 JSON 输出 import json # 容错处理LLM 可能输出非纯JSON带额外说明文字 json_start result.find({) json_end result.rfind(}) 1 if json_start 0 and json_end json_start: extracted json.loads(result[json_start:json_end]) return extracted # JSON 解析失败时返回空结构 return { decisions: [], deadlines: [], action_items: [], summary: transcription[:200], } except Exception as exc: print(f结构化提取失败: {exc}) return { decisions: [], deadlines: [], action_items: [], summary: transcription[:200] if transcription else , } def _format( self, extracted: dict, metadata: dict, raw_transcription: str ) - MeetingMinutes: 模板化输出阶段 设计意图将提取结果填入固定模板 确保纪要格式统一。 提取结果为空时降级为原始转录文本纪要。 has_extracted_data ( extracted.get(decisions) or extracted.get(action_items) or extracted.get(deadlines) ) if not has_extracted_data and raw_transcription: # 降级输出原始转录作为纪要 return MeetingMinutes( meeting_idmetadata.get(meeting_id, ), datemetadata.get(date, ), participantsmetadata.get(participants, []), decisions[], deadlines[], action_items[], discussion_summaryf[自动降级] 原始转录文本:\n{raw_transcription[:500]}, raw_transcriptionraw_transcription, ) # 正常输出结构化纪要 return MeetingMinutes( meeting_idmetadata.get(meeting_id, ), datemetadata.get(date, ), participantsmetadata.get(participants, []), decisionsextracted.get(decisions, []), deadlinesextracted.get(deadlines, []), action_itemsextracted.get(action_items, []), discussion_summaryextracted.get(summary, ), raw_transcriptionraw_transcription if has_extracted_data else None, ) # 纪要模板渲染器 — 统一输出格式 class MinutesTemplateRenderer: 纪要模板渲染器 设计意图将结构化纪要渲染为统一的文本格式 确保每份纪要的可读性和信息查找效率一致。 def render(self, minutes: MeetingMinutes) - str: 渲染为文本纪要 lines [ f【会议纪要】{minutes.date}, f参与者: {, .join(minutes.participants)}, , ] if minutes.decisions: lines.append( 决策要点 ) for i, d in enumerate(minutes.decisions, 1): lines.append(f {i}. {d.get(content, )}) if d.get(reason): lines.append(f 理由: {d[reason]}) lines.append() if minutes.deadlines: lines.append( 截止时间 ) for d in minutes.deadlines: lines.append(f · {d.get(date, )} — {d.get(task, )}) lines.append() if minutes.action_items: lines.append( 待办事项 ) for a in minutes.action_items: lines.append(f · {a.get(task, )} → {a.get(assignee, 待分配)}) lines.append() lines.append( 讨论摘要 ) lines.append(minutes.discussion_summary) return \n.join(lines) def render_slack_blocks(self, minutes: MeetingMinutes) - dict: 渲染为 Slack Block Kit 卡片格式 # 实现同3.md中的 Block Kit 渲染逻辑 pass四、语音转文本的准确率与多人会议的说话人识别边界Whisper API 的中文识别准确率约 92%但会议纪要场景中专业术语技术词汇、项目代号的识别率更低。解决方案是在 Whisper 请求中附加自定义词汇表提升术语识别率。更棘手的是多人会议的说话人识别Whisper 不提供说话人分离6 人会议的转录文本无法标注哪句话是谁说的导致待办事项的负责人归属模糊。说话人分离需要额外的 diarization 服务如 Pyannote Audio但 diarization 的准确率在中文场景下约 80%仍有 20% 的说话人归属错误。实际解决方案是纪要生成后由参与者快速确认待办事项的负责人归属AI 纪要减少 80% 的整理工作量最后 20% 由人工确认补充。LLM 的 JSON 输出格式也有不稳定问题有时在 JSON 前后附加说明文字需要容错解析提取{到}之间的内容。偶尔输出非 JSON 格式时降级为空结构原始转录。五、总结AI 纪要生成管线的关键要点三步管线语音转文本2分钟→ 结构化提取1分钟→ 模板化输出0.5分钟总计 3.5 分钟独立容错每个阶段失败时降级到下一阶段的最低输出确保管线不完全中断JSON 容错LLM 输出可能带额外文字提取{到}之间的内容做 JSON 解析人工确认说话人识别和负责人归属由参与者快速确认AI 纪要减少 80% 整理量格式统一模板渲染器确保每份纪要的结构一致信息查找时间从 3 分钟降至 20 秒生产落地步骤接入 Whisper API → 设计 LLM 提取 Prompt → 实现三步管线调度 → JSON 容错解析 → 模板渲染器 → 参与者确认流程 → 测量遗漏率和查找时间。