开源会议助手Meetily:Rust重写Whisper,100%本地运行的AI会议纪要工具

📅 2026/7/6 6:51:03
开源会议助手Meetily:Rust重写Whisper,100%本地运行的AI会议纪要工具
每天各种会议记录和整理纪要比开会本身还累。读完本文你将了解安装配置 | 技术原理为什么RustWhisper更快| 架构设计 | 适用场景 这个项目解决什么问题你有没有遇到过一天开了 4 个会结束后还得花半小时翻录音、记笔记、整理待办。用 Otter.ai 或 Fireflies数据上传到云端安全团队不批。自己用语音转文字Whisper 跑一次等半天CPU 直接拉满。传统方案各有各的硬伤云端方案Otter.ai、Fireflies、Fathom录音上传到别人服务器GDPR/HIPAA 合规性踩雷企业采购流程几个月自建 Whisper纯 Python 推理实时转录延迟高GPU 利用率差前端交互还得自己写不记录信息丢失追责无据每周复盘靠记忆Meetily 选了第三条路Rust 重写转录管道 Tauri 桌面应用 本地 AI 摘要录音不离开你的电脑转录延迟从 Whisper 原生 Python 的 2-3 秒压缩到 0.5 秒以内。社区版免费开源273K 下载量已经验证了隐私优先的市场需求。 快速上手动手环节安装macOSApple Silicon# 直接下载 DMG# 从 Releases 页面获取最新版本curl-LOhttps://github.com/Zackriya-Solutions/meetily/releases/latest/download/meetily_0.4.0_aarch64.dmgopenmeetily_0.4.0_aarch64.dmgWindows# 下载 exe 安装包双击运行Linux源码编译gitclone https://github.com/Zackriya-Solutions/meetilycdmeetily/frontendpnpminstall./build-gpu.sh最简使用安装后打开 Meetily第一步选择 AI 提供者转录引擎选 Whisper默认或 Parakeet。Parakeet 在 NVIDIA GPU 上快 4 倍摘要 AI选 Ollama本地或 Claude/OpenAI/Groq 等远程 API录音源选麦克风 系统音频支持同时录制点击录制按钮打开你的 Zoom/Teams/Google Meet 会议——Meetily 会自动捕捉系统音频并开始实时转录。预期效果录制界面左侧显示实时逐字转录文本右侧随时可切到 AI 摘要面板自动生成会议要点分节总结关键决策清单待办事项Action Items⚠️常见坑macOS 上首次运行需要授权「屏幕录制」和「麦克风」权限。如果录不到系统音频检查「系统设置 → 隐私与安全性 → 屏幕录制」是否勾选了 Meetily。⚙️ 技术原理核心原理Meetily 的转录管道是OS 音频捕获 → 分帧 → Whisper/Parakeet 推理 → 实时拼接。音频捕获端用 Rust 的cpalcrate 从系统音频设备捕获 PCM 流16kHz 单声道16-bit 采样。每 200ms 分一帧送进推理引擎。关键选择为什么用 Rust 而不是 PythonPython 版本的 Whisper 推理瓶颈不在模型本身而在数据搬运——每次推理前要把音频从 NumPy 数组转到 PyTorch tensor推理完再转回 Python 对象。这一来一回单帧处理延迟多了 15-20ms。对离线转录来说无所谓但实时转录要求帧级延迟 5ms否则用户能感觉到语音和文字不同步。Meetily 用 Rust 的whisper-rswhisper.cpp 的 Rust 绑定和candleHuggingFace 的 Rust ML 框架做推理。音频数据在 Rust 侧直接管理零拷贝送入模型。NVIDIA GPU 上配合 CUDA 后端单帧推理压到 0.8ms。如果换成 Python 做同样的事同样的 GPU延迟至少要 4-5 倍。为什么 Parakeet 比 Whisper 快 4 倍Whisper 是 encoder-decoder 架构——先把整段音频编码成特征序列再用自回归 decoder 逐 token 生成文本。解码步数等于输出文本长度不能并行。Parakeet 用了 FastConformer RNNTRecurrent Neural Network Transducer。FastConformer 把注意力计算从 O(n²) 降到 O(n log n)RNNT 允许 decoder 在帧级别并行输出 token不需要逐 token 自回归。结果同样精度水平Parakeet 在 NVIDIA GPU 上的实时率RTFReal-Time Factor可以做到 0.02——处理 1 秒音频只要 20 毫秒。如果不这样会怎样纯 CPU 跑 Whisper large-v3 的实时率约 0.8-1.2也就是处理 1 秒音频要接近 1 秒根本没法做实时转录。Meetily 选了 Parakeet ONNX CUDA把实时率拉到 0.05 以下同时保留 Whisper 作为 CPU 用户的备选。️ 架构分析模块划分Meetily 是一个 Tauri 桌面应用架构分为四层层技术栈职责UINext.js Tailwind会议列表、实时转录展示、摘要面板、设置页Tauri 桥接Rust Tauri IPC前端与后端的命令通道事件广播核心引擎Rust音频引擎cpal、转录引擎whisper-rs/parakeet、摘要引擎LLM 客户端、数据库SQLiteAI 推理Whisper.cpp / Parakeet ONNX / Ollama实际模型推理可插拔设计亮点可插拔 AI 提供者摘要引擎不是绑死一个模型而是抽象出一层SummaryProvidertrait。Ollama、Claude、OpenRouter、OpenAI 兼容端点都实现了这个 trait。用户可以在设置里切换甚至用自己的私有端点。这意味着企业可以接内部部署的 LLM数据完全不经过第三方。SQLite 本地存储所有会议元数据、转录文本、摘要都存在本地 SQLite 里。不写云端不装中间件。用户的数据目录就是全部资产备份直接拷文件夹。不够好的地方GPU 加速目前只在 macOSMetal和 NVIDIACUDA上充分支持。AMD/Intel GPU 的 Vulkan 后端还在早期Linux 用户大概率只能 CPU 跑转录。另外 Pro 版本的部分高级功能说话人分离、自动检测会议社区版没有免费用户和付费用户的能力差距有点大。✅ 优缺点 适用场景优点隐私天花板所有数据处理在本地完成录音文件、转录文本、摘要全部存在用户自己的机器上。不需要信任任何第三方多平台支持macOS Windows 原生应用Zoom/Teams/Google Meet/Discord 都能录不需要会议 bot 加入离线可用用 Ollama 做摘要 AI 的话全程不联网也能工作。适合网络受限的环境缺点硬件门槛实时转录最好有 NVIDIA GPU 或 Apple Silicon纯 CPU 会感受到明显延迟Pro 功能切割太狠说话人分离、自动检测会议、PDF/DOCX 导出都在 Pro 版社区版核心功能够用但不够完整失败模式推演如果不解决 GPU 依赖问题Meetily 在 Intel Mac 和老 Windows 笔记本上的体验会劝退大量用户——实时转录变成慢速转录跟不上一段话的速度。如果 Pro 功能持续不开源社区版会渐渐变成试用版社区贡献热情下降。适合谁立刻试试团队有数据合规要求医疗/法律/金融需要会议纪要自动化有 NVIDIA GPU 或 Apple Silicon 的 macOS 用户再等等纯 CPU 用户或者需要说话人分离功能但不想付费的竞品一句话跟 Otter.ai 比Meetily 的独特之处是数据主权——Otter 上传到你控制不了的云端Meetily 存在你电脑上。代价是你需要自己维护运行环境GPU、Ollama没有云服务的打开即用体验。