Claude Video/watch让 Claude 真正看懂视频的技能插件一、核心观点Claude 原本无法观看视频——粘贴一个 YouTube 链接它只能靠标题猜测或拉取残缺的字幕。/watch插件通过帧提取 字幕转录 多模态阅读让 Claude 真正看见画面、听到声音后再回答。二、关键信息2.1 是什么一个适用于 Claude Code、Cursor、Copilot、Gemini CLI 等 50 AI 编程工具的技能插件Agent Skill核心命令/watch 视频URL或本地路径 你的问题零配置启动首次运行自动通过brew安装yt-dlp和ffmpegLinux/Windows 打印安装命令2.2 工作流程用户输入 URL 或本地路径 ↓ yt-dlp 优先抓取字幕免费、即时 ↓ 若无字幕 ffmpeg 提取音频 → Whisper API 转录Groq 优先OpenAI 备用 ↓ ffmpeg 按选定模式提取视频帧JPEG默认 512px 宽 ↓ 帧去重perceptual hash 对比剔除近似重复帧 ↓ 帧路径 tMM:SS 时间戳 字幕文本 → Claude 并行 Read 所有帧 ↓ Claude 基于真实看到的画面 听到的音频作答 ↓ 清理临时目录2.3 典型使用场景场景示例命令分析内容结构/开场钩子/watch https://youtu.be/xxx what hook did they open with?Bug 复现视频诊断/watch bug-repro.mov whats going wrong?快速视频摘要/watch https://youtu.be/xxx summarize this去除视频中的营销废话/watch https://youtu.be/xxx whats actually new — skip the hype播放列表转笔记/watch https://youtu.be/xxx summarize this to a note2.4 帧预算Frame BudgetToken 成本主要由帧数量决定自动 fps 逻辑防止在长视频上浪费 context。视频时长默认帧数密度描述≤30 秒~30 帧密集几乎覆盖每个关键时刻30 秒–1 分钟~40 帧仍较密集1–3 分钟~60 帧舒适3–10 分钟~80 帧稀疏但可用10 分钟最多 100 帧有上限模式触发稀疏扫描警告建议聚焦片段聚焦模式当用户指定时间段如2:30 附近、最后 30 秒使用--start/--end可获得更高密度最高 2 fps远优于稀疏全扫。2.5 帧去重机制每帧缩放为 16×16 灰度缩略图计算与上一个保留帧的平均绝对亮度差MAD0–255差值 ≤ 2.0 → 判定为近似重复丢弃帧预算上限在去重之后应用确保预算花在真正不同的帧上与上一保留帧比较而非前一帧可捕捉缓慢渐变2.6 Detail 模式对比实测数据来自一段49:08的 YouTube 视频1280×720英文自动字幕模式帧提取引擎帧数提取耗时估算图像 Tokentranscript无仅字幕0~4.5 秒0≈26.6k 文本 tokenefficient关键帧I 帧50~0.5 秒~9.8kbalanced场景切换检测100~20.9 秒~19.7ktoken-burner场景切换无上限116~21.0 秒~22.8kefficient速度最快~40× 快于场景模式适合快速概览balanced默认推荐场景感知帧 100 帧上限token-burner保留所有场景切换帧超 250 帧触发警告transcript纯字幕模式成本最低适合对话/演讲类视频2.7 安装方式# Claude Code推荐自动更新 /plugin marketplace add bradautomates/claude-video /plugin install watchclaude-video # Codex / Cursor / Copilot / Gemini CLI 等 50 工具 npx skills add bradautomates/claude-video -g # -g 全局安装去掉 -g 则仅当前项目生效 # 手动/开发者模式 git clone https://github.com/bradautomates/claude-video.git ln -s $(pwd)/claude-video/skills/watch ~/.claude/skills/watch三、代码/示例# 基础用法分析视频某时刻 /watch https://youtu.be/dQw4w9WgXcQ what happens at the 30 second mark? # 聚焦时间段更高帧密度 /watch https://youtu.be/xxx --start 0:45 --end 1:00 what is shown here? # 使用最快模式仅关键帧 /watch https://youtu.be/xxx --detail efficient summarize this # 本地视频文件 /watch bug-repro.mov whats going wrong? # 纯字幕模式最省 Token /watch https://youtu.be/xxx --detail transcript summarize this四、个人启发多模态工具链的组合价值这个插件的本质是将yt-dlp、ffmpeg、Whisper、Claude 视觉能力串联成一条流水线。每个工具都不新鲜但组合起来填补了 Claude 的关键盲点——这种胶水层思维值得借鉴。Token 经济学意识帧预算设计非常务实。开发者没有默认全量处理而是设计了多级 detail 模式和去重机制在效果与成本之间找平衡。这提醒我们面向 LLM 的工具设计Token 成本是一等公民必须在架构层面就考虑进去。聚焦窗口优于稀疏全扫对超过 10 分钟的视频插件主动建议用--start/--end聚焦片段而非盲目扫描全片。这与人类分析视频的方式高度契合——先定位关键段再深入分析而不是一遍遍地快进看完。五、延伸思考字幕质量的天花板问题自动字幕尤其是非英语视频、技术术语密集场景准确率参差不齐而 Whisper 也并非无懈可击。当字幕本身存在大量错误时Claude 的回答质量如何保障是否需要一个字幕置信度评估机制帧采样策略的局限性场景切换检测适合剪辑风格的内容但对缓慢演示操作如屏幕录制手动输入代码可能采样不足而快速剪辑 MV又可能采样过密。未来是否可以引入内容感知采样——根据视频类型教程/演讲/影视/操作录屏自动切换策略隐私与版权的边界插件支持下载 TikTok、Instagram、X 等平台的视频这在分析他人内容时涉及版权与数据隐私问题。随着此类 AI 视频分析工具普及平台规则、法律框架将如何演进开发者和使用者应如何划定合规边界