基于 Media Foundation 构建 HoloLens 视频流系统:RealtimeStreaming 组件原理与实战【免费下载链接】MixedRealityCompanionKitThis is a MixedRealityToolkit style repository for code bits and components that may not run directly on Microsoft HoloLens or immersive headsets but instead pair with them to build experiences.项目地址: https://gitcode.com/gh_mirrors/mi/MixedRealityCompanionKitRealtimeStreaming 是 MixedRealityCompanionKit 开源项目中基于 Windows Media Foundation 框架的HoloLens 实时视频流组件它让一台普通 Windows 桌面电脑作为编码端Server通过 TCP 网络把编码后的视频帧实时推送给 HoloLens 头显上的 Unity 应用Client解码播放。对于想做远程协作、虚拟演播、遥操作等 MR 应用的开发者来说这是一套可以直接跑起来的完整方案。本文带你快速吃透它的架构原理、Media Foundation 在其中的角色以及从零到头显上看画面的完整实战步骤。 RealtimeStreaming 解决什么问题HoloLens 本身是穿戴设备算力有限不适合直接运行重度 3D 场景。RealtimeStreaming 的思路是重负载留给桌面在高性能 Windows 机器上渲染画面并编码H.264 / H.265轻量端负责解码HoloLens 只做解码与渲染输出到共享 DirectX 纹理网络层自动发现支持 UDP 组播自动发现服务端也支持直连 IP 端口整个组件以 C/WinRT 编写最终编译为 WinMD DLL 插件可被 Unity、UWP 或 WPFDesktop Bridge应用直接引用。源码入口在Source/RealtimeStreaming.sln完整说明见Source/README.md。 架构原理视频帧如何从服务器飞到头显整个运行过程分为两个阶段建立连接与视频流传输客户端与服务端各自有一套对称的类结构。阶段一建立连接角色关键类职责服务端ListenerSource/Shared/Listener.h监听端口响应 UDP 组播发现请求客户端ConnectorSource/Shared/Connector.h直连 IP 端口或广播 UDP 发现服务端最多重试 5 次双方ConnectionSource/Shared/Connection.hTCP 连接建立后的统一封装供后续收发数据帧⚠️ 顺序很重要必须先启动服务端的 Listener再让客户端 Connector 发起连接。阶段二编解码与传输服务端RealtimeServerSource/Shared/RealtimeServer.h内部使用 Media Foundation 的IMFSinkWriter / IMFMediaSink / IMFStreamSink完成视频编码编码产物通过NetworkMediaSinkSource/Shared/NetworkMediaSink.h写入 TCP 连接客户端RealtimeMediaPlayerSource/Shared/RealtimeMediaPlayer.h内部使用MediaPlayer MediaStreamSource接收并解码视频帧解码结果直接写入与 Unity 共享的 DirectX 纹理网络数据传输由DataBufferSource/Shared/DataBuffer.h统一封装它同时满足 Media Foundation 的IMFMediaBuffer与 UWP Socket 的IBuffer接口是媒体世界和网络世界之间的桥梁⚡ 为什么选 Media FoundationMedia Foundation 是 Windows 原生的媒体处理框架RealtimeStreaming 用它的原因非常务实硬件加速编码编码交给系统级 MFTMedia Foundation Transform充分利用桌面端 GPU/硬件编码器桌面端 CPU 占用极低硬件加速解码客户端 HoloLens 上同样走硬件解码路径这对移动平台至关重要纹理直通零拷贝友好解码输出直接落在共享 DirectX 纹理上Unity 只需一块自定义 Shader 即可渲染避免了解码 → CPU 拷贝 → 上传纹理的传统开销一个关键细节客户端输出纹理格式只支持DXGI_FORMAT_NV12YUV 4:2:0即亮度Luma与色度Chroma两张纹理分离。配套的高性能渲染 Shader 位于Samples/Unity/Assets/RealtimeStreaming/Shaders这也是实时 HoloLens 视频流能保持低延迟的核心设计之一。 实战三步把视频流送上 HoloLens第一步编译核心插件用 Visual Studio 2017 打开Source/RealtimeStreaming.sln需安装 C/WinRT 扩展选择目标架构x86 / x64 / ARM编译 Release 版本。项目已预配置好编译后自动拷贝产物会自动落到Samples/Unity/Assets/RealtimeStreaming/Plugins/{架构}/目录下无需手动搬运。第二步启动桌面服务端打开Samples/WPF/RealtimeStreaming.sln以DesktopAppPackaging为启动项目编译运行推荐 Release x64。这个 WPF 示例演示了桥接Desktop Bridge模式——把 UWP 插件嵌入传统桌面应用让你不必为服务端写一个 UWP 工程。界面中可以调整端口号默认 27772、目标帧率默认 30 FPS、组播发现开关、输出分辨率默认 1280×720。点击Start Server后状态变为监听中示例会持续推出一张渐变色画面用于验证链路。如果 References 中Windows项出现警告需手动指向本机 SDK 目录下的Windows.winmd。第三步部署 Unity 客户端到 HoloLens在 Unity推荐 2018 LTS中打开客户端示例场景Samples/Unity/Assets/Example/Scenes/realtime-client.unity注意两项必配Player Settings XR Settings勾选Virtual Reality SupportedPlayer Settings Publishing Settings Capabilities勾选InternetClient、InternetClientServer、PrivateNetworkClientServer构建 UWP 工程后用 Visual Studio 编译并部署到 HoloLens。应用启动后点击Discover按钮客户端会自动发现同一局域网内的服务端并开始播放也可以直接填写桌面电脑 IP 与端口直连。客户端 C# 侧的封装类在Samples/Unity/Assets/RealtimeStreaming/Scripts核心是RealtimeVideoPlayer.cs/RealtimeVideoServer.cs它们以 P/Invoke 方式桥接 C 插件业务代码只需监听状态回调、把播放器的 Luma/Chroma 纹理交给渲染物体即可。 前提条件桌面端与 HoloLens 必须连接同一 Wi-Fi 且路由器支持 UDP 组播否则请改用 IP 直连模式。 常见问题排查清单流不通按这份清单逐项检查摘自官方 Troubleshooting 章节检查项说明启动顺序服务端必须先运行并处于监听状态网络环境两台设备处于同一 Wi-Fi 且互相可见编解码器设备需支持所选编码格式H.264 / H.265注意 HoloLens 一代对 H.265 支持有限UDP 组播路由器/AP 若禁用了组播广播自动发现会失败改用 IP 直连分辨率不要在流式传输运行中动态改变画面分辨率调试技巧用 Visual Studio 的Debug Attach to Process挂上运行中的服务端或客户端进程可以直接单步调试插件 C 源码日志级别在Source/Shared/ErrorHandling.h的LOG_LEVEL宏中调整。 关键文件导航文件 / 目录作用Source/RealtimeStreaming.sln核心插件工程Shared / UWP / Win32 三个项目Source/Shared/Network/网络层Connector、Listener、Connection、DataBufferSource/Shared/Media/媒体层编解码与 Media Foundation 交互Source/Shared/Plugin/Unity 互操作层C 导出接口Samples/WPF/桌面 WPF 服务端示例Samples/Unity/HoloLens Unity 客户端/服务端示例与插件封装Samples/Unity/Assets/RealtimeStreaming/ShadersYUV 4:2:0 高性能渲染 ShaderRealtimeStreaming/README.md官方完整文档构建、部署、排错✨ 小结RealtimeStreaming 用Media Foundation 硬编硬解 TCP 直传 共享纹理零拷贝三板斧把 HoloLens 视频流方案的工程复杂度降到了极低一次编译插件服务端跑 WPF客户端开 Unity 场景点 Discover画面就上头显了。它同样适合扩展成你自己的远程协作或遥操作应用的视频底座——只需要在RealtimeServer.WriteFrame()处喂入你自己渲染的 BGRA 帧即可。【免费下载链接】MixedRealityCompanionKitThis is a MixedRealityToolkit style repository for code bits and components that may not run directly on Microsoft HoloLens or immersive headsets but instead pair with them to build experiences.项目地址: https://gitcode.com/gh_mirrors/mi/MixedRealityCompanionKit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考