好吧所有的开发人员都是懒惰的ME2。先查查微软的文档吧FLV 视频是如此的普及没准儿微软已经在 Silverlight 中提供了对 FLV 视频的支持。结果微软在 Silverlight 文档中淡定的表示不支 FLV 格式也不支持 VP6 和 H.263 编码的视频。嘛这样的结果已经提前预见到了。既然官方不支持那就自己山寨一个吧。如何才能让 Silverlight 支持非官方的媒体格式在 Silverlight 应用程序中播放媒体必须要用到的是 MediaElement 控件。为 MediaElement 控件设置媒体源的方法有两种为 Source 属性设置一个 Uri 实例使用 SetSource 方法设置一个 Stream 或 MediaStreamSource 实例。Uri 和 Stream 的用法我知道行不通。剩下的就只有 MediaStreamSource 了查查怎么用吧。没错就是在这个时候我做了这篇文章开头提到的事情我相信我搜遍了整个互联网但所有的搜索结果都指向了同一个链接ManagedMediaHelpers那么 ManagedMediaHelpers 是个什么东东简单说就是实现了一个 MP3 文件的分离器用于将 MP3 文件中的音频流数据分离出来实现了一个继承自 MediaStreamSource 的 Mp3MediaStreamSource把从 MP3 文件中分离出来的音频流交给 MediaElement 解码。根据之前研究 DirectShow 的经验要让 Silverlight 支持非官方的媒体格式我得出了以下结论需要一个将音视频流从文件中分离出来的分离器Parser需要一个将音频流解码成 PCM 的音频解码器Audio Decoder除非 Silverlight 已经内置需要一个将视频流解码成 YV12 的视频解码器Vidoe Decoder除非 Silverlight 已经内置将音视频的帧数据写入 MediaStreamSample 通过 MediaStreamSource 交给 MediaElement 呈现Renderer。如何实现 FLV 视频的分离器所有点击这篇文章标题进来的人应该都知道 FLV 是 Adobe 定义的一个媒体文件格式。youtube、nicovidoe等在线视频网站好吧还有优酷和土豆都使用这种文件格式作为媒体内容的容器因为它能在 Flash 应用程序中播放。要实现 FLV 视频的分离器就要知道 FLV 的文件格式定义。既然是 Adobe 定义的那就在 Adobe 上找找吧。在 Google 中敲入 flv site:adobe.com 可以在搜索结果中找到一个名为 Video File Format Specification Version 9 的 PDF 文件。天杀的 Adobe 这个文档中存在两位数的错误直接导致我浪费了几个小时的时间。下载 Video File Format Specification Version 10 这个文档错误比较少。第10页中 CompositionTime 的 Type 是 UI24而不是 SI24。根据这个文档中的定义就可以写出一个 FLV 文件的分离器了。FLV 文件格式的定义比较简单如果有时间我会在另一篇文章里进行介绍。如何实现 FLV 视频的解码器我对看到这里的朋友说声抱歉。我没能实现对 VP6 和 H.263 视频的解码所以我这篇文章的标题才叫《在 Silverlight 应用程序中实现对 FLV视频格式的支持》。要实现对 VP6 和 H.263 视频的解码可以将 FFMpage 工程组的代码改写成 C# 的版本泪目ing逃~。就算要改写解码器那也要有个参考吧。哼哼本人号称搜遍互联网可不是吹的我推荐你参考 Saluse MediaKit for Silverlight 的代码作者实现了 Silverlight 版的 Mp3 解码器。还有 DirectShow for Silverlight 的代码作者实现了 Silverlight 版的 Ogg 解码器。既然没能实现自己解码器那就继续用 Silverlight 内置的解码器吧。FLV 支持 AAC 音频和 H.264 视频流而 Silverlight 则内置了 AAC 和 H.264 解码器。所以还是可以在 Silverlight 中播放 FLV 视频的只不过必须是音频流使用 AAC 编码视频流使用 H.264 编码的 FLV 格式的文件。顺便说一句土豆网的高清黑豆就是这种格式并且新浪播客也支持上传这种格式虽然官方说法是不支持。如何解码 FLV 文件中的 AAC 音频流要想 Silverlight 对 AAC 音频流进行解码必须先让 Silverlight 知道用哪个解码器才能对 AAC 音频流进行解码。下面的代码完成了这个工作其中 MediaStreamAttributeKeys.CodecPrivateData 是重点所在它是通过计算 WaveFormatExtensible 结构得到的。WaveFormatExtensible 结构的值来自于 AUDIOTAG 的 AUDIODATA 结构见第6页。下面的代码为了方便说明直接进行了赋值。protected override void OpenMediaAsync() { WaveFormatExtensible wfx new WaveFormatExtensible(); wfx.FormatTag 0x00FF; // AAC0x00FF; MP30x0055; ADPCM0x5346; PCM0x0001 wfx.Channels 2; wfx.BlockAlign 8; wfx.BitsPerSample 16; wfx.SamplesPerSec 44100; wfx.AverageBytesPerSecond wfx.SamplesPerSec * wfx.Channels * wfx.BitsPerSample / wfx.BlockAlign; wfx.Size 0; string codecPrivateData wfx.ToHexString(); DictionaryMediaStreamAttributeKeys, string audioStreamAttributes new DictionaryMediaStreamAttributeKeys, string(); audioStreamAttributes[MediaStreamAttributeKeys.CodecPrivateData] codecPrivateData; // 管线需要正确初始化和呈现的编码解码器数据。对于视频这是标头信息。对于音频这是 base16 编码的 WaveFormatEx 结构。 this.audioStreamDescription new MediaStreamDescription(MediaStreamType.Audio, audioStreamAttributes); // 详尽描述媒体流以便初始化 MediaElement 和基础媒体管线。 DictionaryMediaSourceAttributesKeys, string mediaSourceAttributes new DictionaryMediaSourceAttributesKeys, string(); mediaSourceAttributes[MediaSourceAttributesKeys.Duration] 0; // 源的整数形式的播放时间长度以 100 纳秒为增量单位TimeSpan 结构的值的计时周期数。 ListMediaStreamDescription mediaStreamDescriptions new ListMediaStreamDescription(); mediaStreamDescriptions.Add(this.audioStreamDescription); this.ReportOpenMediaCompleted(mediaSourceAttributes, mediaStreamDescriptions); // 向 MediaStreamSource 附加到的 MediaElement 报告媒体已打开并且 MediaStreamSource 具有其所包含的内容流的说明。 }之后 Silverlight 会调用 GetSampleAsync 方法获得 AAC 音频流的 MediaStreamSample 实例。实例化 AAC 音频流的 MediaStreamSample 很简单只要将 FLV 文件中 AUDIOTAG 的 AUDIODATA 的 AACAUDIODATA 的 DataRaw AAC frame交给 MediaStreamSample 就行了。注意FLV 文件中第一个 AUDIOTAG 的 AUDIODATA 的 AACAUDIODATA 的 Data 总是 AudioSpecificConfig在 ISO/IEC 14496-3 中定义解码的时候注意跳过这个 AUDIOTAG。如何解码 FLV 文件中的 H.264 视频流接下来是这篇文章最重要的部分我将展示如何用 MediaStreamSource 解码 H.264 视频流。在此之前你不会在互联网上获得任何关于如何使用 MediaStreamSource 解码视频的文字或代码。下面的代码中不包括 MediaStreamAttributeKeys.CodecPrivateData 的设置那是因为 H.264 视频流是不需要设置 MediaStreamAttributeKeys.CodecPrivateData 的。而 MediaStreamAttributeKeys.Width 和 MediaStreamAttributeKeys.Height 也不是需要设置的。为什么不需要设置请继续往下读。protected override void OpenMediaAsync() { DictionaryMediaStreamAttributeKeys, string videoStreamAttributes new DictionaryMediaStreamAttributeKeys, string(); videoStreamAttributes[MediaStreamAttributeKeys.VideoFourCC] H264; // 实例化视频编码解码器所需的数据。这是一个由四个字符构成的值也称作 FourCC。 this.videoStreamDescription new MediaStreamDescription(MediaStreamType.Video, videoStreamAttributes); DictionaryMediaSourceAttributesKeys, string mediaSourceAttributes new DictionaryMediaSourceAttributesKeys, string(); mediaSourceAttributes[MediaSourceAttributesKeys.Duration] 0; ListMediaStreamDescription mediaStreamDescriptions new ListMediaStreamDescription(); mediaStreamDescriptions.Add(this.videoStreamDescription); this.ReportOpenMediaCompleted(mediaSourceAttributes, mediaStreamDescriptions); }之后 Silverlight 会调用 GetSampleAsync 方法获得 H.264 视频流的 MediaStreamSample 实例。实例化 H.264 的 MediaStreamSample 是比较麻烦的要分成两个部分来说计算 AVCDecoderConfigurationRecord 得到 CodecPrivateData 数据只有第一帧需要计算 NALUs 得到帧数据。计算 AVCDecoderConfigurationRecord 得到 CodecPrivateData 数据H.264 视频流的 CodecPrivateData 实际上就是 AVCDecoderConfigurationRecord 中 SequenceParameterSetsSPS和 PictureParameterSetsPPS使用 byte[] {00, 00, 01} 连接的字节数组。注意FLV 文件中第一个 VIDEOTAG 的 VIDEODATA 的 AVCVIDEOPACKET 的 Data 总是 AVCDecoderConfigurationRecord在 ISO/IEC 14496-15 中定义解码的时候注意跳过这个 VIDOETAG。