Apple 在 2009 年创建 HTTP 实时流媒体(HLS)时,选择 MPEG-2 传输流(MPEG-TS,即 .ts 文件)作为核心媒体容器。它十分可靠,专为卫星电视等干扰较多的广播环境设计,也易于获得硬件解码器支持。
然而,随着 OTT 互联网流媒体日趋成熟,MPEG-TS 的局限逐渐显现。2016 年,Apple 宣布 HLS 支持碎片化 MP4(fMP4),为通用媒体应用格式(CMAF)铺平了道路,并从根本上改变了视频在 Web 上的封装与分发方式。
MPEG-TS 的历史包袱(.ts 分片)
MPEG-TS 最初面向不可靠的网络传输而设计。为避免少数字节丢失破坏整段视频,它把数据封装成固定为 188 字节的小数据包。每个数据包都有包头,音频与视频包则高度复用、交错排列。
这种方式很适合无线电视,但基于 TCP/IP 的 HTTP 本身已经是可靠传输层,TCP 原生处理丢包与重传。因此,MPEG-TS 的 188 字节包结构会在互联网传输中引入不必要的填充与开销。
- TS 的优点:广泛兼容旧设备(老式智能电视、旧机顶盒)。
- TS 的缺点:开销较高(多达 10%~15% 的带宽消耗在传输包头上),而且需要复用音视频,使备用音轨的处理更复杂。
什么是碎片化 MP4(fMP4)?
标准 MP4 文件开头有一个大型“moov”原子(元数据),后面跟着全部“mdat”(媒体数据)。在整个文件下载完毕之前(或至少在 moov 原子解析完成之前),标准 MP4 很难直接播放。
碎片化 MP4把视频拆分成较小的数据块。文件最前面放置一个小型初始化分片(“moov”盒),之后每个数据块都包含自己的元数据(“moof”盒)和媒体(“mdat”盒)。播放器因而无需获得完整文件,就能下载并立即播放单个碎片。
fMP4 相比 MPEG-TS 的主要优势
1. 提高存储与 CDN 效率(CMAF)
在 fMP4 出现前,广播方必须封装两套文件:为 Apple/HLS 设备准备 MPEG-TS,为 Android/DASH 设备准备 fMP4。HLS 通过 CMAF(通用媒体应用格式)支持 fMP4 后,视频只需编码并存储一次。HLS 的 .m3u8 清单与 DASH 的 .mpd 清单可以指向完全相同的 fMP4 分片,从而将 CDN 存储成本减半。
2. 降低带宽开销
fMP4 去除了传统 MPEG-TS 的 188 字节数据包头,因此生成的分片更小。对于大流量流媒体平台,开销降低会直接转化为更低的 CDN 出站成本,也能让终端用户更快填满缓冲区。
3. 更好的 DRM 兼容性(CENC)
fMP4 使用通用加密(CENC)。只要在清单中提供相应的许可证密钥,同一个加密媒体分片就能由多种 DRM 系统解锁,例如 Apple FairPlay、Google Widevine 和 Microsoft PlayReady。MPEG-TS 则需要使用兼容范围较窄的 SAMPLE-AES。
4. 低延迟流媒体
fMP4 是低延迟 HLS(LL-HLS)和低延迟 DASH 的基础。它支持分块传输编码:实时源站尚未完成整个 fMP4 碎片的编码时,CDN 就能开始把已完成的部分传给播放器。
在 HLS 中实现 fMP4(清单)
使用 fMP4 的 HLS 媒体播放列表与传统 TS 播放列表略有不同。最关键的新增内容是 #EXT-X-MAP 标签,它指向初始化分片(fMP4 文件头)。后续所有分片(通常以 .m4s 结尾)都依赖这个初始化分片才能正确解码。
#EXTM3U
#EXT-X-TARGETDURATION:6
#EXT-X-VERSION:7
#EXT-X-MEDIA-SEQUENCE:1
#EXT-X-MAP:URI="init.mp4"
#EXTINF:6.000,
segment_1.m4s
#EXTINF:6.000,
segment_2.m4s
#EXTINF:6.000,
segment_3.m4s
#EXT-X-ENDLIST
使用 FFmpeg 生成 fMP4 HLS
要使用 FFmpeg 将现有视频转换为基于 fMP4 的 HLS 流,可以把 hls_segment_type 标志设为 fmp4:
ffmpeg -i input.mp4 -codec:v libx264 -codec:a aac \
-hls_time 6 -hls_playlist_type vod \
-hls_segment_type fmp4 \
-hls_segment_filename "segment_%03d.m4s" \
output.m3u8
请注意,此命令会自动生成一个 output.m3u8 文件、一系列 segment_XXX.m4s 文件以及一个 init.mp4 文件。
排查 fMP4 播放问题
虽然 fMP4 是现代标准,但从 TS 迁移到 fMP4 时可能出现以下特定问题:
- 缺少初始化分片:如果播放器因 404 或 CORS 错误而无法下载
#EXT-X-MAP标签指定的 URI,播放会立即失败。播放器无法解码.m4s碎片,因为初始化文件中缺少moov元数据。 - 编解码器不匹配:fMP4 高度依赖主播放列表中准确的编解码器字符串,例如
CODECS="avc1.4d401f,mp4a.40.2"。如果主 M3U8 中的编解码器字符串与 fMP4 碎片内的实际编码数据不匹配,浏览器中的 MSE(媒体源扩展)会拒绝缓冲区并抛出解码错误。 - 旧设备支持:虽然 iOS 10 及以上版本和现代 Android 浏览器完全支持 fMP4 HLS,但很老的智能电视(2017 年以前)和传统机顶盒可能只配置了 MPEG-TS 硬件解码器。如果旧设备用户占比较高,可能需要在 fMP4/CMAF 流之外继续维护 TS 流。
总结
对于任何新的流媒体部署,通过 CMAF 使用碎片化 MP4(fMP4)显然是更合适的选择。它能降低存储成本和带宽开销、简化多 DRM 配置,并让直播延迟降到 3 秒以内。MPEG-TS 仍会在传统广播环境中存在多年,但互联网已经全面采用 fMP4 带来的高效率。