FFmpeg 或 youtube-dl 等工具很适合标准 HLS 下载,但遇到高度定制、需要身份验证或采用特殊加密方式的流时,可能无法满足需求。自己编写 Python M3U8 下载器,可以为每个分片请求添加自定义请求头、管理代理轮换、并发下载,并以编程方式从主播放列表选择特定版本。
本指南将编写一个 Python 脚本:解析 M3U8 文件、并发下载分片、在需要时解密,并将分片合并为一个视频文件。
准备工作与依赖库
要编写可靠的下载器,应避免用原始正则表达式解析 M3U8 语法。HLS 规范(RFC 8216)较复杂,存在许多边界情况。这里使用 Python 的 m3u8 库解析播放列表,并用 requests 处理网络请求。
pip install m3u8 requests pycryptodome
- m3u8:将播放列表文本解析为便于处理的 Python 对象。
- requests:处理 HTTP 通信,支持自定义请求头、Cookie 和会话。
- pycryptodome:为加密流提供 AES 解密能力。
解析主播放列表与媒体播放列表
M3U8 URL 往往指向包含多个画质版本的主播放列表。脚本需要识别这种情况,选定媒体播放列表,再解析其中的分片。
import m3u8
import requests
def get_best_playlist(url, headers):
playlist = m3u8.load(url, headers=headers)
if playlist.is_variant:
# Sort by bandwidth, highest first
variants = sorted(playlist.playlists, key=lambda p: p.stream_info.bandwidth, reverse=True)
best_uri = variants[0].absolute_uri
print(f"Selected highest quality variant: {best_uri}")
return m3u8.load(best_uri, headers=headers)
return playlist
url = "https://example.com/master.m3u8"
headers = {"User-Agent": "Mozilla/5.0"}
media_playlist = get_best_playlist(url, headers)
m3u8.load() 会在内部处理相对路径,并填充后续请求使用的 absolute_uri,避免自定义下载器中一类常见的路径错误。
处理 AES-128 加密
如果流经过加密,媒体播放列表会包含 #EXT-X-KEY 标签。对于 METHOD=AES-128,整个分片使用 AES 的 CBC(密码块链接)模式加密。你需要获取密钥、提取初始化向量(IV),并解密二进制数据。
隐式与显式 IV
如果密钥标签缺少 IV 属性,HLS 规范规定用分片的序列号作为 IV,并以零填充。脚本需要正确处理这一情况。
from Crypto.Cipher import AES
def decrypt_segment(encrypted_data, key_uri, iv_hex, seq_num, headers):
# Fetch the 16-byte key
key = requests.get(key_uri, headers=headers).content
# Determine the IV
if iv_hex:
iv = bytes.fromhex(iv_hex.replace("0x", ""))
else:
# Fallback to segment sequence number
iv = seq_num.to_bytes(16, byteorder='big')
cipher = AES.new(key, AES.MODE_CBC, iv)
return cipher.decrypt(encrypted_data)
并发下载分片
逐个下载分片非常慢。为充分利用带宽,这里使用 Python 的 concurrent.futures.ThreadPoolExecutor。同时必须保证下载完成后按原始顺序合并分片。
import concurrent.futures
import os
def download_segment(segment, index, headers):
response = requests.get(segment.absolute_uri, headers=headers)
data = response.content
# Check for encryption
if segment.key and segment.key.method == "AES-128":
data = decrypt_segment(data, segment.key.absolute_uri, segment.key.iv, segment.media_sequence, headers)
file_path = f"seg_{index:04d}.ts"
with open(file_path, "wb") as f:
f.write(data)
print(f"Downloaded {file_path}")
return file_path
# Execute downloads concurrently
downloaded_files = []
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
futures = {executor.submit(download_segment, seg, i, headers): i for i, seg in enumerate(media_playlist.segments)}
# Collect files in order
results = [None] * len(media_playlist.segments)
for future in concurrent.futures.as_completed(futures):
idx = futures[future]
results[idx] = future.result()
downloaded_files = results
注意:谨慎设置 max_workers 参数。值过高可能触发源站的防 DDoS 措施或速率限制,导致 429(请求过多)或 403(禁止访问)错误。
将分片合并成单个视频
M3U8 分片通常是 MPEG-TS(.ts)文件。技术上可以在二进制层面拼接,例如在 Linux 上用 cat,或在 Python 中按二进制写入。但为修复可能存在的时间戳不连续问题,让合并后的文件经过 FFmpeg 处理更稳妥。
import subprocess
def merge_segments(file_list, output_file="output.mp4"):
# Create a concatenation text file for FFmpeg
with open("concat_list.txt", "w") as f:
for file in file_list:
f.write(f"file '{file}'\n")
# Run FFmpeg to merge without re-encoding
command = [
"ffmpeg", "-f", "concat", "-safe", "0",
"-i", "concat_list.txt", "-c", "copy", output_file
]
subprocess.run(command, check=True)
# Cleanup temporary files
os.remove("concat_list.txt")
for file in file_list:
os.remove(file)
print(f"Merge complete: {output_file}")
merge_segments(downloaded_files)
进阶故障排查
- 令牌过期:许多 CDN 会在主 M3U8 URL 后附加有时效性的查询参数(令牌)。解析主播放列表后,如果
m3u8库没有自动继承这些参数,要确保分片请求也带上它们。 - 处理 EXT-X-MAP:分片 MP4(fMP4)流使用由
#EXT-X-MAP声明的初始化分片。脚本必须下载该文件,并将其置于最终拼接文件的开头,否则视频无法播放。 - 重试逻辑:网络连接可能中断。可将
requests.get()调用放在带指数退避的while循环中,并用try-except捕获requests.exceptions.RequestException。
总结
自定义 Python M3U8 下载器可以处理标准工具难以应对的限制。结合 m3u8 解析库、Python 并发机制和 AES-128 解密工具,就能构建更可靠的自动化媒体处理流程。