跳至主要内容
M3U8 技术指南

如何编写 Python 脚本下载 M3U8 流

编写自定义 Python 脚本来下载 HLS M3U8 流,能够让你充分掌控下载过程。无论是处理复杂的身份验证请求头、绕过速率限制、并发下载分片,还是在脚本中直接解密 AES-128 分片,本篇专业指南都会提供相应的架构思路。

FFmpeg 或 youtube-dl 等工具很适合标准 HLS 下载,但遇到高度定制、需要身份验证或采用特殊加密方式的流时,可能无法满足需求。自己编写 Python M3U8 下载器,可以为每个分片请求添加自定义请求头、管理代理轮换、并发下载,并以编程方式从主播放列表选择特定版本。

本指南将编写一个 Python 脚本:解析 M3U8 文件、并发下载分片、在需要时解密,并将分片合并为一个视频文件。

准备工作与依赖库

要编写可靠的下载器,应避免用原始正则表达式解析 M3U8 语法。HLS 规范(RFC 8216)较复杂,存在许多边界情况。这里使用 Python 的 m3u8 库解析播放列表,并用 requests 处理网络请求。

pip install m3u8 requests pycryptodome
  • m3u8:将播放列表文本解析为便于处理的 Python 对象。
  • requests:处理 HTTP 通信,支持自定义请求头、Cookie 和会话。
  • pycryptodome:为加密流提供 AES 解密能力。

解析主播放列表与媒体播放列表

M3U8 URL 往往指向包含多个画质版本的主播放列表。脚本需要识别这种情况,选定媒体播放列表,再解析其中的分片。

import m3u8
import requests

def get_best_playlist(url, headers):
    playlist = m3u8.load(url, headers=headers)
    
    if playlist.is_variant:
        # Sort by bandwidth, highest first
        variants = sorted(playlist.playlists, key=lambda p: p.stream_info.bandwidth, reverse=True)
        best_uri = variants[0].absolute_uri
        print(f"Selected highest quality variant: {best_uri}")
        return m3u8.load(best_uri, headers=headers)
    
    return playlist

url = "https://example.com/master.m3u8"
headers = {"User-Agent": "Mozilla/5.0"}
media_playlist = get_best_playlist(url, headers)

m3u8.load() 会在内部处理相对路径,并填充后续请求使用的 absolute_uri,避免自定义下载器中一类常见的路径错误。

处理 AES-128 加密

如果流经过加密,媒体播放列表会包含 #EXT-X-KEY 标签。对于 METHOD=AES-128,整个分片使用 AES 的 CBC(密码块链接)模式加密。你需要获取密钥、提取初始化向量(IV),并解密二进制数据。

隐式与显式 IV

如果密钥标签缺少 IV 属性,HLS 规范规定用分片的序列号作为 IV,并以零填充。脚本需要正确处理这一情况。

from Crypto.Cipher import AES

def decrypt_segment(encrypted_data, key_uri, iv_hex, seq_num, headers):
    # Fetch the 16-byte key
    key = requests.get(key_uri, headers=headers).content
    
    # Determine the IV
    if iv_hex:
        iv = bytes.fromhex(iv_hex.replace("0x", ""))
    else:
        # Fallback to segment sequence number
        iv = seq_num.to_bytes(16, byteorder='big')
        
    cipher = AES.new(key, AES.MODE_CBC, iv)
    return cipher.decrypt(encrypted_data)

并发下载分片

逐个下载分片非常慢。为充分利用带宽,这里使用 Python 的 concurrent.futures.ThreadPoolExecutor。同时必须保证下载完成后按原始顺序合并分片。

import concurrent.futures
import os

def download_segment(segment, index, headers):
    response = requests.get(segment.absolute_uri, headers=headers)
    data = response.content
    
    # Check for encryption
    if segment.key and segment.key.method == "AES-128":
        data = decrypt_segment(data, segment.key.absolute_uri, segment.key.iv, segment.media_sequence, headers)
        
    file_path = f"seg_{index:04d}.ts"
    with open(file_path, "wb") as f:
        f.write(data)
    
    print(f"Downloaded {file_path}")
    return file_path

# Execute downloads concurrently
downloaded_files = []
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
    futures = {executor.submit(download_segment, seg, i, headers): i for i, seg in enumerate(media_playlist.segments)}
    
    # Collect files in order
    results = [None] * len(media_playlist.segments)
    for future in concurrent.futures.as_completed(futures):
        idx = futures[future]
        results[idx] = future.result()
        
downloaded_files = results
注意:谨慎设置 max_workers 参数。值过高可能触发源站的防 DDoS 措施或速率限制,导致 429(请求过多)或 403(禁止访问)错误。

将分片合并成单个视频

M3U8 分片通常是 MPEG-TS(.ts)文件。技术上可以在二进制层面拼接,例如在 Linux 上用 cat,或在 Python 中按二进制写入。但为修复可能存在的时间戳不连续问题,让合并后的文件经过 FFmpeg 处理更稳妥。

import subprocess

def merge_segments(file_list, output_file="output.mp4"):
    # Create a concatenation text file for FFmpeg
    with open("concat_list.txt", "w") as f:
        for file in file_list:
            f.write(f"file '{file}'\n")
            
    # Run FFmpeg to merge without re-encoding
    command = [
        "ffmpeg", "-f", "concat", "-safe", "0", 
        "-i", "concat_list.txt", "-c", "copy", output_file
    ]
    subprocess.run(command, check=True)
    
    # Cleanup temporary files
    os.remove("concat_list.txt")
    for file in file_list:
        os.remove(file)
        
    print(f"Merge complete: {output_file}")

merge_segments(downloaded_files)

进阶故障排查

  • 令牌过期:许多 CDN 会在主 M3U8 URL 后附加有时效性的查询参数(令牌)。解析主播放列表后,如果 m3u8 库没有自动继承这些参数,要确保分片请求也带上它们。
  • 处理 EXT-X-MAP:分片 MP4(fMP4)流使用由 #EXT-X-MAP 声明的初始化分片。脚本必须下载该文件,并将其置于最终拼接文件的开头,否则视频无法播放。
  • 重试逻辑:网络连接可能中断。可将 requests.get() 调用放在带指数退避的 while 循环中,并用 try-except 捕获 requests.exceptions.RequestException。

总结

自定义 Python M3U8 下载器可以处理标准工具难以应对的限制。结合 m3u8 解析库、Python 并发机制和 AES-128 解密工具,就能构建更可靠的自动化媒体处理流程。