# Scrapling / curl_cffi 视频下载尝试记录

## 验证时间
2026-06-17

## 背景
用户在Hermes Agent v0.16.0更新后提到"哈密斯公布了一个抓取网上视频的"，希望用这个功能下载比赛视频。对应技能为 `research/scrapling`（可选技能，从Hermes开发版optional-skills/复制安装）。

## 安装结果
- `pip install scrapling[all]` ✅ 安装成功（依赖包全部装好）
- `scrapling install` ❌ 失败 — Playwright与Ubuntu 26.04不兼容
  - `playwright install chromium` 在Ubuntu 26.04上失败
  - 这导致stealth/dynamic fetcher不可用

## 对YouTube的测试

### HTTP Fetcher（curl_cffi） — 部分成功
```python
from scrapling.fetchers import Fetcher
page = Fetcher.get("https://www.youtube.com/watch?v=VIDEO_ID", impersonate='chrome')
# 返回HTTP 200 ✅ — 绕过了初始bot检测
# page.text = 0字节 ❌ — 页面内容为空，YouTube返回了空白页面
```

### curl_cffi直接使用 — 更详细
```python
import curl_cffi.requests
session = curl_cffi.requests.Session(impersonate="chrome")
resp = session.get("https://www.youtube.com/watch?v=VIDEO_ID")
# 返回200 ✅
# resp.text 包含真实页面内容（1.3MB）✅
# 页面中包含 ytInitialPlayerResponse 数据 ✅
# playabilityStatus.status = "LOGIN_REQUIRED" ❌
# 没有formats/adaptiveFormats ❌
```

**结论：** curl_cffi可以绕过YouTube的初始bot检测并获取页面JSON数据，但视频播放仍然需要登录验证（`LOGIN_REQUIRED`）。无法用于下载视频。

### Jina AI Reader — 文本级访问
```bash
curl -sL "https://r.jina.ai/https://www.youtube.com/watch?v=VIDEO_ID"
# 返回页面标题、描述、相关视频链接等文本内容 ✅
# 可用于确认视频标题和内容，无需下载视频
```

## 对其他视频平台的测试

### FOX Sports（foxsports.com）
- ✅ 通过Yahoo Japan搜索发现watch页面
- ✅ watch页面HTML中包含直接mp4/m3u8下载链接
- ✅ curl可直接下载，需加 Referer 头
- ✅ 无需登录、无鉴权
- ✅ 多种版本：集锦、4min精华、单球片段
- 详见 `references/fox-sports-video-download.md`

### Dailymotion
- ✅ yt-dlp可直接下载（已验证：`yt-dlp https://www.dailymotion.com/video/ID`）
- ✅ 无需impersonation
- ❌ 搜索功能不可用（服务器IP被限制，返回固定内容）
- 可通过Yahoo Japan搜索发现Dailymotion视频ID

### YouTube
- ❌ 所有方法均无法下载（需要cookies文件）
- 可尝试的方法（均失败）：
  - yt-dlp + android client → LOGIN_REQUIRED
  - curl_cffi impersonation → LOGIN_REQUIRED
  - Invidious/Piped instances → 全部关停或404
  - `--cookies-from-browser` → 本服务器无浏览器
- ✅ 仅Jina AI Reader可获取YouTube页面文本内容（标题、描述）

## 总结
- Scrapling的HTTP Fetcher适用于静态页面的视频链接提取
- 对本服务器（Ubuntu 26.04）来说，scrapling的主要价值是curl_cffi的浏览器指纹模拟
- FOX Sports是目前最可靠的比赛视频来源
- YouTube除非用户提供cookies文件，否则无法下载