一句话:在 Claude Code 里说"帮我爬XX平台的评论",坐等几分钟,拿到一份已验证无误的精美 HTML 报告。不用写代码、不用配环境。
MediaCrawler 是一个 Claude Code Skill(基于开源项目 NanmiCoder/MediaCrawler ⭐30K+),让你在 Claude Code 对话中直接采集 7 大主流社媒平台的用户评论数据。不用写代码、不用配爬虫环境、不用学 Playwright——像聊天一样告诉 Claude 你要爬什么,扫码登录,坐等报告。
| 使用场景 | 你说 | 你拿到 |
|---|---|---|
| 舆情分析 | "帮我爬最近 100 条关于 iPhone 16 的抖音视频评论" | 每条视频的评论数据 + 按热度排序的可视化报告 |
| 竞品调研 | "把这 5 个小红书笔记的评论都爬下来" | 评论内容、点赞数、用户性别分布、关键词热度 |
| UP主分析 | "把这个 B站 UP 主最近视频的评论都爬了" | 该 UP 主全部视频的评论合集 + 热评精选 |
| 论文素材 | "爬一下知乎这个问题的所有回答和评论" | 结构化数据 CSV,可直接导入 SPSS/Excel |
| 内容灵感 | "搜一下'装修'在微博上的讨论" | 热门帖子及评论的情绪关键词分布 |
| 平台 | 代码 | 支持的模式 |
|---|---|---|
bili |
关键词搜索 / 指定视频 / UP主主页 | |
| 📝 小红书 | xhs |
关键词搜索 / 指定笔记 / 博主主页 |
| 🎵 抖音 | dy |
关键词搜索 / 指定视频/图文 / 创作者主页 |
| 📱 快手 | ks |
关键词搜索 / 指定视频 / 创作者主页 |
| 📢 微博 | wb |
关键词搜索 / 指定帖子 |
| 💬 贴吧 | tieba |
关键词搜索 / 指定贴子 |
| ❓ 知乎 | zhihu |
关键词搜索 / 指定问答 |
相比原版 MediaCrawler,Skill 版新增以下能力:
| 功能 | 说明 |
|---|---|
| 🚀 一键环境搭建 | 自动检测 Python / Node.js / Chrome 环境,缺啥装啥 |
| 🎯 AI 配置引导 | 3 轮问答搞定全部配置,不用手动改配置文件 |
| 👁️ 登录状态监控 | 实时判断登录进度,二维码/验证码/滑块异常自动提醒 |
| 🔒 JS 语法自动验证 | 报告生成后自动跑 node --check,语法无误才打开 |
| 🧹 一键清理工具 | 采集完一键清除临时文件,数据不受影响 |
| 📊 交互式 HTML 报告 | 多 Tab 切换、图表统计、词云图、评论分页(20/50/100 条) |
每次爬取完成后,你会得到:
-
CSV 数据文件(
data/<平台>/csv/目录下)- 内容表:视频/笔记的标题、链接、播放量、点赞数、作者信息
- 评论表:每条评论的内容、点赞数、发布时间、用户昵称、头像 URL
- 可直接用 Excel/WPS 打开,或导入 Python/R 做分析
-
交互式 HTML 报告(桌面 + 项目内各一份,生成后自动验证 JS 无错误才打开)
- 热门评论精选
- 全部评论表格(搜索、排序、分页——已修复,每页 20/50/100 条可选)
- 评论关键词热度柱状图
- 数据分布(搜索词命中、用户性别比等)
-
词云图(可选,需勾选)
采集完成后自动生成交互式 HTML 报告,以下是实际效果:
| 项目 | 最低要求 | 说明 |
|---|---|---|
| 操作系统 | Windows 10+ / macOS 11+ / Ubuntu 20.04+ | 三个平台都已验证 |
| Python | ≥ 3.10 | 安装时必须勾选"Add to PATH" |
| Git | 任意版本 | 获取源码用 |
| Chrome 或 Edge | 最新稳定版 | 爬虫通过浏览器模拟真实用户访问 |
| Node.js | ≥ 16(推荐) | 仅用于报告 JS 语法验证,缺失不影响爬取 |
| 磁盘空间 | ≥ 2GB 可用 | Chrome 用户数据目录约 200-500MB |
| 内存 | ≥ 4GB(推荐 8GB) | Chrome 吃内存 |
| 平台 | 需要账号? | 登录方式 |
|---|---|---|
| B站 | ✅ 需要 | 手机扫码 |
| 小红书 | ✅ 需要 | 手机扫码 |
| 抖音 | ✅ 需要 | 手机扫码 |
| 快手 | ✅ 需要 | 手机扫码 |
| 微博 | ✅ 需要 | 手机扫码 |
| 贴吧 | 通常不需要 | 部分内容可能需登录 |
| 知乎 | 通常不需要 | 部分内容可能需登录 |
⚠️ 爬取时需要你在电脑前用手机 App 扫一次码(30 秒内完成),后续会话会保存登录状态。
- 网络:需要能正常访问 PyPI。如果
pip install超时,环境检测脚本会自动切换到清华/阿里镜像 - Windows UTF-8:建议在系统设置中开启"Beta: Use Unicode UTF-8",避免中文文件名乱码
- VC++ 编译工具:如果安装
opencv-python时报错Microsoft Visual C++ 14.0 is required,安装 Visual C++ Build Tools 即可
在 Claude Code 中输入以下任意一句:
/media-crawler-easy
帮我爬抖音评论
采集一下B站视频评论
Claude 会依次问你:
- 选平台 + 选模式(搜关键词 / 指定链接 / 创作者主页)
- 填具体参数(关键词、链接、数量)
- 评论设置(每条多少评论、要不要楼中楼、爬取间隔)
全选默认值的话只需回复"默认"两个字。
- Claude 自动检查环境 → 写入配置 → 启动爬虫
- 弹出 Chrome 窗口 → 扫个码 → 自动采集
- 报告生成后自动验证 JS 无语法错误,确认无误后才打开浏览器展示
每次爬取会产生一些临时文件(浏览器缓存约 200-500MB、Python 字节码等)。Claude 会在采集完成后询问你是否清理——选"清理"只删临时文件,CSV 数据和 HTML 报告不受影响。
也可以随时手动清理:
python ~/.claude/skills/media-crawler-easy/scripts/cleanup.py- 合规使用:本项目仅供学习研究。不得用于非法用途,不得对平台造成运营干扰
- 频率控制:默认爬取间隔 2 秒。调得太快会触发平台风控(限流、封号)
- 登录态:首次爬取需要扫码,完成后登录状态会保存,后续爬相同平台无需重复扫码
- 数据安全:所有数据保存在本地
data/目录,不会上传到任何服务器
- 原作者仓库:NanmiCoder/MediaCrawler
- Skill 安装路径:
~/.claude/skills/media-crawler-easy/ - 报告生成脚本:
scripts/generate_report.py - 环境检测脚本:
scripts/env_setup.py


