Skip to content

isheng-eqi/media-crawler-easy

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

8 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

MediaCrawler 多平台社媒数据采集助手

一句话:在 Claude Code 里说"帮我爬XX平台的评论",坐等几分钟,拿到一份已验证无误的精美 HTML 报告。不用写代码、不用配环境。

📦 这是什么

MediaCrawler 是一个 Claude Code Skill(基于开源项目 NanmiCoder/MediaCrawler ⭐30K+),让你在 Claude Code 对话中直接采集 7 大主流社媒平台的用户评论数据。不用写代码、不用配爬虫环境、不用学 Playwright——像聊天一样告诉 Claude 你要爬什么,扫码登录,坐等报告。

🎯 能干什么

使用场景 你说 你拿到
舆情分析 "帮我爬最近 100 条关于 iPhone 16 的抖音视频评论" 每条视频的评论数据 + 按热度排序的可视化报告
竞品调研 "把这 5 个小红书笔记的评论都爬下来" 评论内容、点赞数、用户性别分布、关键词热度
UP主分析 "把这个 B站 UP 主最近视频的评论都爬了" 该 UP 主全部视频的评论合集 + 热评精选
论文素材 "爬一下知乎这个问题的所有回答和评论" 结构化数据 CSV,可直接导入 SPSS/Excel
内容灵感 "搜一下'装修'在微博上的讨论" 热门帖子及评论的情绪关键词分布

🗺️ 支持平台

平台 代码 支持的模式
🅱️ B站 bili 关键词搜索 / 指定视频 / UP主主页
📝 小红书 xhs 关键词搜索 / 指定笔记 / 博主主页
🎵 抖音 dy 关键词搜索 / 指定视频/图文 / 创作者主页
📱 快手 ks 关键词搜索 / 指定视频 / 创作者主页
📢 微博 wb 关键词搜索 / 指定帖子
💬 贴吧 tieba 关键词搜索 / 指定贴子
知乎 zhihu 关键词搜索 / 指定问答

✨ 新增功能

相比原版 MediaCrawler,Skill 版新增以下能力:

功能 说明
🚀 一键环境搭建 自动检测 Python / Node.js / Chrome 环境,缺啥装啥
🎯 AI 配置引导 3 轮问答搞定全部配置,不用手动改配置文件
👁️ 登录状态监控 实时判断登录进度,二维码/验证码/滑块异常自动提醒
🔒 JS 语法自动验证 报告生成后自动跑 node --check,语法无误才打开
🧹 一键清理工具 采集完一键清除临时文件,数据不受影响
📊 交互式 HTML 报告 多 Tab 切换、图表统计、词云图、评论分页(20/50/100 条)

📋 输出物

每次爬取完成后,你会得到:

  1. CSV 数据文件data/<平台>/csv/ 目录下)

    • 内容表:视频/笔记的标题、链接、播放量、点赞数、作者信息
    • 评论表:每条评论的内容、点赞数、发布时间、用户昵称、头像 URL
    • 可直接用 Excel/WPS 打开,或导入 Python/R 做分析
  2. 交互式 HTML 报告(桌面 + 项目内各一份,生成后自动验证 JS 无错误才打开

    • 热门评论精选
    • 全部评论表格(搜索、排序、分页——已修复,每页 20/50/100 条可选)
    • 评论关键词热度柱状图
    • 数据分布(搜索词命中、用户性别比等)
  3. 词云图(可选,需勾选)

📊 报告展示

采集完成后自动生成交互式 HTML 报告,以下是实际效果:

报告首页

报告首页概览

报告数据详情

报告评论展示


⚙️ 前置条件

🖥️ 系统要求

项目 最低要求 说明
操作系统 Windows 10+ / macOS 11+ / Ubuntu 20.04+ 三个平台都已验证
Python ≥ 3.10 安装时必须勾选"Add to PATH"
Git 任意版本 获取源码用
Chrome 或 Edge 最新稳定版 爬虫通过浏览器模拟真实用户访问
Node.js ≥ 16(推荐) 仅用于报告 JS 语法验证,缺失不影响爬取
磁盘空间 ≥ 2GB 可用 Chrome 用户数据目录约 200-500MB
内存 ≥ 4GB(推荐 8GB) Chrome 吃内存

📱 平台账号

平台 需要账号? 登录方式
B站 ✅ 需要 手机扫码
小红书 ✅ 需要 手机扫码
抖音 ✅ 需要 手机扫码
快手 ✅ 需要 手机扫码
微博 ✅ 需要 手机扫码
贴吧 通常不需要 部分内容可能需登录
知乎 通常不需要 部分内容可能需登录

⚠️ 爬取时需要你在电脑前用手机 App 扫一次码(30 秒内完成),后续会话会保存登录状态。

🇨🇳 中国大陆用户特别注意

  • 网络:需要能正常访问 PyPI。如果 pip install 超时,环境检测脚本会自动切换到清华/阿里镜像
  • Windows UTF-8:建议在系统设置中开启"Beta: Use Unicode UTF-8",避免中文文件名乱码
  • VC++ 编译工具:如果安装 opencv-python 时报错 Microsoft Visual C++ 14.0 is required,安装 Visual C++ Build Tools 即可

🚀 快速开始

第一步:触发对话

在 Claude Code 中输入以下任意一句:

/media-crawler-easy
帮我爬抖音评论
采集一下B站视频评论

第二步:回答 3 轮配置问题

Claude 会依次问你:

  1. 选平台 + 选模式(搜关键词 / 指定链接 / 创作者主页)
  2. 填具体参数(关键词、链接、数量)
  3. 评论设置(每条多少评论、要不要楼中楼、爬取间隔)

全选默认值的话只需回复"默认"两个字。

第三步:坐等完成

  • Claude 自动检查环境 → 写入配置 → 启动爬虫
  • 弹出 Chrome 窗口 → 扫个码 → 自动采集
  • 报告生成后自动验证 JS 无语法错误,确认无误后才打开浏览器展示

🧹 采集后清理

每次爬取会产生一些临时文件(浏览器缓存约 200-500MB、Python 字节码等)。Claude 会在采集完成后询问你是否清理——选"清理"只删临时文件,CSV 数据和 HTML 报告不受影响。

也可以随时手动清理:

python ~/.claude/skills/media-crawler-easy/scripts/cleanup.py

⚠️ 重要提示

  • 合规使用:本项目仅供学习研究。不得用于非法用途,不得对平台造成运营干扰
  • 频率控制:默认爬取间隔 2 秒。调得太快会触发平台风控(限流、封号)
  • 登录态:首次爬取需要扫码,完成后登录状态会保存,后续爬相同平台无需重复扫码
  • 数据安全:所有数据保存在本地 data/ 目录,不会上传到任何服务器

🔗 相关链接

  • 原作者仓库:NanmiCoder/MediaCrawler
  • Skill 安装路径:~/.claude/skills/media-crawler-easy/
  • 报告生成脚本:scripts/generate_report.py
  • 环境检测脚本:scripts/env_setup.py

About

Claude Code Skill:B站/小红书/抖音/快手/微博/贴吧/知乎 多平台社媒评论采集爬虫。扫码登录,自动生成 HTML 报告+CSV,支持关键词搜索/指定链接/创作者主页三种模式

Topics

Resources

Stars

3 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages