MediaCrawler：一站式自媒体平台数据采集利器
你是否曾经为了分析竞品、追踪热点或进行学术研究，需要从多个自媒体平台手动收集海量公开数据而感到头疼？MediaCrawler 的出现，旨在彻底解决这个问题。它是一个基于 Python 和 Playwright 构建的强大、易用的多平台数据采集工具，可以帮助开发者、数据分析师和研究者高效、自动化地抓取小红书、抖音、快手等主流平台的公开内容与评论数据。本文将带你全面了解这个在数据采集领域备受瞩目的开源项目。
截至收录：
MediaCrawler项目stars数：42772
MediaCrawler项目forks数：9458
MediaCrawler项目目录截图
MediaCrawler项目核心亮点
🌟 亮点一：多平台全面覆盖：支持小红书、抖音、快手、B站、微博、贴吧、知乎七大主流平台，一个工具满足绝大部分自媒体数据采集需求。
🎯 亮点二：无需复杂JS逆向：核心采用 Playwright 浏览器自动化框架，通过保存登录态和模拟浏览器环境来获取数据，绕过了复杂的加密算法逆向，大幅降低了技术门槛和使用难度。
🔒 亮点三：功能丰富且灵活：不仅支持关键词搜索和指定ID抓取，还支持抓取二级评论、指定创作者主页、登录态缓存、IP代理池集成，并能自动生成评论词云图，满足深度分析需求。
🧩 亮点四：开箱即用与良好生态：提供清晰的配置文件和命令行指引，结合推荐的 uv 包管理工具，能快速搭建运行环境。项目还拥有活跃的社区、详细的文档和商业版（MediaCrawlerPro），生态完善。
MediaCrawler项目快速开始
只需几步，你就能开始使用 MediaCrawler 采集数据：
1. 环境准备：
确保已安装 uv（推荐）和 Node.js (>=16)。
bash
# 克隆项目
git clone https://github.com/NanmiCoder/MediaCrawler.git
cd MediaCrawler
# 使用uv同步Python环境与依赖
uv sync
# 安装Playwright浏览器驱动
uv run playwright install
- 运行你的第一个爬虫（以小红书为例）：
bash
# 首先，根据中文注释修改 config/base_config.py 中的配置（如搜索关键词）
# 运行搜索模式爬虫，并通过二维码登录
uv run main.py --platform xhs --lt qrcode --type search - 查看帮助与探索更多：
bash
# 查看所有支持的命令和平台
uv run main.py --help
MediaCrawler项目应用场景
场景一：竞品分析与市场调研：市场人员可以定期自动抓取竞品在各大社交平台的内容、互动数据和用户评论，生成分析报告。
场景二：学术研究与舆情监控：研究者可以采集特定事件或话题下的跨平台公开讨论数据，用于社会舆情、传播学等领域的定量分析。
场景三：内容创作与热点追踪：自媒体从业者可以监控平台热点话题和流行内容形式，为内容创作提供数据支持。
用户案例：该项目在GitHub上获得了超过4.2万颗星，被众多开发者、数据分析师和研究机构用于合法的学习与研究目的，其赞助商列表也包含了多家数据服务提供商，从侧面印证了其技术价值和影响力。
MediaCrawler项目链接
NanmiCoder / MediaCrawler项目地址：https://github.com/NanmiCoder/MediaCrawler
本文地址：https://www.tgoos.com/33169
