社交媒体数据采集全攻略：MediaCrawler-new六个阶段跑通五大平台

社交媒体数据采集全攻略MediaCrawler-new六个阶段跑通五大平台【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new周末上午十点做露营装备生意的阿哲给我发来一张表格里面是天幕这个词在五个平台上的搜索结果——每行只有标题和发布时间加起来不到二十条。他说这是他和实习生花三个下午手动翻出来的。我没忍住回了句这活儿机器五分钟能干完。我说的这活儿就是社交媒体数据采集把小红书、抖音、快手、B站、微博上公开的帖子、视频、评论、点赞、转发等信息成规模地、有结构地拿下来。而今天要聊的MediaCrawler-new正是一个把这件事做成开箱即用的 Python 爬虫框架。它用 playwright 模拟真实浏览器绕开各大平台的反爬与加密门槛装好环境、改几行配置、扫个码就能批量出数。下面这篇文章我不打算给你堆功能清单而是把它拆成一条从零到第一份数据的六阶段旅程每一阶段解决一个具体问题。五个平台的数据为什么不能靠手点先认清一个事实这不是懒不懒的问题而是做不做得到的问题。平台反爬一年比一年严请求频率稍高就被识别登录要过验证码抖音还有滑块很多关键接口参数是加密的直接抓包拿到的是乱码数据格式五花八门五个平台五套结构频繁请求还容易让 IP 被拉黑账号跟着遭殃。MediaCrawler-new 的思路很有意思不去逆向平台的加密 JS而是用 playwright 搭一座桥——保留登录成功后的浏览器上下文环境再通过执行 JS 表达式拿到需要的加密参数。加密逆向的难度被直接绕过去了这也是它比很多纯请求型爬虫稳定得多的原因。阶段一装环境四行命令的功夫环境准备大约五分钟别被爬虫两个字吓到。打开终端按顺序来git clone https://gitcode.com/GitHub_Trending/me/MediaCrawler-new cd MediaCrawler-new python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt playwright install三个小提醒建议用虚拟环境别污染系统 Pythonplaywright install会下载浏览器内核需要等一会儿如果报缺少 nodejs 环境装一个 Node.js v16.8.0 以上版本即可这是 playwright 正常运行的前提。阶段二配置文件只看这几行装完先别急着跑打开config/base_config.py里面每一行都有中文注释新手也不会懵。真正影响你第一次出数的就这几项配置项填什么作用PLATFORMxhs / dy / ks / bili / wb决定爬哪个平台KEYWORDS逗号分隔的关键词关键词搜索的数据源LOGIN_TYPEqrcode / phone / cookie登录方式CRAWLER_TYPEsearch / detail / creator搜索、指定帖子、创作者主页SAVE_DATA_OPTIONcsv / db / json数据存到哪ENABLE_IP_PROXYTrue / False是否开代理防封CRAWLER_MAX_NOTES_COUNT数字一次最多采多少条举个小例子比如阿哲想在小红书搜天幕和露营灯PLATFORM xhs KEYWORDS 天幕,露营灯 CRAWLER_TYPE search SAVE_DATA_OPTION csv改完这几行其他先不用动。阶段三登录三选一一次登录长期有效采集前必须先登录MediaCrawler-new 给了三种姿势按你的使用习惯选二维码登录最省事。跑起程序浏览器里弹出二维码手机 App 扫一下就完事适合第一次上手手机号登录输入手机号程序配合短信验证码完成登录适合懒得掏手机扫码的场景Cookie 登录把已有的登录 Cookie 粘进配置里适合批量账号或自动化环境。有个很贴心的设计项目默认开启登录状态缓存SAVE_LOGIN_STATE。也就是说第一次登录成功后下次启动直接复用不用再扫一遍码。长期跑采集任务的人会懂这个功能有多香。另外如果你用的是小红书二维码登录偶尔会卡在验证上把配置文件里的HEADLESS改成False让浏览器弹出来手动过一下滑块就能继续走。阶段四数据住进三个仓库怎么选采到的数据往哪存同样三选一各有各的场景存储方式适合谁说明JSON程序化处理、二次开发结构完整保留字段最全CSV想用 Excel/WPS 直接看存到data/目录开箱即读DB量大、要查询分析需在config/db_config.py配好 MySQL/PgSQL对阿哲这种看趋势、做选品的需求来说CSV 就够了如果是团队长期积累数据做分析建议直接上数据库。阶段五扛住封号风险代理IP池如何自动轮换这是很多人真正关心的一环采得多了IP 被封怎么办MediaCrawler-new 内置了一套代理 IP 池机制原理一句话先从代理服务商拉一批 IP 存进 Redis 缓存再交给爬虫按需取用。整个流程见下图社交媒体数据采集代理IP工作流程图具体落地分三步准备代理 IP 信息去代理服务商注册并实名认证在 IP 提取页面生成 API 链接链接里只需要关注key和crypto两个参数把密钥写进环境变量也就是把上一步的key和crypto配好程序启动时自动读取打开开关把配置里的ENABLE_IP_PROXY设为True再设置代理池大小IP_PROXY_POOL_COUNT。注意两个前提代理功能依赖 Redis用于缓存 IP 和记录过期时间建议设个密码以及代理属于附加能力轻度采集用户不开也完全够用。完整的参数说明都在项目文档 docs/代理使用.md 里。阶段六从关键词到第一份数据的完整跑通现在我们把阿哲的故事走完。他在config/base_config.py里填好平台和关键词后执行一行命令python main.py --platform xhs --lt qrcode --type search程序会自动打开浏览器、弹出二维码手机 App 扫码确认登录爬虫就开始按关键词一页一页地翻结果、抓正文、统计互动数据。阿哲喝完一杯咖啡回来data/目录下已经躺着一个 CSV里面是天幕露营灯相关的几百条帖子标题、链接、点赞和评论数。原本三个下午的活儿变成了一次早餐的时间。如果你有别的需求同一套流程也能覆盖想追某个具体帖子/视频--type detail配合各平台的*_SPECIFIED_ID_LIST配置想盯某位创作者小红书支持指定创作者主页爬取想下 B 站视频用video_download类型批量下载想顺带分析评论区把ENABLE_GET_COMMENTS设为True。每种玩法都是在配置文件里改个值的事不用动代码。让它跑得更稳的几条实用经验项目跑通之后想让采集更省心记住这几条就够了并发别贪多MAX_CONCURRENCY_NUM默认 4不是越大越好平台风控敏感时调回 1~2 反而更快控制总量和节奏CRAWLER_MAX_NOTES_COUNT按需设置别一上来就拉满给平台留点体面无头模式省资源日常批量跑用HEADLESS True只有需要手动过验证码时才弹浏览器登录异常先清缓存登录一直失败时把USER_DATA_DIR指向的缓存目录清掉重新登录多半是旧登录态作祟。遇到具体报错项目里整理过一份很实在的问答docs/常见问题.md大多数坑都能在里面找到答案。收尾下一步行动与两条底线想亲手跑通一次三步就够按阶段一的命令把环境装好打开config/base_config.py填上你想搜的平台和关键词执行python main.py --platform xhs --lt qrcode --type search扫码后等待出数。最后说两句大实话。采集工具给的是能力怎么用是选择只采公开内容别碰个人隐私控制频率别薅平台数据只用于合法学习与研究不拿去做黑灰产或牟利。工具无罪规矩得自己守。把数据用在正道上它才是真正帮到你做决策的杠杆。【免费下载链接】MediaCrawler-new项目地址: https://gitcode.com/GitHub_Trending/me/MediaCrawler-new创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考