网页数据采集
不用学爬虫 —— 告诉 AI 你要什么数据，剩下的它来
想抓个数据，怎么就这么难
不会写爬虫、反爬绕不过、数据乱成一锅粥
你只是想把网页上的数据整理下来而已，结果一搜教程：requests、BeautifulSoup、XPath、CSS选择器……光术语就能劝退一半人。
好不容易照着教程跑通了，第二天网站加了 Cloudflare 验证，IP 被封了，验证码弹出来了，直接歇菜。
就算数据抓下来了，格式也是一团糟——有的字段带 HTML 标签，有的价格带货币符号，有的日期格式三四种混着来。清洗数据的时间比采集还长，真的会谢。
OpenClaw：你说要什么数据，它写脚本去抓
不用学爬虫技术栈，直接告诉 OpenClaw 你想采集哪个网页、要哪些字段，它会自动分析页面结构，帮你生成完整的爬虫脚本。
反爬？它知道怎么加随机延迟、轮换 User-Agent、处理动态加载。翻页？告诉它要抓多少页，自动搞定分页逻辑。
抓完的数据直接就是干净的结构化格式：CSV、JSON、Excel 随你选。网站改版了也不怕，重新跑一次，它会适应新的页面结构。
3 条采集 Prompt，拿走就能用
从入门到进阶，覆盖最常见的采集场景。
豆瓣 Top250 电影数据采集
黄金指令
帮我采集豆瓣 Top 250 电影的数据：
URL: https://movie.douban.com/top250
需要采集的字段：
- 电影名称（中文名 + 英文名）
- 豆瓣评分
- 评价人数
- 导演
- 上映年份
- 一句话短评
要求：
1. 自动翻页，采集全部 250 部
2. 每次请求间隔 2-3 秒，别太快
3. 评价人数只保留数字，去掉"人评价"这种文字
4. 保存为 CSV 文件，按评分从高到低排序豆瓣是练手采集的经典目标，页面结构稳定，反爬不算严。记得控制频率，别给人家服务器添麻烦。
竞品价格定时监控
进阶技巧
帮我写一个竞品价格监控脚本：
监控目标（5 个竞品的定价页面）：
- [竞品A价格页URL]
- [竞品B价格页URL]
- [竞品C价格页URL]
- [竞品D价格页URL]
- [竞品E价格页URL]
功能要求：
1. 每天早上 9 点自动采集各竞品的当前售价
2. 和昨天的价格做对比，有变化就标红
3. 数据存入本地 SQLite，方便后续查询
4. 每周生成一份价格变化趋势图（matplotlib）
5. 价格变动超过 5% 时，输出告警日志
用 schedule 做定时，requests + BeautifulSoup 采集。
加上异常处理，网络超时或页面变了不要崩。适合市场部长期跟踪竞品动态。脚本生成后丢到服务器用 crontab 跑就行。竞品多的话可以让 AI 加上多线程，采集效率翻几倍。
网页表格一键提取
新手友好
帮我把这个网页上的表格数据提取出来：
URL: [粘贴网页链接]
要求：
1. 自动识别页面中的所有表格
2. 把表格数据整理成 Excel 格式
3. 每个表格单独一个 Sheet，Sheet 名用表格标题
4. 保留表头，数据格式自动识别（数字、日期、百分比）
5. 保存到 ~/data/extracted_tables.xlsx最简单的采集任务，适合快速抓取报告、统计页面上的表格数据。大多数网页表格用 pandas 的 read_html 就能搞定，一行代码的事。
数据采集：OpenClaw vs 八爪鱼/火车头
可视化采集器入门快，但天花板太低。
OpenClaw
- 用中文描述需求，AI 自动生成爬虫代码
- 代码完全透明，想改逻辑随时改
- 能处理 JS 动态渲染、登录态、各种反爬
- 数据清洗和采集一步到位，不用二次处理
- 脚本直接部署到服务器跑定时任务，零额外成本
VS
八爪鱼 / 火车头
- 可视化点选配置，上手确实快
- 但碰到复杂页面经常配不出来
- JS 渲染的页面基本抓瞎
- 数据清洗能力有限，导出还得再加工
- 定时任务要付费版，一年好几千
爬虫安全配置
跑爬虫之前，这些安全设置记得配好。
爬虫安全配置（.openclaw.yml）
# 爬虫项目推荐配置
sandbox:
network: true # 允许网络访问
timeout: 300 # 采集可能需要几分钟
allowed_paths:
- ~/data/ # 数据存储目录
scraping:
respect_robots_txt: true # 遵守 robots.txt 规则
request_delay: 2 # 请求间隔（秒），别太快
max_retries: 3 # 失败重试次数
user_agent_rotate: true # 自动轮换 User-Agent
timeout_per_request: 30 # 单次请求超时（秒）
python:
packages:
- requests
- beautifulsoup4
- selenium # 需要渲染 JS 的页面
- pandas # 数据整理和导出合规提醒
采集数据务必遵守法律法规和网站使用条款。
1. 先检查目标网站的 robots.txt，标明禁止抓取的路径不要碰。
2. 控制采集频率，别把人家服务器搞崩了。
3. 涉及个人隐私数据（手机号、邮箱等）要格外小心，确保你有合法使用的依据。
4. 抓取的数据用于商业目的前，建议咨询法务。
1. 先检查目标网站的 robots.txt，标明禁止抓取的路径不要碰。
2. 控制采集频率，别把人家服务器搞崩了。
3. 涉及个人隐私数据（手机号、邮箱等）要格外小心，确保你有合法使用的依据。
4. 抓取的数据用于商业目的前，建议咨询法务。
数据量不大（几百条以内）可以直接让 OpenClaw 在沙盒里跑完。数据量大、需要长时间运行的，让它生成脚本，你自己部署到服务器上。