小龙虾技能-03-browser-automation-02_WebCrawler_智能网页抓取
浏览器与自动化 | Web-crawler 智能网页抓取 Skill 完全指南下载量:8.9K| 一站式网页数据采集利器文章标签:小龙虾智能体、小龙虾技能、智能工具、openclaw、02_WebCrawler一、概述Web-crawler 智能网页抓取 Skill 是一款面向开发者和数据分析师的全自动网页数据采集工具。其核心能力涵盖四大维度:智能识别网页结构(自动解析 DOM 树、识别列表/表格/详情页布局)、自动翻页(检测「下一页」按钮、滚动加载、无限滚动等多种分页模式)、反爬规避(Cookie 管理、User-Agent 轮换、请求延迟随机化、验证码检测与人工介入提示)、数据导出(JSON / CSV / Excel / SQLite 多格式一键导出)。该 Skill 定位为"零配置快速上手"——即使不具备爬虫开发经验,也只需提供目标 URL 和字段描述,即可在数分