有些网站的数据完全不写在 HTML 里,而是通过 JavaScript 动态渲染。requests.get()拿到的 HTML 是空的,BeautifulSoup解析出来什么都没有。Selenium就是为这种情况设计的——它启动一个真实的浏览器,加载页面,执行 JS,渲染出最终的 DOM 树。本篇我们系统学习 Selenium:安装与基本使用;元素定位(8 种方式);交互操作(点击、输入、滚动);等待策略(最重要);配合爬虫项目;反检测与性能优化。一、安装1.1 安装 Seleniumpipinstallselenium1.2 安装浏览器驱动Selenium 需要浏览器驱动来控制浏览器:浏览器驱动下载地址Chrome