1. 项目概述当爬虫遇到动态网页的“墙”做爬虫的朋友尤其是刚入门的估计都经历过这个阶段用requests库配合BeautifulSoup信心满满地去抓一个网站结果拿回来的HTML源码里空空如也或者只有一堆看不懂的JavaScript框架代码真正想要的数据连影子都看不到。这时候你大概率是遇到了一个“动态渲染”的网站。传统的基于HTTP请求的爬虫面对这种由前端JavaScript在浏览器中动态生成内容的页面就像隔着一堵透明的墙能看到页面最终的样子却无法直接拿到构成它的“砖块”。这就是Selenium这类工具大显身手的地方。我最初接触Selenium是为了做Web自动化测试但很快就发现它在“所见即所得”地获取动态网页数据方面简直是爬虫开发者的“破壁机”。它不再是一个简单的HTTP客户端而是一个能遥控真实浏览器的程序。你可以让它打开网页、等待页面加载、点击按钮、滚动屏幕甚至登录账号等所有JavaScript都执行完毕页面内容完全渲染出来后再从容地提取数据。今天我就结合自己这些年用Selenium做数据采集的经验从为什么选它、怎么用它、到如何用好它系统地拆解一遍。无论你是想抓取电商商品评论、社交媒体动态还是监控需要登录才能查看的信息这篇文章都能给你一套可以直接上手复现的实战方案。2. 核心思路为什么是Selenium而不是别的面对动态网页解决方案不止Selenium一个。在决定投入时间学习它之前我们必须搞清楚它的定位和优劣这决定了你项目的技术选型是否合理。2.1 动态网页数据获取的三种主流路径通常我们有三种思路来应对动态内容逆向工程API首选如果可能这是最高效、最优雅的方式。通过浏览器的开发者工具F12切换到Network网络标签页观察页面加载时浏览器实际发送了哪些XHR/Fetch请求直接找到返回结构化数据通常是JSON格式的后端接口。然后用requests库模拟这些请求直接获取数据。这种方式速度快、资源消耗低且对目标服务器更友好。这是你应该优先尝试的方案。使用无头浏览器Selenium/Puppeteer/Playwright当网站没有公开API或者API参数加密复杂难以逆向时我们就需要动用“重型武器”——无头浏览器。Selenium是其中的老牌选手。它通过WebDriver协议驱动真实的浏览器如Chrome, Firefox内核完全模拟人类操作。它的优势在于通用性强几乎能应对所有网页包括那些有复杂交互和反爬机制的网站。解析JavaScriptPyppeteer, PyExecJS等这类库试图直接解析或执行页面中的JavaScript代码来生成数据但复杂度极高稳定性差通常只用于特定场景不作为通用解决方案。2.2 Selenium的独特价值与适用场景那么什么时候你应该毫不犹豫地选择Selenium呢网站重度依赖前端框架如Vue.js、React、Angular构建的单页面应用SPA页面内容几乎全部由JS动态渲染。数据触发条件复杂需要点击“加载更多”、滚动翻页、输入搜索词、勾选筛选条件后数据才会出现。登录与会话保持目标数据在登录后才能访问且登录过程有验证码或复杂的令牌机制。Selenium可以像真人一样完成整个登录流程并自动管理Cookies和Session。应对基础反爬一些网站会检测常见的爬虫特征如无头浏览器的navigator.webdriver属性。虽然Selenium本身也有特征但通过一些配置可以将其伪装得更像普通浏览器。注意Selenium是“最后的手段”。它的缺点也很明显速度慢、资源消耗大占用内存和CPU、容易被更高级的反爬系统识别。如果你的目标网站有清晰的API请务必优先使用第一种方法。2.3 Selenium vs. 新兴力量Puppeteer与Playwright近年来PuppeteerChrome官方团队出品和Playwright微软出品支持多浏览器异军突起。它们设计更现代API更简洁执行效率通常比Selenium更高内置了许多实用功能如自动等待、网络拦截。那为什么还要学Selenium生态与语言支持Selenium支持Java、Python、C#、JavaScript等多种语言历史久远社区庞大遇到问题更容易找到解决方案。浏览器兼容性Selenium支持几乎所有主流浏览器Chrome, Firefox, Safari, Edge, Opera等而Puppeteer主要绑定Chrome/Chromium。遗留项目与团队技术栈很多现有自动化测试和爬虫项目是基于Selenium构建的。对于Python爬虫开发者我的建议是将Selenium作为你的动态网页抓取基础工具来掌握了解其核心原理和模式。当遇到性能瓶颈或需要更精细控制时可以再探索Playwright它提供了Python版本其很多概念是相通的。3. 环境搭建与核心组件解析工欲善其事必先利其器。用Selenium写爬虫第一步不是写代码而是把环境配通。这里面的坑我几乎都踩过一遍。3.1 安装部署一行命令与一个驱动安装Selenium的Python库非常简单pip install selenium真正的“坑”在于浏览器驱动。Selenium本身不包含浏览器它通过一个叫“WebDriver”的独立组件来与浏览器通信。你需要为你要使用的浏览器下载对应的驱动并确保其路径被系统识别。以最常用的Chrome浏览器为例查看Chrome版本打开Chrome点击右上角三个点 - 帮助 - 关于Google Chrome记下版本号例如124.0.6367.91。下载对应版本的ChromeDriver访问 ChromeDriver官方下载站 或国内镜像站。版本必须与你的Chrome主版本号完全一致例如Chrome是124.x就找124.x.x.x的ChromeDriver。这是最常见的问题来源。放置驱动并配置路径方法一推荐将下载的chromedriver.exeWindows或chromedriverMac/Linux文件直接放在Python的安装目录下或Scripts目录下因为这些目录通常已在系统环境变量PATH中。方法二将驱动放在任意目录然后在代码中指定绝对路径。实操心得我习惯在项目根目录下创建一个drivers文件夹把所有浏览器驱动都放进去。然后在代码里用绝对路径指向它这样项目迁移时不会出错。对于团队协作可以把驱动文件也纳入版本管理虽然体积有点大确保所有人的环境一致。3.2 第一个Selenium爬虫从打开网页到获取数据让我们写一个最简单的脚本验证环境是否成功并理解基本流程。目标是打开百度首页获取搜索框的HTML代码。from selenium import webdriver from selenium.webdriver.common.by import By import time # 1. 创建浏览器驱动实例这里使用Chrome # 如果chromedriver已在PATH中可以直接这样写 driver webdriver.Chrome() # 如果驱动在特定路径例如项目下的drivers文件夹 # driver webdriver.Chrome(executable_path./drivers/chromedriver) try: # 2. 打开目标网页 driver.get(https://www.baidu.com) # 等待一下确保页面加载完成初级做法后面会讲更好的等待策略 time.sleep(2) # 3. 定位元素并获取数据 # 通过元素的id属性定位百度搜索框 search_input driver.find_element(By.ID, kw) # 获取该元素的outerHTML包含标签本身 print(搜索框的HTML, search_input.get_attribute(outerHTML)) # 获取该元素的value属性值输入框内的文字 print(搜索框的默认值, search_input.get_attribute(value)) # 或者获取标签名 print(元素标签名, search_input.tag_name) finally: # 4. 关闭浏览器释放资源 driver.quit()运行这段代码你会看到一个Chrome浏览器窗口自动打开访问百度然后在控制台打印出搜索框的信息。最后浏览器自动关闭。这个流程就是Selenium爬虫的核心骨架启动 - 访问 - 定位 - 提取 - 关闭。关键点解析webdriver.Chrome()这个调用会启动一个全新的、干净的Chrome浏览器进程。你之后的所有操作都在这个进程里进行。find_element(By.ID, “kw”)这是元素定位。By.ID是定位策略表示通过HTML元素的id属性来查找。“kw”是百度搜索框的id值。这是Selenium最基础也最重要的操作之一。get_attribute()这是提取数据的主要方法之一可以获取元素任意属性的值。driver.quit()非常重要它不仅能关闭浏览器窗口还会终止后台的WebDriver进程。如果只用driver.close()只会关闭当前标签页进程可能还残留着积累多了会占用大量内存。4. 核心技能拆解定位、等待与数据提取掌握了基本流程我们深入三个最核心的技能点如何精准地找到元素定位如何确保元素已经出现等待以及如何从元素中拿到我们需要的数据提取。4.1 八种元素定位策略详解与选择Selenium提供了8种定位元素的方式我把它们分为“精准定位”和“模糊定位”两类。精准定位首选ID (By.ID)id在HTML中应该是唯一的。如果元素有id这是最快、最可靠的定位方式。例如driver.find_element(By.ID, “su”)百度一下按钮。Name (By.NAME)通过name属性定位。常用于表单元素如输入框、单选按钮。driver.find_element(By.NAME, “wd”)也能定位到百度搜索框。CSS Selector (By.CSS_SELECTOR)功能极其强大语法与前端CSS选择器完全一致。可以组合id、class、标签、属性等进行复杂定位。这是我个人最常用、也最推荐的定位方式因为它非常灵活。#kw定位id为kw的元素。.s_ipt定位class包含s_ipt的元素。input[name‘wd’]定位name属性为wd的input标签。div#content ul li:nth-child(2)定位层级结构中的第二个li。XPath (By.XPATH)另一种强大的定位语言可以遍历XML/HTML文档。当CSS选择器难以表达复杂路径时如根据文本内容定位XPath是很好的补充。但XPath通常比CSS Selector慢且表达式可能更脆弱容易因页面结构微小变动而失效。//input[id‘kw’]定位id为kw的input标签。//button[contains(text(), ‘提交’)]定位文本包含“提交”的button标签。模糊定位辅助 5.Class Name (By.CLASS_NAME)通过class属性定位。但一个元素的class可能有多个值用空格分隔且class通常不唯一容易定位到多个元素。使用时需谨慎。 6.Tag Name (By.TAG_NAME)通过标签名定位如input,div,a。这通常会返回多个元素需要进一步筛选。 7.Link Text (By.LINK_TEXT)精确匹配超链接的完整可见文本。例如driver.find_element(By.LINK_TEXT, “新闻”)。 8.Partial Link Text (By.PARTIAL_LINK_TEXT)匹配超链接可见文本的部分内容。例如driver.find_element(By.PARTIAL_LINK_TEXT, “闻”)。注意事项在实际项目中优先使用ID和CSS Selector。可以借助浏览器开发者工具的“检查”功能右键点击页面元素选择“Copy - Copy selector”或“Copy - Copy XPath”来快速获取定位表达式。但自动生成的XPath往往很长且脆弱建议自己根据页面结构编写更简洁、稳定的CSS选择器。4.2 智能等待告别time.sleep的笨办法新手最常犯的错误就是到处使用time.sleep(秒数)来等待页面加载。这是不可靠且低效的。网络延迟或电脑性能差异可能导致等待时间不足或过长。Selenium提供了两种智能等待方式隐式等待 (Implicit Wait)设置一个全局的超时时间。在查找元素时如果元素没有立即出现WebDriver会轮询DOM默认每0.5秒直到找到该元素或超时。driver.implicitly_wait(10) # 设置隐式等待时间为10秒 element driver.find_element(By.ID, “some_id”) # 这行命令最多会等待10秒缺点它是全局设置对find_element和find_elements都生效。如果页面某些元素加载特别慢可能会不必要地拉长整个脚本的执行时间。显式等待 (Explicit Wait)这是生产环境推荐的做法。它为某个特定的条件设置等待更加灵活精准。需要配合WebDriverWait类和expected_conditions模块使用。from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待最多10秒直到ID为‘dynamic_content’的元素出现在DOM中并且可见 element WebDriverWait(driver, 10).until( EC.visibility_of_element_located((By.ID, “dynamic_content”)) ) # 等待元素可被点击 button WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, “.submit-btn”)) ) button.click()expected_conditions提供了很多实用的条件如presence_of_element_located元素存在于DOM、visibility_of_element_located元素可见、text_to_be_present_in_element元素包含特定文本等。我的常用策略结合使用。设置一个较短的隐式等待如5秒作为兜底然后在关键操作如点击后等待新内容加载、提交表单后等待结果处使用显式等待。这样可以兼顾代码的健壮性和执行效率。4.3 数据提取的多种姿势定位到元素后如何获取其中的数据获取文本内容element.text返回元素及其所有子元素的可见文本去除了HTML标签。获取属性值element.get_attribute(‘attribute_name’)如get_attribute(‘href’),get_attribute(‘src’),get_attribute(‘value’)。获取整个HTMLelement.get_attribute(‘outerHTML’)获取包括该元素本身在内的完整HTML。element.get_attribute(‘innerHTML’)获取元素内部的HTML。获取CSS样式element.value_of_css_property(‘color’)获取计算后的CSS属性值。处理多个元素使用find_elements注意是复数返回一个列表。然后遍历列表处理每个元素。all_links driver.find_elements(By.CSS_SELECTOR, “.news-list a”) for link in all_links: title link.text url link.get_attribute(‘href’) print(f”标题: {title}, 链接: {url}”)5. 实战进阶应对复杂场景与反爬策略掌握了基础我们就可以挑战更真实的爬虫场景了。这些技巧能让你写的爬虫更稳定、更高效、更像“人”。5.1 模拟用户交互点击、输入与滚动爬虫不只是“看”还要“动”。from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains # 输入文本 search_box driver.find_element(By.ID, “kw”) search_box.clear() # 先清空可能存在的默认文本 search_box.send_keys(“Selenium爬虫教程”) # 输入关键词 # 模拟键盘操作如按回车键搜索 search_box.send_keys(Keys.ENTER) # 点击元素 submit_button driver.find_element(By.ID, “su”) submit_button.click() # 复杂交互鼠标悬停、拖拽等需要ActionChains actions ActionChains(driver) menu driver.find_element(By.CSS_SELECTOR, “.user-menu”) actions.move_to_element(menu).perform() # 鼠标悬停在用户菜单上 # 等待下拉菜单出现 dropdown_item WebDriverWait(driver, 5).until( EC.visibility_of_element_located((By.LINK_TEXT, “我的订单”)) ) dropdown_item.click() # 执行JavaScript终极手段用于复杂操作如滚动 driver.execute_script(“window.scrollTo(0, document.body.scrollHeight);”) # 滚动到页面底部 # 或者滚动到指定元素附近 element driver.find_element(By.ID, “load-more”) driver.execute_script(“arguments[0].scrollIntoView(true);”, element)滚动的重要性很多网站的“懒加载”内容如图片、列表需要滚动到视窗内才会触发加载。在提取数据前确保相关区域已被滚动触发。5.2 处理iframe、窗口与弹窗iframe如果目标元素嵌套在iframe里你必须先切换到对应的iframe上下文。# 通过id或name切换 driver.switch_to.frame(“iframe_id_or_name”) # 通过索引切换从0开始 # driver.switch_to.frame(0) # 通过定位到的iframe元素切换 # iframe_element driver.find_element(By.TAG_NAME, “iframe”) # driver.switch_to.frame(iframe_element) # 操作iframe内的元素... inner_element driver.find_element(By.ID, “inner_ele”) # 操作完成后切回主文档 driver.switch_to.default_content()新窗口/标签页点击链接可能打开新窗口。main_window driver.current_window_handle # 获取当前窗口句柄 link.click() # 点击打开新窗口 all_windows driver.window_handles # 获取所有窗口句柄 new_window [w for w in all_windows if w ! main_window][0] driver.switch_to.window(new_window) # 切换到新窗口 # 在新窗口操作... driver.close() # 关闭新窗口 driver.switch_to.window(main_window) # 切回原窗口弹窗 (Alert/Confirm/Prompt)# 等待弹窗出现并切换到它 alert WebDriverWait(driver, 5).until(EC.alert_is_present()) print(alert.text) # 获取弹窗文本 alert.accept() # 点击“确定” # alert.dismiss() # 点击“取消” # alert.send_keys(“输入文本”) # 用于Prompt弹窗5.3 配置浏览器选项以应对反爬与提升性能默认启动的浏览器带有一些自动化测试的特征容易被网站识别。我们可以通过Options对象进行配置让浏览器看起来更“正常”同时提升性能。from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options Options() # 1. 无头模式不显示图形界面在后台运行节省资源适合服务器 chrome_options.add_argument(‘--headless’) # 新版本Chrome的无头模式推荐加上以下参数 chrome_options.add_argument(‘--no-sandbox’) chrome_options.add_argument(‘--disable-dev-shm-usage’) # 2. 反爬相关隐藏“Chrome正受到自动测试软件控制”的提示 chrome_options.add_experimental_option(“excludeSwitches”, [“enable-automation”]) chrome_options.add_experimental_option(‘useAutomationExtension’, False) # 更彻底的伪装覆盖navigator.webdriver属性但注意高级反爬仍可能检测 chrome_options.add_argument(“--disable-blink-featuresAutomationControlled”) # 3. 性能与稳定性相关 chrome_options.add_argument(‘--disable-gpu’) # 禁用GPU加速某些环境下可能更稳定 chrome_options.add_argument(‘--window-size1920,1080’) # 设置初始窗口大小 prefs { “profile.default_content_setting_values.notifications”: 2, # 禁用通知 “credentials_enable_service”: False, # 禁用密码保存提示 “profile.password_manager_enabled”: False } chrome_options.add_experimental_option(“prefs”, prefs) # 4. 使用配置好的选项创建驱动 driver webdriver.Chrome(optionschrome_options)重要提醒--disable-blink-featuresAutomationControlled等参数可以绕过一些基础检测但道高一尺魔高一丈专业的反爬系统如Distil Networks, Imperva会使用更复杂的浏览器指纹技术。对于这类网站仅靠Selenium配置可能不够需要结合IP代理、更复杂的浏览器指纹伪装如使用undetected-chromedriver这类第三方库等手段。5.4 使用无头浏览器并保存截图与源码无头模式非常适合在服务器上定时运行爬虫任务。chrome_options.add_argument(‘--headless’) driver webdriver.Chrome(optionschrome_options) try: driver.get(“https://www.example.com”) # 保存页面截图用于调试或记录 driver.save_screenshot(‘page_screenshot.png’) # 获取渲染后的完整HTML源码 page_source driver.page_source # 可以将page_source用BeautifulSoup等库进行二次解析 with open(‘rendered_page.html’, ‘w’, encoding‘utf-8’) as f: f.write(page_source) finally: driver.quit()6. 项目实战构建一个健壮的电商商品爬虫让我们综合运用以上知识设计一个爬取某电商网站假设为example-shop.com商品列表页的爬虫。需求是模拟搜索关键词“笔记本电脑”翻页获取所有商品名称、价格和链接并处理可能出现的登录弹窗和懒加载。6.1 架构设计与代码实现import time import csv from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutException, NoSuchElementException class EcommerceScraper: def __init__(self, headlessTrue): “””初始化浏览器驱动””” self.options webdriver.ChromeOptions() if headless: self.options.add_argument(‘--headless’) self.options.add_argument(‘--disable-blink-featuresAutomationControlled’) self.options.add_experimental_option(“excludeSwitches”, [“enable-automation”]) self.driver webdriver.Chrome(optionsself.options) self.wait WebDriverWait(self.driver, 15) # 设置一个全局显式等待对象 self.data_list [] def handle_login_popup(self): “””处理可能出现的登录弹窗假设通过关闭按钮””” try: # 尝试查找并关闭登录弹窗这里用CSS选择器示例 close_btn self.driver.find_element(By.CSS_SELECTOR, ‘.login-layer .close’) close_btn.click() print(“检测到并关闭了登录弹窗”) time.sleep(1) except NoSuchElementException: # 没找到弹窗正常继续 pass def search_product(self, keyword): “””执行搜索操作””” self.driver.get(“https://www.example-shop.com”) self.handle_login_popup() # 等待搜索框加载并输入关键词 search_box self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, “#search-input”)) ) search_box.clear() search_box.send_keys(keyword) search_box.send_keys(Keys.ENTER) print(f“已执行搜索: {keyword}”) def scroll_to_bottom_lazy_load(self): “””滚动到底部以触发懒加载内容””” last_height self.driver.execute_script(“return document.body.scrollHeight”) while True: # 滚动到页面底部 self.driver.execute_script(“window.scrollTo(0, document.body.scrollHeight);”) time.sleep(2) # 等待新内容加载这里可以用更智能的等待替代 new_height self.driver.execute_script(“return document.body.scrollHeight”) if new_height last_height: # 高度不再变化说明已加载完毕 break last_height new_height print(“页面懒加载内容已触发完毕”) def parse_current_page(self): “””解析当前页面的商品信息””” # 等待商品列表容器出现 product_container self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, “.product-list”)) ) # 查找所有商品项 product_items product_container.find_elements(By.CSS_SELECTOR, “.product-item”) print(f“当前页找到 {len(product_items)} 个商品”) for item in product_items: try: # 使用相对定位在item元素内查找子元素更稳定 name_elem item.find_element(By.CSS_SELECTOR, “.product-name a”) name name_elem.text.strip() link name_elem.get_attribute(‘href’) # 价格可能有两种样式尝试获取 try: price_elem item.find_element(By.CSS_SELECTOR, “.price .num”) except NoSuchElementException: price_elem item.find_element(By.CSS_SELECTOR, “.final-price”) price price_elem.text.strip() self.data_list.append({ “name”: name, “price”: price, “link”: link }) except NoSuchElementException as e: # 某个元素没找到记录日志并跳过该商品 print(f“解析商品时出错跳过: {e}”) continue def go_to_next_page(self): “””尝试翻到下一页””” try: next_btn self.driver.find_element(By.CSS_SELECTOR, “.pagination .next:not(.disabled)”) next_btn.click() # 等待新页面内容加载例如等待某个标志性元素出现 self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, “.product-list”)) ) time.sleep(1) # 短暂稳定等待 return True except (NoSuchElementException, TimeoutException): print(“已是最后一页或翻页按钮不可用”) return False def run(self, keyword, max_pages5): “””主运行逻辑””” try: self.search_product(keyword) current_page 1 while current_page max_pages: print(f”\n正在处理第 {current_page} 页...”) # 先滚动加载所有懒加载商品 self.scroll_to_bottom_lazy_load() # 然后解析 self.parse_current_page() # 尝试翻页 if not self.go_to_next_page(): break current_page 1 print(f”\n爬取结束共获取 {len(self.data_list)} 条商品数据。”) self.save_to_csv(keyword) except Exception as e: print(f“爬虫运行过程中发生错误: {e}”) # 可以在这里保存已爬取的数据 finally: self.driver.quit() def save_to_csv(self, keyword): “””保存数据到CSV文件””” filename f”{keyword}_products.csv” with open(filename, ‘w’, newline‘’, encoding‘utf-8-sig’) as f: fieldnames [‘name’, ‘price’, ‘link’] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(self.data_list) print(f“数据已保存到文件: {filename}”) if __name__ “__main__”: scraper EcommerceScraper(headlessFalse) # 调试时可设为False看浏览器操作 scraper.run(“笔记本电脑”, max_pages3)6.2 关键逻辑与避坑点解析结构化与封装将爬虫封装成类逻辑清晰便于维护和扩展。run方法是总调度。稳健的元素查找大量使用WebDriverWait配合expected_conditions进行显式等待避免因网络波动导致的元素找不到错误。在parse_current_page方法中使用item.find_element进行相对定位这样即使页面结构有局部调整只要商品项内部的相对结构不变定位就更稳定。对可能缺失的元素如特价商品的价格标签不同使用try...except进行容错处理避免因单个商品解析失败导致整个任务中断。处理懒加载scroll_to_bottom_lazy_load方法模拟了滚动到底部的行为并通过判断页面高度是否变化来检测是否还有新内容加载。这是处理无限滚动或分批次加载页面的通用方法。翻页控制go_to_next_page方法不仅找到了“下一页”按钮还通过.next:not(.disabled)这样的CSS选择器确保按钮是可点击的非禁用状态。点击后等待新页面的商品列表容器出现作为页面加载完成的标志。数据存储使用csv模块存储简单通用。注意使用utf-8-sig编码可以让Excel正确识别中文。异常处理与资源释放在run方法外用try...except...finally包裹确保即使中途出错浏览器驱动也能在finally块中被正确关闭防止资源泄漏。7. 常见问题排查与性能优化实录即使按照最佳实践编写Selenium爬虫在运行中还是会遇到各种问题。下面是我总结的一些典型问题及其解决方案。7.1 高频错误与解决方案速查表问题现象可能原因解决方案NoSuchElementException(找不到元素)1. 元素尚未加载完成。2. 定位表达式写错了。3. 元素在iframe内。4. 元素在弹窗/新窗口内。1. 使用WebDriverWait显式等待元素出现。2. 用浏览器开发者工具复查定位器优先用CSS Selector。3. 使用driver.switch_to.frame()切换到对应iframe。4. 切换窗口句柄或处理弹窗。ElementNotInteractableException(元素不可交互)1. 元素被遮挡如弹窗。2. 元素不可见display: none或visibility: hidden。3. 元素未处于可操作状态如下拉框未展开。1. 移除遮挡物或等待其消失。2. 检查元素样式或尝试用driver.execute_script(“arguments[0].click();”, element)通过JS点击。3. 先执行前置操作如点击展开下拉框。TimeoutException(等待超时)1. 网络慢元素加载时间超过等待时间。2. 等待条件设置不当元素始终不满足。3. 页面JS报错导致功能中断。1. 适当增加等待时间或检查网络。2. 更换等待条件如用presence_of_element_located替代visibility_of_element_located。3. 查看浏览器控制台(F12)的Console标签是否有JS错误。StaleElementReferenceException(元素过期)之前找到的元素对应的DOM节点已经失效页面刷新或AJAX更新后。重新查找元素。避免在页面可能刷新的操作后还使用旧的元素对象。爬虫被网站识别并屏蔽1. 浏览器指纹被检测如navigator.webdriver属性。2. 行为模式异常速度过快、无间隔。3. IP地址被标记。1. 使用--disable-blink-featuresAutomationControlled等选项或尝试undetected-chromedriver。2. 添加随机延迟(time.sleep(random.uniform(1, 3)))模拟人类操作。3. 使用高质量的住宅IP代理池。无头模式(headless)下元素找不到无头模式的浏览器视窗大小可能与有界面的不同导致页面布局变化某些元素可能被隐藏或未渲染。启动时设置窗口大小--window-size1920,1080。或者尝试先不用无头模式调试。7.2 性能优化与稳定性提升技巧减少不必要的浏览器操作每次find_element或get_attribute都是一次浏览器与WebDriver的通信有开销。尽量一次性获取所需数据。不佳做法在循环里多次查找同一父元素。推荐做法先find_elements获取所有商品项列表然后遍历这个列表在每个项内使用相对查找。使用page_source进行静态解析如果页面结构稳定且所有数据在初始HTML中或一次滚动加载后可以获取完整的driver.page_source然后使用BeautifulSoup或lxml进行解析。这两个库的解析速度远快于Selenium的DOM操作。Selenium负责渲染和获取源码解析工作交给更高效的工具。禁用不必要的浏览器功能通过chrome_options禁用图片、CSS、Flash等可以显著加快页面加载。prefs {“profile.managed_default_content_settings.images”: 2} # 2代表禁用 chrome_options.add_experimental_option(“prefs”, prefs)注意如果数据是懒加载的图片或CSS背景图禁用后可能无法获取。合理设置超时时间隐式等待不要设置过长一般5-10秒显式等待根据具体操作设定。过长的等待会浪费大量时间在已经失败的页面上。使用浏览器复用高级对于需要登录或维护复杂会话的爬虫可以考虑复用浏览器实例而不是每次任务都打开关闭。但这需要更精细的管理来避免状态混乱。分布式与并发Selenium本身很重单实例并发能力有限。对于大规模爬取可以考虑使用Selenium Grid进行分布式部署或者将Selenium作为“渲染器”只负责获取渲染后的HTML然后将HTML交给轻量级的解析服务去处理。7.3 关于undetected-chromedriver的补充当遇到顽固的反爬系统时标准的Selenium配置可能失效。undetected-chromedriver是一个第三方库它对ChromeDriver进行了深度修补能更好地隐藏自动化特征。import undetected_chromedriver as uc driver uc.Chrome(headlessTrue, use_subprocessTrue) driver.get(“https://nowsecure.nl”) # 一个专门检测自动化工具的测试网站 # … 后续操作与普通driver一致它的使用接口几乎和官方Selenium一致但反检测能力更强。将其视为一个更强大的“最后手段”因为它的更新可能滞后于Chrome版本且在某些极端环境下可能存在兼容性问题。最后我想说的是Selenium是一个强大的工具但它不是爬虫的“银弹”。它的设计初衷是自动化测试用在爬虫上是“降维使用”。因此请始终对目标网站保持尊重遵守robots.txt协议合理设置请求间隔避免给服务器造成过大压力。将Selenium作为你工具箱中应对动态网页的“特种部队”在确实需要时才调用它并结合requests、BeautifulSoup等常规武器才能构建出高效、稳健、负责任的数据采集系统。 Selenium动态网页爬虫实战：从环境搭建到反爬策略全解析
1. 项目概述当爬虫遇到动态网页的“墙”做爬虫的朋友尤其是刚入门的估计都经历过这个阶段用requests库配合BeautifulSoup信心满满地去抓一个网站结果拿回来的HTML源码里空空如也或者只有一堆看不懂的JavaScript框架代码真正想要的数据连影子都看不到。这时候你大概率是遇到了一个“动态渲染”的网站。传统的基于HTTP请求的爬虫面对这种由前端JavaScript在浏览器中动态生成内容的页面就像隔着一堵透明的墙能看到页面最终的样子却无法直接拿到构成它的“砖块”。这就是Selenium这类工具大显身手的地方。我最初接触Selenium是为了做Web自动化测试但很快就发现它在“所见即所得”地获取动态网页数据方面简直是爬虫开发者的“破壁机”。它不再是一个简单的HTTP客户端而是一个能遥控真实浏览器的程序。你可以让它打开网页、等待页面加载、点击按钮、滚动屏幕甚至登录账号等所有JavaScript都执行完毕页面内容完全渲染出来后再从容地提取数据。今天我就结合自己这些年用Selenium做数据采集的经验从为什么选它、怎么用它、到如何用好它系统地拆解一遍。无论你是想抓取电商商品评论、社交媒体动态还是监控需要登录才能查看的信息这篇文章都能给你一套可以直接上手复现的实战方案。2. 核心思路为什么是Selenium而不是别的面对动态网页解决方案不止Selenium一个。在决定投入时间学习它之前我们必须搞清楚它的定位和优劣这决定了你项目的技术选型是否合理。2.1 动态网页数据获取的三种主流路径通常我们有三种思路来应对动态内容逆向工程API首选如果可能这是最高效、最优雅的方式。通过浏览器的开发者工具F12切换到Network网络标签页观察页面加载时浏览器实际发送了哪些XHR/Fetch请求直接找到返回结构化数据通常是JSON格式的后端接口。然后用requests库模拟这些请求直接获取数据。这种方式速度快、资源消耗低且对目标服务器更友好。这是你应该优先尝试的方案。使用无头浏览器Selenium/Puppeteer/Playwright当网站没有公开API或者API参数加密复杂难以逆向时我们就需要动用“重型武器”——无头浏览器。Selenium是其中的老牌选手。它通过WebDriver协议驱动真实的浏览器如Chrome, Firefox内核完全模拟人类操作。它的优势在于通用性强几乎能应对所有网页包括那些有复杂交互和反爬机制的网站。解析JavaScriptPyppeteer, PyExecJS等这类库试图直接解析或执行页面中的JavaScript代码来生成数据但复杂度极高稳定性差通常只用于特定场景不作为通用解决方案。2.2 Selenium的独特价值与适用场景那么什么时候你应该毫不犹豫地选择Selenium呢网站重度依赖前端框架如Vue.js、React、Angular构建的单页面应用SPA页面内容几乎全部由JS动态渲染。数据触发条件复杂需要点击“加载更多”、滚动翻页、输入搜索词、勾选筛选条件后数据才会出现。登录与会话保持目标数据在登录后才能访问且登录过程有验证码或复杂的令牌机制。Selenium可以像真人一样完成整个登录流程并自动管理Cookies和Session。应对基础反爬一些网站会检测常见的爬虫特征如无头浏览器的navigator.webdriver属性。虽然Selenium本身也有特征但通过一些配置可以将其伪装得更像普通浏览器。注意Selenium是“最后的手段”。它的缺点也很明显速度慢、资源消耗大占用内存和CPU、容易被更高级的反爬系统识别。如果你的目标网站有清晰的API请务必优先使用第一种方法。2.3 Selenium vs. 新兴力量Puppeteer与Playwright近年来PuppeteerChrome官方团队出品和Playwright微软出品支持多浏览器异军突起。它们设计更现代API更简洁执行效率通常比Selenium更高内置了许多实用功能如自动等待、网络拦截。那为什么还要学Selenium生态与语言支持Selenium支持Java、Python、C#、JavaScript等多种语言历史久远社区庞大遇到问题更容易找到解决方案。浏览器兼容性Selenium支持几乎所有主流浏览器Chrome, Firefox, Safari, Edge, Opera等而Puppeteer主要绑定Chrome/Chromium。遗留项目与团队技术栈很多现有自动化测试和爬虫项目是基于Selenium构建的。对于Python爬虫开发者我的建议是将Selenium作为你的动态网页抓取基础工具来掌握了解其核心原理和模式。当遇到性能瓶颈或需要更精细控制时可以再探索Playwright它提供了Python版本其很多概念是相通的。3. 环境搭建与核心组件解析工欲善其事必先利其器。用Selenium写爬虫第一步不是写代码而是把环境配通。这里面的坑我几乎都踩过一遍。3.1 安装部署一行命令与一个驱动安装Selenium的Python库非常简单pip install selenium真正的“坑”在于浏览器驱动。Selenium本身不包含浏览器它通过一个叫“WebDriver”的独立组件来与浏览器通信。你需要为你要使用的浏览器下载对应的驱动并确保其路径被系统识别。以最常用的Chrome浏览器为例查看Chrome版本打开Chrome点击右上角三个点 - 帮助 - 关于Google Chrome记下版本号例如124.0.6367.91。下载对应版本的ChromeDriver访问 ChromeDriver官方下载站 或国内镜像站。版本必须与你的Chrome主版本号完全一致例如Chrome是124.x就找124.x.x.x的ChromeDriver。这是最常见的问题来源。放置驱动并配置路径方法一推荐将下载的chromedriver.exeWindows或chromedriverMac/Linux文件直接放在Python的安装目录下或Scripts目录下因为这些目录通常已在系统环境变量PATH中。方法二将驱动放在任意目录然后在代码中指定绝对路径。实操心得我习惯在项目根目录下创建一个drivers文件夹把所有浏览器驱动都放进去。然后在代码里用绝对路径指向它这样项目迁移时不会出错。对于团队协作可以把驱动文件也纳入版本管理虽然体积有点大确保所有人的环境一致。3.2 第一个Selenium爬虫从打开网页到获取数据让我们写一个最简单的脚本验证环境是否成功并理解基本流程。目标是打开百度首页获取搜索框的HTML代码。from selenium import webdriver from selenium.webdriver.common.by import By import time # 1. 创建浏览器驱动实例这里使用Chrome # 如果chromedriver已在PATH中可以直接这样写 driver webdriver.Chrome() # 如果驱动在特定路径例如项目下的drivers文件夹 # driver webdriver.Chrome(executable_path./drivers/chromedriver) try: # 2. 打开目标网页 driver.get(https://www.baidu.com) # 等待一下确保页面加载完成初级做法后面会讲更好的等待策略 time.sleep(2) # 3. 定位元素并获取数据 # 通过元素的id属性定位百度搜索框 search_input driver.find_element(By.ID, kw) # 获取该元素的outerHTML包含标签本身 print(搜索框的HTML, search_input.get_attribute(outerHTML)) # 获取该元素的value属性值输入框内的文字 print(搜索框的默认值, search_input.get_attribute(value)) # 或者获取标签名 print(元素标签名, search_input.tag_name) finally: # 4. 关闭浏览器释放资源 driver.quit()运行这段代码你会看到一个Chrome浏览器窗口自动打开访问百度然后在控制台打印出搜索框的信息。最后浏览器自动关闭。这个流程就是Selenium爬虫的核心骨架启动 - 访问 - 定位 - 提取 - 关闭。关键点解析webdriver.Chrome()这个调用会启动一个全新的、干净的Chrome浏览器进程。你之后的所有操作都在这个进程里进行。find_element(By.ID, “kw”)这是元素定位。By.ID是定位策略表示通过HTML元素的id属性来查找。“kw”是百度搜索框的id值。这是Selenium最基础也最重要的操作之一。get_attribute()这是提取数据的主要方法之一可以获取元素任意属性的值。driver.quit()非常重要它不仅能关闭浏览器窗口还会终止后台的WebDriver进程。如果只用driver.close()只会关闭当前标签页进程可能还残留着积累多了会占用大量内存。4. 核心技能拆解定位、等待与数据提取掌握了基本流程我们深入三个最核心的技能点如何精准地找到元素定位如何确保元素已经出现等待以及如何从元素中拿到我们需要的数据提取。4.1 八种元素定位策略详解与选择Selenium提供了8种定位元素的方式我把它们分为“精准定位”和“模糊定位”两类。精准定位首选ID (By.ID)id在HTML中应该是唯一的。如果元素有id这是最快、最可靠的定位方式。例如driver.find_element(By.ID, “su”)百度一下按钮。Name (By.NAME)通过name属性定位。常用于表单元素如输入框、单选按钮。driver.find_element(By.NAME, “wd”)也能定位到百度搜索框。CSS Selector (By.CSS_SELECTOR)功能极其强大语法与前端CSS选择器完全一致。可以组合id、class、标签、属性等进行复杂定位。这是我个人最常用、也最推荐的定位方式因为它非常灵活。#kw定位id为kw的元素。.s_ipt定位class包含s_ipt的元素。input[name‘wd’]定位name属性为wd的input标签。div#content ul li:nth-child(2)定位层级结构中的第二个li。XPath (By.XPATH)另一种强大的定位语言可以遍历XML/HTML文档。当CSS选择器难以表达复杂路径时如根据文本内容定位XPath是很好的补充。但XPath通常比CSS Selector慢且表达式可能更脆弱容易因页面结构微小变动而失效。//input[id‘kw’]定位id为kw的input标签。//button[contains(text(), ‘提交’)]定位文本包含“提交”的button标签。模糊定位辅助 5.Class Name (By.CLASS_NAME)通过class属性定位。但一个元素的class可能有多个值用空格分隔且class通常不唯一容易定位到多个元素。使用时需谨慎。 6.Tag Name (By.TAG_NAME)通过标签名定位如input,div,a。这通常会返回多个元素需要进一步筛选。 7.Link Text (By.LINK_TEXT)精确匹配超链接的完整可见文本。例如driver.find_element(By.LINK_TEXT, “新闻”)。 8.Partial Link Text (By.PARTIAL_LINK_TEXT)匹配超链接可见文本的部分内容。例如driver.find_element(By.PARTIAL_LINK_TEXT, “闻”)。注意事项在实际项目中优先使用ID和CSS Selector。可以借助浏览器开发者工具的“检查”功能右键点击页面元素选择“Copy - Copy selector”或“Copy - Copy XPath”来快速获取定位表达式。但自动生成的XPath往往很长且脆弱建议自己根据页面结构编写更简洁、稳定的CSS选择器。4.2 智能等待告别time.sleep的笨办法新手最常犯的错误就是到处使用time.sleep(秒数)来等待页面加载。这是不可靠且低效的。网络延迟或电脑性能差异可能导致等待时间不足或过长。Selenium提供了两种智能等待方式隐式等待 (Implicit Wait)设置一个全局的超时时间。在查找元素时如果元素没有立即出现WebDriver会轮询DOM默认每0.5秒直到找到该元素或超时。driver.implicitly_wait(10) # 设置隐式等待时间为10秒 element driver.find_element(By.ID, “some_id”) # 这行命令最多会等待10秒缺点它是全局设置对find_element和find_elements都生效。如果页面某些元素加载特别慢可能会不必要地拉长整个脚本的执行时间。显式等待 (Explicit Wait)这是生产环境推荐的做法。它为某个特定的条件设置等待更加灵活精准。需要配合WebDriverWait类和expected_conditions模块使用。from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待最多10秒直到ID为‘dynamic_content’的元素出现在DOM中并且可见 element WebDriverWait(driver, 10).until( EC.visibility_of_element_located((By.ID, “dynamic_content”)) ) # 等待元素可被点击 button WebDriverWait(driver, 10).until( EC.element_to_be_clickable((By.CSS_SELECTOR, “.submit-btn”)) ) button.click()expected_conditions提供了很多实用的条件如presence_of_element_located元素存在于DOM、visibility_of_element_located元素可见、text_to_be_present_in_element元素包含特定文本等。我的常用策略结合使用。设置一个较短的隐式等待如5秒作为兜底然后在关键操作如点击后等待新内容加载、提交表单后等待结果处使用显式等待。这样可以兼顾代码的健壮性和执行效率。4.3 数据提取的多种姿势定位到元素后如何获取其中的数据获取文本内容element.text返回元素及其所有子元素的可见文本去除了HTML标签。获取属性值element.get_attribute(‘attribute_name’)如get_attribute(‘href’),get_attribute(‘src’),get_attribute(‘value’)。获取整个HTMLelement.get_attribute(‘outerHTML’)获取包括该元素本身在内的完整HTML。element.get_attribute(‘innerHTML’)获取元素内部的HTML。获取CSS样式element.value_of_css_property(‘color’)获取计算后的CSS属性值。处理多个元素使用find_elements注意是复数返回一个列表。然后遍历列表处理每个元素。all_links driver.find_elements(By.CSS_SELECTOR, “.news-list a”) for link in all_links: title link.text url link.get_attribute(‘href’) print(f”标题: {title}, 链接: {url}”)5. 实战进阶应对复杂场景与反爬策略掌握了基础我们就可以挑战更真实的爬虫场景了。这些技巧能让你写的爬虫更稳定、更高效、更像“人”。5.1 模拟用户交互点击、输入与滚动爬虫不只是“看”还要“动”。from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains # 输入文本 search_box driver.find_element(By.ID, “kw”) search_box.clear() # 先清空可能存在的默认文本 search_box.send_keys(“Selenium爬虫教程”) # 输入关键词 # 模拟键盘操作如按回车键搜索 search_box.send_keys(Keys.ENTER) # 点击元素 submit_button driver.find_element(By.ID, “su”) submit_button.click() # 复杂交互鼠标悬停、拖拽等需要ActionChains actions ActionChains(driver) menu driver.find_element(By.CSS_SELECTOR, “.user-menu”) actions.move_to_element(menu).perform() # 鼠标悬停在用户菜单上 # 等待下拉菜单出现 dropdown_item WebDriverWait(driver, 5).until( EC.visibility_of_element_located((By.LINK_TEXT, “我的订单”)) ) dropdown_item.click() # 执行JavaScript终极手段用于复杂操作如滚动 driver.execute_script(“window.scrollTo(0, document.body.scrollHeight);”) # 滚动到页面底部 # 或者滚动到指定元素附近 element driver.find_element(By.ID, “load-more”) driver.execute_script(“arguments[0].scrollIntoView(true);”, element)滚动的重要性很多网站的“懒加载”内容如图片、列表需要滚动到视窗内才会触发加载。在提取数据前确保相关区域已被滚动触发。5.2 处理iframe、窗口与弹窗iframe如果目标元素嵌套在iframe里你必须先切换到对应的iframe上下文。# 通过id或name切换 driver.switch_to.frame(“iframe_id_or_name”) # 通过索引切换从0开始 # driver.switch_to.frame(0) # 通过定位到的iframe元素切换 # iframe_element driver.find_element(By.TAG_NAME, “iframe”) # driver.switch_to.frame(iframe_element) # 操作iframe内的元素... inner_element driver.find_element(By.ID, “inner_ele”) # 操作完成后切回主文档 driver.switch_to.default_content()新窗口/标签页点击链接可能打开新窗口。main_window driver.current_window_handle # 获取当前窗口句柄 link.click() # 点击打开新窗口 all_windows driver.window_handles # 获取所有窗口句柄 new_window [w for w in all_windows if w ! main_window][0] driver.switch_to.window(new_window) # 切换到新窗口 # 在新窗口操作... driver.close() # 关闭新窗口 driver.switch_to.window(main_window) # 切回原窗口弹窗 (Alert/Confirm/Prompt)# 等待弹窗出现并切换到它 alert WebDriverWait(driver, 5).until(EC.alert_is_present()) print(alert.text) # 获取弹窗文本 alert.accept() # 点击“确定” # alert.dismiss() # 点击“取消” # alert.send_keys(“输入文本”) # 用于Prompt弹窗5.3 配置浏览器选项以应对反爬与提升性能默认启动的浏览器带有一些自动化测试的特征容易被网站识别。我们可以通过Options对象进行配置让浏览器看起来更“正常”同时提升性能。from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options Options() # 1. 无头模式不显示图形界面在后台运行节省资源适合服务器 chrome_options.add_argument(‘--headless’) # 新版本Chrome的无头模式推荐加上以下参数 chrome_options.add_argument(‘--no-sandbox’) chrome_options.add_argument(‘--disable-dev-shm-usage’) # 2. 反爬相关隐藏“Chrome正受到自动测试软件控制”的提示 chrome_options.add_experimental_option(“excludeSwitches”, [“enable-automation”]) chrome_options.add_experimental_option(‘useAutomationExtension’, False) # 更彻底的伪装覆盖navigator.webdriver属性但注意高级反爬仍可能检测 chrome_options.add_argument(“--disable-blink-featuresAutomationControlled”) # 3. 性能与稳定性相关 chrome_options.add_argument(‘--disable-gpu’) # 禁用GPU加速某些环境下可能更稳定 chrome_options.add_argument(‘--window-size1920,1080’) # 设置初始窗口大小 prefs { “profile.default_content_setting_values.notifications”: 2, # 禁用通知 “credentials_enable_service”: False, # 禁用密码保存提示 “profile.password_manager_enabled”: False } chrome_options.add_experimental_option(“prefs”, prefs) # 4. 使用配置好的选项创建驱动 driver webdriver.Chrome(optionschrome_options)重要提醒--disable-blink-featuresAutomationControlled等参数可以绕过一些基础检测但道高一尺魔高一丈专业的反爬系统如Distil Networks, Imperva会使用更复杂的浏览器指纹技术。对于这类网站仅靠Selenium配置可能不够需要结合IP代理、更复杂的浏览器指纹伪装如使用undetected-chromedriver这类第三方库等手段。5.4 使用无头浏览器并保存截图与源码无头模式非常适合在服务器上定时运行爬虫任务。chrome_options.add_argument(‘--headless’) driver webdriver.Chrome(optionschrome_options) try: driver.get(“https://www.example.com”) # 保存页面截图用于调试或记录 driver.save_screenshot(‘page_screenshot.png’) # 获取渲染后的完整HTML源码 page_source driver.page_source # 可以将page_source用BeautifulSoup等库进行二次解析 with open(‘rendered_page.html’, ‘w’, encoding‘utf-8’) as f: f.write(page_source) finally: driver.quit()6. 项目实战构建一个健壮的电商商品爬虫让我们综合运用以上知识设计一个爬取某电商网站假设为example-shop.com商品列表页的爬虫。需求是模拟搜索关键词“笔记本电脑”翻页获取所有商品名称、价格和链接并处理可能出现的登录弹窗和懒加载。6.1 架构设计与代码实现import time import csv from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.common.exceptions import TimeoutException, NoSuchElementException class EcommerceScraper: def __init__(self, headlessTrue): “””初始化浏览器驱动””” self.options webdriver.ChromeOptions() if headless: self.options.add_argument(‘--headless’) self.options.add_argument(‘--disable-blink-featuresAutomationControlled’) self.options.add_experimental_option(“excludeSwitches”, [“enable-automation”]) self.driver webdriver.Chrome(optionsself.options) self.wait WebDriverWait(self.driver, 15) # 设置一个全局显式等待对象 self.data_list [] def handle_login_popup(self): “””处理可能出现的登录弹窗假设通过关闭按钮””” try: # 尝试查找并关闭登录弹窗这里用CSS选择器示例 close_btn self.driver.find_element(By.CSS_SELECTOR, ‘.login-layer .close’) close_btn.click() print(“检测到并关闭了登录弹窗”) time.sleep(1) except NoSuchElementException: # 没找到弹窗正常继续 pass def search_product(self, keyword): “””执行搜索操作””” self.driver.get(“https://www.example-shop.com”) self.handle_login_popup() # 等待搜索框加载并输入关键词 search_box self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, “#search-input”)) ) search_box.clear() search_box.send_keys(keyword) search_box.send_keys(Keys.ENTER) print(f“已执行搜索: {keyword}”) def scroll_to_bottom_lazy_load(self): “””滚动到底部以触发懒加载内容””” last_height self.driver.execute_script(“return document.body.scrollHeight”) while True: # 滚动到页面底部 self.driver.execute_script(“window.scrollTo(0, document.body.scrollHeight);”) time.sleep(2) # 等待新内容加载这里可以用更智能的等待替代 new_height self.driver.execute_script(“return document.body.scrollHeight”) if new_height last_height: # 高度不再变化说明已加载完毕 break last_height new_height print(“页面懒加载内容已触发完毕”) def parse_current_page(self): “””解析当前页面的商品信息””” # 等待商品列表容器出现 product_container self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, “.product-list”)) ) # 查找所有商品项 product_items product_container.find_elements(By.CSS_SELECTOR, “.product-item”) print(f“当前页找到 {len(product_items)} 个商品”) for item in product_items: try: # 使用相对定位在item元素内查找子元素更稳定 name_elem item.find_element(By.CSS_SELECTOR, “.product-name a”) name name_elem.text.strip() link name_elem.get_attribute(‘href’) # 价格可能有两种样式尝试获取 try: price_elem item.find_element(By.CSS_SELECTOR, “.price .num”) except NoSuchElementException: price_elem item.find_element(By.CSS_SELECTOR, “.final-price”) price price_elem.text.strip() self.data_list.append({ “name”: name, “price”: price, “link”: link }) except NoSuchElementException as e: # 某个元素没找到记录日志并跳过该商品 print(f“解析商品时出错跳过: {e}”) continue def go_to_next_page(self): “””尝试翻到下一页””” try: next_btn self.driver.find_element(By.CSS_SELECTOR, “.pagination .next:not(.disabled)”) next_btn.click() # 等待新页面内容加载例如等待某个标志性元素出现 self.wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, “.product-list”)) ) time.sleep(1) # 短暂稳定等待 return True except (NoSuchElementException, TimeoutException): print(“已是最后一页或翻页按钮不可用”) return False def run(self, keyword, max_pages5): “””主运行逻辑””” try: self.search_product(keyword) current_page 1 while current_page max_pages: print(f”\n正在处理第 {current_page} 页...”) # 先滚动加载所有懒加载商品 self.scroll_to_bottom_lazy_load() # 然后解析 self.parse_current_page() # 尝试翻页 if not self.go_to_next_page(): break current_page 1 print(f”\n爬取结束共获取 {len(self.data_list)} 条商品数据。”) self.save_to_csv(keyword) except Exception as e: print(f“爬虫运行过程中发生错误: {e}”) # 可以在这里保存已爬取的数据 finally: self.driver.quit() def save_to_csv(self, keyword): “””保存数据到CSV文件””” filename f”{keyword}_products.csv” with open(filename, ‘w’, newline‘’, encoding‘utf-8-sig’) as f: fieldnames [‘name’, ‘price’, ‘link’] writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(self.data_list) print(f“数据已保存到文件: {filename}”) if __name__ “__main__”: scraper EcommerceScraper(headlessFalse) # 调试时可设为False看浏览器操作 scraper.run(“笔记本电脑”, max_pages3)6.2 关键逻辑与避坑点解析结构化与封装将爬虫封装成类逻辑清晰便于维护和扩展。run方法是总调度。稳健的元素查找大量使用WebDriverWait配合expected_conditions进行显式等待避免因网络波动导致的元素找不到错误。在parse_current_page方法中使用item.find_element进行相对定位这样即使页面结构有局部调整只要商品项内部的相对结构不变定位就更稳定。对可能缺失的元素如特价商品的价格标签不同使用try...except进行容错处理避免因单个商品解析失败导致整个任务中断。处理懒加载scroll_to_bottom_lazy_load方法模拟了滚动到底部的行为并通过判断页面高度是否变化来检测是否还有新内容加载。这是处理无限滚动或分批次加载页面的通用方法。翻页控制go_to_next_page方法不仅找到了“下一页”按钮还通过.next:not(.disabled)这样的CSS选择器确保按钮是可点击的非禁用状态。点击后等待新页面的商品列表容器出现作为页面加载完成的标志。数据存储使用csv模块存储简单通用。注意使用utf-8-sig编码可以让Excel正确识别中文。异常处理与资源释放在run方法外用try...except...finally包裹确保即使中途出错浏览器驱动也能在finally块中被正确关闭防止资源泄漏。7. 常见问题排查与性能优化实录即使按照最佳实践编写Selenium爬虫在运行中还是会遇到各种问题。下面是我总结的一些典型问题及其解决方案。7.1 高频错误与解决方案速查表问题现象可能原因解决方案NoSuchElementException(找不到元素)1. 元素尚未加载完成。2. 定位表达式写错了。3. 元素在iframe内。4. 元素在弹窗/新窗口内。1. 使用WebDriverWait显式等待元素出现。2. 用浏览器开发者工具复查定位器优先用CSS Selector。3. 使用driver.switch_to.frame()切换到对应iframe。4. 切换窗口句柄或处理弹窗。ElementNotInteractableException(元素不可交互)1. 元素被遮挡如弹窗。2. 元素不可见display: none或visibility: hidden。3. 元素未处于可操作状态如下拉框未展开。1. 移除遮挡物或等待其消失。2. 检查元素样式或尝试用driver.execute_script(“arguments[0].click();”, element)通过JS点击。3. 先执行前置操作如点击展开下拉框。TimeoutException(等待超时)1. 网络慢元素加载时间超过等待时间。2. 等待条件设置不当元素始终不满足。3. 页面JS报错导致功能中断。1. 适当增加等待时间或检查网络。2. 更换等待条件如用presence_of_element_located替代visibility_of_element_located。3. 查看浏览器控制台(F12)的Console标签是否有JS错误。StaleElementReferenceException(元素过期)之前找到的元素对应的DOM节点已经失效页面刷新或AJAX更新后。重新查找元素。避免在页面可能刷新的操作后还使用旧的元素对象。爬虫被网站识别并屏蔽1. 浏览器指纹被检测如navigator.webdriver属性。2. 行为模式异常速度过快、无间隔。3. IP地址被标记。1. 使用--disable-blink-featuresAutomationControlled等选项或尝试undetected-chromedriver。2. 添加随机延迟(time.sleep(random.uniform(1, 3)))模拟人类操作。3. 使用高质量的住宅IP代理池。无头模式(headless)下元素找不到无头模式的浏览器视窗大小可能与有界面的不同导致页面布局变化某些元素可能被隐藏或未渲染。启动时设置窗口大小--window-size1920,1080。或者尝试先不用无头模式调试。7.2 性能优化与稳定性提升技巧减少不必要的浏览器操作每次find_element或get_attribute都是一次浏览器与WebDriver的通信有开销。尽量一次性获取所需数据。不佳做法在循环里多次查找同一父元素。推荐做法先find_elements获取所有商品项列表然后遍历这个列表在每个项内使用相对查找。使用page_source进行静态解析如果页面结构稳定且所有数据在初始HTML中或一次滚动加载后可以获取完整的driver.page_source然后使用BeautifulSoup或lxml进行解析。这两个库的解析速度远快于Selenium的DOM操作。Selenium负责渲染和获取源码解析工作交给更高效的工具。禁用不必要的浏览器功能通过chrome_options禁用图片、CSS、Flash等可以显著加快页面加载。prefs {“profile.managed_default_content_settings.images”: 2} # 2代表禁用 chrome_options.add_experimental_option(“prefs”, prefs)注意如果数据是懒加载的图片或CSS背景图禁用后可能无法获取。合理设置超时时间隐式等待不要设置过长一般5-10秒显式等待根据具体操作设定。过长的等待会浪费大量时间在已经失败的页面上。使用浏览器复用高级对于需要登录或维护复杂会话的爬虫可以考虑复用浏览器实例而不是每次任务都打开关闭。但这需要更精细的管理来避免状态混乱。分布式与并发Selenium本身很重单实例并发能力有限。对于大规模爬取可以考虑使用Selenium Grid进行分布式部署或者将Selenium作为“渲染器”只负责获取渲染后的HTML然后将HTML交给轻量级的解析服务去处理。7.3 关于undetected-chromedriver的补充当遇到顽固的反爬系统时标准的Selenium配置可能失效。undetected-chromedriver是一个第三方库它对ChromeDriver进行了深度修补能更好地隐藏自动化特征。import undetected_chromedriver as uc driver uc.Chrome(headlessTrue, use_subprocessTrue) driver.get(“https://nowsecure.nl”) # 一个专门检测自动化工具的测试网站 # … 后续操作与普通driver一致它的使用接口几乎和官方Selenium一致但反检测能力更强。将其视为一个更强大的“最后手段”因为它的更新可能滞后于Chrome版本且在某些极端环境下可能存在兼容性问题。最后我想说的是Selenium是一个强大的工具但它不是爬虫的“银弹”。它的设计初衷是自动化测试用在爬虫上是“降维使用”。因此请始终对目标网站保持尊重遵守robots.txt协议合理设置请求间隔避免给服务器造成过大压力。将Selenium作为你工具箱中应对动态网页的“特种部队”在确实需要时才调用它并结合requests、BeautifulSoup等常规武器才能构建出高效、稳健、负责任的数据采集系统。