1. 项目概述与核心需求解析最近在技术社区和论坛里经常看到有朋友在讨论如何“解放双手”处理一些重复性的网页操作任务。其中一个高频出现的场景就是在线课程的学时管理。很多继续教育、职业培训平台都要求学员完成一定的在线视频观看时长但手动挂机不仅耗时还容易因为网络波动、页面卡顿导致学时记录失败。基于这个普遍痛点我结合自己多年的自动化测试和脚本开发经验用Python和一点点JavaScript配合Selenium这个老牌浏览器自动化工具折腾出了一个相对智能的学时管理脚本。这本质上是一个**浏览器自动化Browser Automation**项目核心目标不是“作弊”而是将人从枯燥、重复的“点击-等待-刷新”循环中解放出来确保学习进程的稳定推进尤其适合课程内容已掌握、仅需完成形式上学时要求的场景。这个脚本的核心思路是模拟一个真实用户的操作打开浏览器登录学习平台找到课程列表逐个进入课程播放页面然后智能地维持播放状态。它需要处理各种意外情况比如弹窗广告、睡眠检测、页面超时、验证码虽然复杂的验证码通常需要更高级的方案等。整个方案建立在Selenium WebDriver的基础上用Python作为主控逻辑语言并在必要时注入JavaScript来执行一些Selenium原生API不太方便或无法实现的操作。对于有Python和Web基础的朋友来说实现起来并不复杂但其中有很多细节和“坑”需要提前注意这也是本文想重点分享的。2. 技术选型与工具链搭建为什么选择Python Selenium JS这个组合这是经过实际场景权衡后的结果。2.1 核心工具Selenium WebDriverSelenium是Web自动化测试的事实标准但它绝不仅限于测试。它的优势在于跨浏览器通过对应的WebDriver如ChromeDriver、GeckoDriver可以控制Chrome、Firefox、Edge等主流浏览器模拟真实环境。元素定位强大支持通过ID、Name、XPath、CSS Selector等多种方式定位页面元素这对于操作复杂的网页结构至关重要。模拟真实交互可以执行点击、输入、滚动等几乎所有用户操作比单纯的HTTP请求模拟如requests库更能应对依赖JavaScript渲染的现代网页。生态成熟社区活跃遇到问题容易找到解决方案。对于挂课场景我们需要的正是这种能“看到”页面并与之“交互”的能力而不是简单的接口调用。2.2 主控语言PythonPython几乎是自动化脚本的首选原因如下语法简洁代码可读性高开发效率快适合快速构建原型和处理复杂逻辑。库生态丰富除了Selenium (selenium)还需要处理等待WebDriverWait、异常、时间调度time,schedule等Python都有成熟的内置库或第三方库支持。易于集成如果需要后续加入日志记录、邮件通知、配置文件管理等功能Python都能轻松实现。2.3 辅助利器JavaScriptSelenium虽然强大但有些操作通过注入JavaScript来执行会更加直接和高效尤其是在处理某些原生事件或获取/修改DOM属性时。例如直接执行播放driver.execute_script(document.querySelector(video).play())修改视频播放速率如果需要快速过掉已掌握内容driver.execute_script(document.querySelector(video).playbackRate 2.0)检测视频播放状态driver.execute_script(return document.querySelector(video).ended)2.4 环境准备清单在开始编码前需要准备好以下环境我以Windows系统下的Chrome浏览器为例安装Python从官网下载3.7及以上版本安装务必勾选“Add Python to PATH”。安装Selenium库在命令行中运行pip install selenium。下载浏览器驱动查看你的Chrome浏览器版本在地址栏输入chrome://version/。访问ChromeDriver官网或国内镜像站下载与你的Chrome浏览器大版本号完全一致的ChromeDriver。将下载的chromedriver.exe文件放在一个固定目录如C:\WebDriver\并将该目录添加到系统的PATH环境变量中。这是最稳妥的方式可以避免后续代码中指定路径的麻烦。注意浏览器和驱动版本的匹配是新手最容易踩的坑之一。版本不匹配会导致Selenium无法启动浏览器。建议定期更新驱动以匹配浏览器自动升级。3. 脚本核心架构与设计思路一个健壮的挂课脚本不能是简单的线性操作必须考虑容错、恢复和日志。我的脚本核心架构分为以下几个模块如下图所示逻辑流程graph TD A[脚本启动] -- B[初始化配置br读取账号/课程列表] B -- C{登录平台}; C -- 成功 -- D[遍历课程列表]; C -- 失败 -- E[记录日志并告警] -- Z[脚本结束]; subgraph D [核心播放循环] D1[进入课程页面] -- D2{检测页面状态与元素}; D2 -- 正常 -- D3[执行播放操作br点击/JS注入]; D2 -- 异常弹窗/卡死 -- D4[异常处理程序] -- D2; D3 -- D5[进入监控循环]; subgraph D5 [监控循环] D5_1[等待N秒] -- D5_2{检测播放状态}; D5_2 -- 播放中 -- D5_3{检测学时进度}; D5_2 -- 已停止/出错 -- D5_4[尝试恢复播放] -- D5_1; D5_3 -- 未完成 -- D5_1; D5_3 -- 已完成 -- D6[记录进度并退出循环]; end end D6 -- F{还有下一门课?}; F -- 是 -- D; F -- 否 -- G[生成学习报告] -- Z;3.1 配置管理模块硬编码账号密码和URL是极不安全的做法。我使用config.ini文件或config.py来管理配置。; config.ini 示例 [Platform] login_url https://your-learning-platform.com/login username your_username password your_password [Browser] headless False ; 是否无头模式调试时建议False window_size 1920,1080 implicitly_wait 10 ; 隐式等待时间秒 [Behavior] course_list course_id_1, course_id_2 ; 课程ID列表 check_interval 60 ; 监控播放状态的间隔秒 playback_rate 1.0 ; 播放速率1.0为正常速度在Python中使用configparser库来读取这些配置。3.2 浏览器驱动与会话管理模块这是脚本的引擎。我通常会封装一个浏览器工具类负责驱动的初始化、退出和提供一些常用方法。from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options import configparser class BrowserManager: def __init__(self, config): self.config config self.driver None def start(self): chrome_options Options() if self.config.getboolean(Browser, headless): chrome_options.add_argument(--headless) # 无头模式不显示GUI chrome_options.add_argument(--disable-gpu) chrome_options.add_argument(--no-sandbox) chrome_options.add_argument(--disable-dev-shm-usage) # 防止被检测为自动化工具重要 chrome_options.add_experimental_option(excludeSwitches, [enable-automation]) chrome_options.add_experimental_option(useAutomationExtension, False) chrome_options.add_argument(--disable-blink-featuresAutomationControlled) # 使用Service指定驱动路径如果PATH已配置可省略 # service Service(executable_pathC:/WebDriver/chromedriver.exe) # self.driver webdriver.Chrome(serviceservice, optionschrome_options) self.driver webdriver.Chrome(optionschrome_options) # 执行CDP命令进一步隐藏自动化特征 self.driver.execute_cdp_cmd(Page.addScriptToEvaluateOnNewDocument, { source: Object.defineProperty(navigator, webdriver, { get: () undefined }); }) self.driver.implicitly_wait(self.config.getint(Browser, implicitly_wait)) self.driver.set_window_size(*map(int, self.config[Browser][window_size].split(,))) return self.driver def quit(self): if self.driver: self.driver.quit()3.3 登录与认证模块不同平台的登录方式千差万别可能是表单提交也可能是扫码。核心是定位到用户名、密码输入框和提交按钮。这里必须使用显式等待Explicit Wait确保元素加载完成再操作。from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC def login(driver, config): driver.get(config[Platform][login_url]) try: # 等待用户名输入框出现 username_input WebDriverWait(driver, 20).until( EC.presence_of_element_located((By.ID, username)) # 根据实际页面元素ID修改 ) username_input.send_keys(config[Platform][username]) password_input driver.find_element(By.ID, password) password_input.send_keys(config[Platform][password]) submit_button driver.find_element(By.XPATH, //button[typesubmit]) submit_button.click() # 等待登录成功后的某个标志性元素出现例如用户头像 WebDriverWait(driver, 30).until( EC.presence_of_element_located((By.CLASS_NAME, user-avatar)) ) print(登录成功) return True except Exception as e: print(f登录失败: {e}) # 这里可以截图保存方便排查 driver.save_screenshot(login_failed.png) return False3.4 课程播放与状态维护模块这是最核心的部分。其逻辑是进入播放页 - 寻找视频元素 - 开始播放 - 循环监控。寻找并操作视频元素现代网页的视频播放器可能是video标签也可能是基于Flash或特殊播放器如DPlayer、ckplayer。对于HTML5的video我们可以用JS直接控制。对于复杂播放器可能需要模拟点击其自带的播放按钮。def play_course(driver, course_url, check_interval, playback_rate): driver.get(course_url) time.sleep(5) # 等待页面初步加载 # 方案1尝试通过JS直接控制HTML5 video标签 try: # 设置播放速率 driver.execute_script(fdocument.querySelector(video).playbackRate {playback_rate};) # 开始播放 driver.execute_script(document.querySelector(video).play();) print(通过JS启动视频播放。) except Exception as js_e: print(fJS控制失败尝试查找播放按钮: {js_e}) # 方案2查找并点击播放按钮 try: # 这里的定位器需要根据实际页面调整可能需要用XPath或CSS Selector play_button WebDriverWait(driver, 15).until( EC.element_to_be_clickable((By.XPATH, //div[classplay-btn])) ) play_button.click() print(通过点击播放按钮启动视频。) except Exception as click_e: print(f无法找到或点击播放按钮: {click_e}) return False # 进入监控循环 return monitor_playback(driver, check_interval) def monitor_playback(driver, interval): 监控视频播放状态 while True: time.sleep(interval) # 每隔一段时间检查一次 try: # 检查视频是否仍在播放非结束状态 is_ended driver.execute_script(return document.querySelector(video).ended;) current_time driver.execute_script(return document.querySelector(video).currentTime;) duration driver.execute_script(return document.querySelector(video).duration;) print(f监控点: 当前时间 {current_time:.1f}s, 总时长 {duration:.1f}s, 是否结束: {is_ended}) if is_ended: print(视频播放结束。) # 检查是否有“下一节”按钮并点击或者退出循环 # ... break # 检查页面是否有“继续学习”或“确认”弹窗防睡眠 if check_and_handle_popup(driver): continue # 可以添加其他检查比如网络断开、页面崩溃等 except Exception as e: print(f监控过程中发生异常: {e}) # 尝试恢复比如刷新页面并重新播放 if not recover_playback(driver): print(恢复播放失败退出本课程。) break return True3.5 异常处理与恢复模块网络环境不稳定平台也可能有防挂机机制。一个健壮的脚本必须能处理弹窗处理如“您还在学习吗”的确认框。需要定期查找并点击。播放中断视频卡住、页面崩溃。通过try...except捕获异常并尝试刷新页面、重新登录或重新播放。元素定位失败页面结构可能变化。需要准备多套定位策略并记录日志。def check_and_handle_popup(driver): 检查并处理常见弹窗 popup_selectors [ (By.XPATH, //button[contains(text(), 继续学习)]), (By.XPATH, //div[classconfirm-dialog]//button[contains(text(), 确定)]), (By.CLASS_NAME, el-button--primary), # 示例Element UI的主按钮 ] for by, selector in popup_selectors: try: # 快速查找不使用隐式等待 element driver.find_element(by, selector) if element.is_displayed(): element.click() print(f检测并点击了弹窗按钮: {selector}) time.sleep(2) return True except: continue return False def recover_playback(driver): 尝试恢复播放 try: driver.refresh() time.sleep(8) # 等待刷新后页面加载 # 重新尝试播放逻辑可以调用play_course中的部分代码 driver.execute_script(document.querySelector(video).play();) print(已刷新页面并尝试重新播放。) return True except Exception as e: print(f恢复播放失败: {e}) return False3.6 日志与报告模块记录脚本运行状态至关重要方便事后排查问题和验证学习进度。可以使用Python内置的logging模块。import logging from datetime import datetime def setup_logging(): logging.basicConfig( levellogging.INFO, format%(asctime)s - %(name)s - %(levelname)s - %(message)s, handlers[ logging.FileHandler(flearning_bot_{datetime.now().strftime(%Y%m%d)}.log), logging.StreamHandler() # 同时输出到控制台 ] ) return logging.getLogger(__name__) # 在脚本中使用 logger setup_logging() logger.info(开始处理课程《Python高级编程》) logger.warning(检测到弹窗已处理) logger.error(登录失败请检查网络或账号)4. 完整脚本实现与关键代码解析将上述模块组合起来就构成了主程序。下面是一个简化但可运行的核心流程示例。# main.py import time import configparser from browser_manager import BrowserManager from login import login from course_player import play_course, monitor_playback from utils import setup_logging def main(): logger setup_logging() config configparser.ConfigParser() config.read(config.ini) browser_manager BrowserManager(config) driver None try: driver browser_manager.start() logger.info(浏览器启动成功。) # 1. 登录 if not login(driver, config): logger.error(登录失败脚本终止。) return # 2. 获取课程列表 course_ids config[Behavior][course_list].split(,) base_course_url https://your-platform.com/course/{} # 根据实际URL模式修改 # 3. 遍历课程 for idx, course_id in enumerate(course_ids): course_url base_course_url.format(course_id.strip()) logger.info(f开始学习课程 [{idx1}/{len(course_ids)}]: {course_url}) success play_course( driver, course_url, check_intervalconfig.getint(Behavior, check_interval), playback_rateconfig.getfloat(Behavior, playback_rate) ) if success: logger.info(f课程 {course_id} 学习完成或已达到目标。) else: logger.warning(f课程 {course_id} 学习过程中断或失败。) # 短暂间隔避免请求过于频繁 time.sleep(5) logger.info(所有课程学习任务已完成) except KeyboardInterrupt: logger.info(用户中断脚本执行。) except Exception as e: logger.exception(f脚本运行过程中发生未预期异常: {e}) finally: if driver: browser_manager.quit() logger.info(浏览器已关闭。) if __name__ __main__: main()关键点解析config.ini的使用将所有可配置项外置使得脚本无需修改代码即可适应不同的账号、课程和平台只要页面结构类似。浏览器启动选项--disable-blink-featuresAutomationControlled和CDP命令是为了避免被网站检测到自动化工具。一些教育平台会检测navigator.webdriver属性这些设置可以将其隐藏。显式等待 vs 隐式等待WebDriverWait是显式等待用于在特定条件如元素出现、可点击满足后再进行下一步更精确可靠。implicitly_wait是隐式等待是全局设置在查找元素时如果未立即找到会轮询等待一段时间。最佳实践是使用显式等待并设置一个较短的隐式等待作为兜底。JavaScript注入driver.execute_script()是Selenium与页面深度交互的利器。它可以直接在浏览器上下文中执行JS代码用于获取信息或执行操作效率往往比多次调用Selenium API更高。异常处理的层级在try...except块中应尽可能捕获具体的异常并在except块中进行有针对性的恢复操作而不是简单地打印错误。5. 高级优化与防检测策略基础脚本能跑起来但在实际对抗中平台方会有各种反自动化措施。我们需要让脚本行为更接近真人。5.1 模拟人类操作节奏真人不会以固定的、毫秒级精确的间隔操作。引入随机延迟和随机动作。import random def human_like_delay(min_sec1, max_sec3): 模拟人类操作间隔 time.sleep(random.uniform(min_sec, max_sec)) def human_like_click(element): 模拟人类点击先移动鼠标到元素上 # Selenium的click()已经比较自然但可以加入更复杂的模拟 # 例如使用ActionChains from selenium.webdriver.common.action_chains import ActionChains actions ActionChains(driver) actions.move_to_element(element).pause(random.uniform(0.1, 0.5)).click().perform()5.2 随机化浏览行为在监控间隔期间可以随机执行一些无关但自然的操作如轻微滚动、鼠标移动。def random_browsing_behavior(driver): 执行随机浏览行为 behaviors [ lambda: driver.execute_script(window.scrollBy(0, arguments[0]);, random.randint(50, 200)), lambda: driver.execute_script(window.scrollBy(0, arguments[0]);, -random.randint(50, 200)), # 模拟鼠标在页面某区域移动需要更复杂的JS或ActionChains ] if random.random() 0.7: # 30%的概率执行一次随机行为 random.choice(behaviors)() print(执行了一次随机浏览行为。)5.3 使用更隐蔽的浏览器模式用户数据目录启动浏览器时指定一个真实的用户数据目录--user-data-dir这样浏览器会加载真实的Cookies、历史记录更像一个常驻用户。chrome_options.add_argument(f--user-data-dirC:\\Users\\YourName\\AppData\\Local\\Google\\Chrome\\User Data\\TestProfile)禁用自动化特征如前所述必须使用excludeSwitches和CDP命令。代理IP如果平台对同一IP长时间访问有限制可以考虑使用代理池。但这会增加复杂性和成本。5.4 应对智能验证码如果平台在检测到异常行为后弹出验证码如滑块、点选简单的Selenium脚本就很难处理了。这时需要考虑降低被检测概率通过上述所有优化手段尽量模拟真人。集成打码平台商业打码平台提供API可以将验证码图片发送过去返回识别结果或操作坐标。但这需要额外费用且违反平台规则的风险极高。人工介入设计脚本在遇到验证码时暂停发出通知如邮件、微信等待人工处理后再继续。这保证了脚本的可用性但失去了全自动的意义。重要提醒使用自动化脚本完成学习平台强制要求的行为可能违反平台的服务条款。轻则学习记录被清空、账号被封禁重则可能涉及相关责任。此脚本仅用于技术学习与研究自动化测试、浏览器控制等知识请务必在符合平台规则和法律法规的前提下谨慎使用。理解原理后你可以将这套技术应用于合法的自动化场景如自动测试网站功能、定时抓取公开数据、自动完成日常重复性报表操作等。6. 常见问题排查与实战心得在实际部署和运行过程中你几乎一定会遇到下面这些问题。这里是我踩过坑后的经验总结。6.1 元素定位失败NoSuchElementException这是最常见的问题。原因1页面未加载完成。解决方案在操作前增加等待。优先使用WebDriverWait配合EC.presence_of_element_located或EC.element_to_be_clickable。原因2元素在iframe或shadow DOM内。解决方案需要先切换到对应的iframe (driver.switch_to.frame(frame_element))或使用JavaScript穿透shadow DOM。原因3页面结构动态变化定位器失效。解决方案准备更健壮的定位器如使用相对路径的XPath避免绝对路径或使用多个属性组合定位。同时将定位器字符串也放到配置文件中便于修改。原因4页面有多个匹配元素。解决方案使用find_elements获取列表再按索引或条件筛选。6.2 浏览器被检测为自动化工具表现为登录失败、页面跳转异常或直接提示“请勿使用自动化工具”。解决方案务必应用第5节中提到的所有防检测策略。特别是excludeSwitches和CDP命令。也可以尝试使用undetected-chromedriver这样的第三方库它专门用于规避检测。6.3 脚本运行一段时间后浏览器崩溃或无响应原因1内存泄漏。Selenium和浏览器本身长时间运行可能积累内存。解决方案定期重启浏览器。可以设计为每完成3-5门课程就完全退出并重启一次浏览器实例。原因2页面JavaScript内存泄漏或死循环。解决方案脚本监控到页面长时间无响应如通过检查视频时间是否在增长时主动刷新页面。原因3网络不稳定。解决方案在try...except中增加更广泛的异常捕获如TimeoutException,WebDriverException并在异常处理中尝试刷新或重启。6.4 如何判断一门课程是否真的学完了单纯监控视频播放结束video.ended可能不够因为有些平台在视频结束后需要手动点击“下一节”或“完成”按钮。解决方案在监控循环中除了检查视频状态还要定期扫描页面是否出现了“下一节”、“本章测试”、“已完成”等标志性元素或文本。一旦发现就触发相应的点击操作并更新课程进度状态。6.5 多课程、长时间运行的稳定性如果需要挂很多门课或者一次运行超过10小时使用任务队列将课程列表放入队列即使中间某门课失败也能记录日志并继续下一门。完善的日志系统记录每个关键步骤的时间、状态和可能的错误信息。日志要包含足够上下文方便离线分析。设计状态持久化将当前学习进度如学到第几门课、该课程的当前播放位置定期保存到文件或数据库。这样即使脚本崩溃重启也能从断点继续而不是从头开始。外部监控与告警脚本可以集成简单的邮件或即时通讯工具如Server酱、钉钉机器人的报警功能。当脚本连续失败、长时间无进度更新或最终完成时发送通知。6.6 我的实战心得先手动后自动在写任何代码之前手动在浏览器里完整走一遍流程。用开发者工具F12仔细观察每个步骤的页面变化、网络请求、元素属性。这是编写正确定位器和逻辑的基础。循序渐进分模块测试不要试图一次性写完整个脚本。先写登录模块测试通过再写进入课程页模块测试通过最后写播放监控模块。每个模块都单独运行验证。多用time.sleep调试少用time.sleep上线在调试阶段可以用time.sleep(10)来暂停方便你观察页面状态。但在最终脚本中应尽可能用WebDriverWait替代固定的sleep使脚本更高效、更健壮。准备好应对变化网站前端是经常变化的。你的脚本今天能用下个月可能就失效了。因此代码结构要清晰将易变的元素定位器集中管理便于维护。伦理与风险意识再次强调请务必了解你所自动化平台的相关规定。技术本身是中立的但应用场景有边界。将这个项目视为一次对Selenium、Web自动化和反检测技术的深度实践其技术价值远大于“挂课”这个具体应用本身。