1. 项目概述为什么需要构建被动扫描工作流在安全测试的日常工作中我们常常面临一个矛盾主动扫描工具虽然强大但“动静”太大容易触发目标系统的防护机制甚至可能导致服务中断而手动测试虽然精准但效率低下难以覆盖海量的请求和接口。这时一种更优雅、更高效的思路就浮现出来——被动扫描。它不是主动去“敲门”而是静静地“监听”和“分析”所有经过的流量从中发现潜在的安全漏洞。这就像一位经验丰富的侦探不是挨家挨户盘问而是通过监控关键路口的往来行人从中识别出可疑分子。“利用xray与Burp Suite构建高效被动扫描工作流”这个项目正是为了解决上述痛点。xray作为一款优秀的国产漏洞扫描器以其强大的检测引擎和丰富的POC库著称尤其在被动扫描模式下能对HTTP/HTTPS流量进行深度分析。Burp Suite则是Web安全测试的“瑞士军刀”其代理和流量拦截功能是安全人员的标配。将两者结合意味着我们可以让Burp Suite作为流量捕获和手动测试的平台同时将经过筛选的流量实时或定时地“喂”给xray进行深度漏洞检测从而实现“手动测试的精准”与“自动化扫描的广度”相结合。这套工作流的核心价值在于“增效”与“降噪”。它适合所有进行Web应用安全评估的渗透测试工程师、安全研究人员甚至开发人员。对于新手它可以作为一个强大的学习辅助工具在手动测试的同时观察自动化工具是如何发现漏洞的对于资深从业者它能将我们从重复性的基础漏洞扫描中解放出来更专注于业务逻辑漏洞等更深层次的测试。简单来说这不是要替代你的手动测试而是为你配备一个不知疲倦、洞察敏锐的“AI助手”。2. 核心工具选型与协同原理构建工作流的第一步是理解我们手中的“武器”以及它们如何协同工作。盲目地将工具堆砌在一起只会产生混乱理解其内在逻辑才能让工作流顺畅运行。2.1 Burp Suite流量枢纽与手动测试平台Burp Suite在这里扮演着两个核心角色流量捕获器和手动测试交互界面。代理服务器这是Burp最基础也是最重要的功能。我们将浏览器或测试设备的代理设置为Burp所有HTTP/HTTPS请求都会流经Burp。Burp不仅能拦截、查看、修改这些请求更重要的是它能将所有这些流量历史完整地记录下来存储在其项目文件中。这为我们提供了被动扫描所需的“原始素材库”。Extender API这是实现自动化的关键。Burp提供了强大的扩展接口Extender API允许我们编写自定义插件Extensions来与Burp的核心功能交互。我们可以通过插件编程式地获取流量历史IScannerCheck、发送请求到外部工具IHttpListener、甚至根据规则自动添加扫描任务。市面上已有一些社区插件能实现与xray的联动但理解其原理后我们完全可以定制更符合自身需求的工作流。注意Burp Suite社区版虽然功能强大但在自动化扫描和插件使用上存在限制如不能使用主动扫描器API。对于构建严肃的被动扫描工作流建议使用专业版Professional它提供了完整的API支持。2.2 xray高性能漏洞检测引擎xray则专注于另一项任务深度漏洞检测。它的优势在于被动扫描模式xray可以启动一个独立的HTTP代理端口或者通过其高级版提供的“反连平台”和“爬虫”结合的模式进行扫描。但在我们的工作流中更常用的是其“HTTP被动扫描”模式。在此模式下xray会监听一个本地端口任何发送到这个端口的HTTP请求包括请求和响应xray都会对其进行安全检测。丰富的检测能力xray内置了大量漏洞检测插件覆盖SQL注入、XSS、命令执行、目录遍历、SSRF、各种反序列化漏洞等。其检测逻辑并非简单的关键字匹配而是包含语义分析、上下文判断误报率相对较低。报告输出xray支持生成HTML、JSON等多种格式的详细报告清晰列出漏洞类型、风险等级、请求响应详情以及修复建议。2.3 协同工作原理从“串联”到“并联”理解了工具特性协同方式就清晰了。最直观的想法是“串联代理”浏览器 - Burp - xray - 目标服务器。这种方式简单但存在明显问题所有流量无论是否需要都经过xray扫描增加了延迟且xray可能对某些复杂请求如WebSocket、大文件上传处理不佳影响正常测试。因此更高效的工作流是“并联”或“选择性转发”模式。其核心思想是Burp负责所有流量的捕获和手动测试交互而我们通过脚本或插件智能地将“有价值的”流量子集发送给xray进行扫描。具体流程如下流量捕获测试者通过Burp代理进行正常的手动测试、爬虫爬取或使用其他工具如sqlmap进行测试。流量筛选工作流逻辑可能是自定义插件或外部脚本实时或定时分析Burp的代理历史Proxy History或站点地图Site Map。筛选规则可能包括排除静态资源如.js,.css,.png、聚焦于特定域名或路径、只选择包含参数的请求GET/POST等。请求转发将筛选出的HTTP原始请求包括请求头、Body重新组装通过HTTP协议发送到xray启动的被动扫描监听端口。漏洞检测xray接收到请求后模拟发送并分析响应执行其内置的漏洞检测规则。结果反馈xray将发现的漏洞输出到报告文件或通过某种方式如Webhook通知测试者。测试者可以在Burp中针对漏洞点进行手动验证和深入利用。这种模式下Burp和xray各司其职耦合度低稳定性高并且测试者拥有完全的掌控力可以决定扫描什么、何时扫描。3. 环境搭建与基础配置实操理论清晰后我们开始动手搭建。这里会提供两种主流实现方式的详细步骤一种是利用现有社区工具快速上手另一种是通过编写Python脚本实现高度定制化。你可以根据自身技术偏好和需求进行选择。3.1 工具安装与初始配置首先确保你的工作机上已经准备好以下工具Burp Suite Professional从官方下载并安装。确保已获得有效许可证。xray从官方GitHub发布页下载对应操作系统的最新版本。它是一个二进制可执行文件无需安装解压即可使用。为方便使用建议将其所在目录加入系统PATH环境变量或在脚本中使用绝对路径。Java环境Burp Suite需要Java运行环境。确保已安装JDK 8或更高版本。Python 3环境可选用于自定义脚本建议安装Python 3.6并安装requests、burp-rest-api如果使用REST API等库。xray基础配置启动xray的被动扫描模式非常简单。打开命令行终端切换到xray所在目录执行以下命令# Linux/macOS ./xray webscan --listen 127.0.0.1:7777 --html-output xray-report.html # Windows xray.exe webscan --listen 127.0.0.1:7777 --html-output xray-report.html--listen 127.0.0.1:7777让xray在本地回环地址的7777端口启动一个HTTP代理服务用于接收被动扫描流量。--html-output xray-report.html指定漏洞报告的输出路径和格式为HTML。执行后xray会开始运行并监听7777端口。保持这个终端窗口打开。Burp Suite基础配置启动Burp Suite创建一个临时项目或加载已有项目。进入Proxy - Options确保代理监听器Proxy Listeners已启用通常默认127.0.0.1:8080。配置你的浏览器或系统代理指向127.0.0.1:8080并安装Burp的CA证书以解密HTTPS流量。这是标准操作此处不再赘述。至此两个工具已独立运行起来。接下来是建立它们之间的连接。3.2 方案一使用Burp插件实现联动以Burp-Xray-Plugin为例社区中有一些优秀的开源插件可以简化联动过程。例如Burp-Xray-Plugin请注意插件名称可能变化请以GitHub最新项目为准就是一个典型代表。安装与配置步骤获取插件从插件的GitHub发布页下载其.jar文件。加载插件在Burp中进入Extender - Extensions点击“Add”在“Extension type”下拉框中选择“Java”然后浏览并选择下载的.jar文件点击“Next”加载。配置插件插件加载后通常会在Burp的标签页或右键菜单中新增一个功能面板。在该面板中你需要配置xray的监听地址即我们之前启动的http://127.0.0.1:7777。使用插件右键菜单发送在Proxy历史记录或Site Map中右键选中一个或多个请求在插件提供的上下文菜单中选择“Send to Xray”或类似选项。自动转发部分插件支持配置规则自动将符合条件如特定域名、特定后缀的请求转发给xray。优缺点分析优点集成在Burp内部使用方便无需切换工具通常提供图形化配置界面。缺点插件功能可能有限筛选规则不够灵活插件的更新维护依赖于原作者可能滞后于xray或Burp的版本更新复杂的定制化需求难以实现。3.3 方案二编写Python脚本实现定制化转发如果你需要更精细的控制或者插件无法满足需求编写一个Python脚本是更强大的选择。其核心思路是利用Burp的扩展API通过jython或jar包或更简单的Burp的REST API需Burp Pro且安装Burp REST API扩展来获取流量然后通过Python的requests库将流量转发给xray。这里以使用Burp Suite Professional 的 REST API 扩展为例因为这种方式更通用与编程语言无关。步骤1在Burp中启用REST API在Burp中进入Extender - BApp Store搜索并安装“Burp REST API”扩展。安装后进入Extender - Extensions找到已安装的“Burp REST API”点击“Extension Settings”。在设置中启用REST API服务并设置一个API密钥API Key和监听端口例如8090。务必记住API密钥。步骤2编写Python转发脚本创建一个名为passive_scanner_workflow.py的脚本内容如下#!/usr/bin/env python3 Burp Suite 与 xray 被动扫描联动脚本 通过Burp REST API获取流量筛选后转发至xray。 import requests import json import time import sys from urllib.parse import urlparse # 配置区域 BURP_API_URL http://127.0.0.1:8090 # Burp REST API 地址 BURP_API_KEY your_api_key_here # 你在Burp中设置的API密钥 XRAY_LISTEN_URL http://127.0.0.1:7777 # xray被动扫描监听地址 SCAN_INTERVAL 10 # 检查新请求的间隔时间秒 IGNORE_EXTENSIONS [.js, .css, .png, .jpg, .gif, .ico, .svg, .woff, .woff2] def should_scan_request(url, method, request_headers): 判断一个请求是否应该被发送给xray扫描。 这里可以定义你的筛选逻辑。 parsed_url urlparse(url) path parsed_url.path.lower() # 规则1排除静态资源文件 for ext in IGNORE_EXTENSIONS: if path.endswith(ext): return False # 规则2只关注GET/POST/PUT等可能携带参数的请求方法 if method not in [GET, POST, PUT, DELETE, PATCH]: return False # 规则3可以添加更多规则例如只扫描特定域名 # if target.com not in parsed_url.netloc: # return False # 规则4排除一些已知的安全请求如注销登录可选 # if logout in path: # return False return True def send_to_xray(http_request_raw): 将原始的HTTP请求字符串发送给xray。 xray的被动扫描接口通常直接接收原始的HTTP请求报文。 try: # 注意xray的被动扫描监听端口期望接收完整的HTTP请求 # 我们需要将请求发送到xray的监听地址但目标主机头需要是原始目标。 # 一种常见做法是直接使用原始请求的Host头但发送到本地xray端口。 # 更稳妥的方式是在Burp REST API获取请求时已经包含了完整的报文。 # 这里我们简单地将原始请求体发送到xray。 response requests.post(XRAY_LISTEN_URL, datahttp_request_raw, timeout30) if response.status_code 200: print(f[] 请求已成功发送至xray。) else: print(f[-] 发送至xray失败状态码{response.status_code}) except requests.exceptions.RequestException as e: print(f[-] 连接xray失败: {e}) def get_burp_proxy_history(): 通过Burp REST API获取代理历史记录 headers {X-API-Key: BURP_API_KEY} try: # 获取代理历史记录 resp requests.get(f{BURP_API_URL}/burp/proxy/history, headersheaders, timeout10) if resp.status_code 200: return resp.json() else: print(f[-] 获取Burp历史记录失败: {resp.status_code}) return None except requests.exceptions.RequestException as e: print(f[-] 连接Burp API失败: {e}) return None def main(): print([*] 启动 Burp 与 xray 被动扫描工作流脚本) print(f[*] Burp API: {BURP_API_URL}) print(f[*] xray 监听: {XRAY_LISTEN_URL}) print(f[*] 扫描间隔: {SCAN_INTERVAL}秒) print([*] 开始监听... (按CtrlC停止)) processed_ids set() # 用于记录已处理的请求ID避免重复扫描 try: while True: history get_burp_proxy_history() if history: # 假设API返回的列表每个元素包含id, url, method, request等字段 # 实际字段名需参考Burp REST API文档 for item in history: req_id item.get(id) if req_id in processed_ids: continue url item.get(url) method item.get(method) raw_request item.get(request) # 这里可能是Base64编码或原始字符串 # 注意Burp REST API返回的请求可能是经过编码的需要根据文档处理 # 此处假设raw_request是原始的HTTP请求字符串字节形式 if not raw_request: continue # 解码请求如果必要 # import base64 # raw_request base64.b64decode(raw_request).decode(utf-8, errorsignore) if should_scan_request(url, method, raw_request): print(f[] 发现新请求 [{method}] {url}准备发送至xray。) send_to_xray(raw_request) processed_ids.add(req_id) time.sleep(SCAN_INTERVAL) except KeyboardInterrupt: print(\n[*] 用户中断停止工作流。) sys.exit(0) if __name__ __main__: main()脚本使用说明将脚本中的BURP_API_KEY替换为你在Burp中设置的实际API密钥。确保Burp Suite已启用REST API扩展和xray监听在7777端口都在运行。在命令行中运行此脚本python3 passive_scanner_workflow.py。脚本会每隔10秒检查一次Burp的代理历史将符合筛选规则的新请求转发给xray。脚本的核心逻辑解析get_burp_proxy_history函数通过Burp REST API的/burp/proxy/history端点获取所有经过代理的请求历史。你需要查阅Burp REST API的具体文档来了解返回的确切JSON结构并可能需要对请求体进行Base64解码。should_scan_request函数这是工作流的“大脑”定义了转发规则。上述示例排除了静态资源并只关注常见的有参数请求方法。你可以在这里无限扩展你的规则例如通过正则表达式匹配特定API路径、检查请求中是否包含Cookie或Authorization头意味着是已认证的会话等。send_to_xray函数将筛选后的原始HTTP请求以POST方式发送到xray的监听地址。xray会解析这个请求并发起测试。processed_ids集合用于记录已处理的请求ID防止在轮询模式下重复扫描同一个请求节省资源。这种方案的优势是完全可控。你可以轻松修改筛选逻辑、调整扫描间隔、集成其他工具如将漏洞结果自动发送到钉钉/飞书、甚至实现更复杂的流水线。4. 工作流优化与高级技巧基础的工作流搭建完成后我们面临的是如何让它更智能、更高效、更贴合实际项目。直接转发所有非静态资源的请求仍然会产生大量扫描流量其中很多是重复的或低价值的。下面分享一些进阶的优化策略和实操心得。4.1 智能流量筛选策略一个高效的被动扫描工作流其筛选逻辑应该像一位经验丰富的测试人员一样“挑剔”。基于上下文的过滤忽略预检请求OPTIONSCORS的预检请求OPTIONS通常不携带业务参数没有扫描价值。关注特定HTTP状态码可以优先扫描返回200 OK、302 Found可能包含重定向跳转漏洞、500 Internal Server Error可能暴露信息的请求。对于大量的404 Not Found或403 Forbidden可以降低其扫描优先级或直接忽略。识别API端点通过路径特征如包含/api/,/v1/,.json,.action等或Content-Typeapplication/json来识别API请求这些往往是漏洞高发区。去重与聚合参数化去重对于同一个路径如/user/profile的不同参数值请求xray的检测逻辑通常是覆盖的。我们可以对请求进行“参数化”处理只对每个唯一的“方法路径参数名”组合发送一次扫描。例如/search?qhello和/search?qworld参数名都是q只需扫描一次。会话感知许多漏洞如越权需要在已登录状态下测试。我们的脚本可以识别携带特定会话Cookie如JSESSIONID,token的请求并将其归类为“已认证流量”进行更全面的扫描。甚至可以维护一个“已认证请求池”确保对关键功能点的扫描都在正确的会话上下文下进行。动态范围控制基于站点的白名单/黑名单在测试大型项目时可能只关心*.target.com而需要忽略第三方CDN如*.cloudfront.net或统计代码如*.google-analytics.com的请求。深度与广度平衡可以设置规则对根目录、登录接口、管理后台等关键路径进行深度扫描即使参数简单对其他目录则进行常规扫描。4.2 性能调优与稳定性保障当处理成千上万的请求时性能问题就会凸显。控制扫描并发与速率xray本身会控制扫描的并发线程。但在脚本层面我们也要避免在短时间内向xray“倾泻”大量请求这可能导致xray队列堆积甚至崩溃。可以在脚本中实现一个简单的队列和速率限制器例如每秒最多发送5-10个请求。错误处理与重试机制网络波动、xray临时无响应是可能的。在send_to_xray函数中需要增加健壮的错误处理try...except和有限次数的重试逻辑例如重试3次每次间隔2秒。对于持续失败的请求可以将其记录到日志文件中供后续排查。资源监控监控xray进程的CPU和内存占用。如果占用率持续过高可能意味着扫描任务过载需要调整转发策略或暂停一段时间。可以编写一个简单的监控脚本或者使用系统工具如top,htop进行观察。结果去重与聚合xray可能会对同一个漏洞点如反射型XSS报告多个类似的漏洞因为触发的payload不同。我们需要对最终报告进行人工审阅和合并。也可以编写后处理脚本根据漏洞URL、类型、参数进行初步去重。4.3 集成到CI/CD或自动化测试流程对于DevSecOps或希望持续进行安全测试的团队可以将此工作流集成到自动化流程中。与自动化测试工具结合使用Selenium、Playwright或Cypress进行UI自动化测试时可以将浏览器的代理指向Burp。这样所有自动化测试产生的流量都会被Burp捕获进而被我们的脚本转发给xray扫描。这相当于在每次自动化回归测试中都同步进行了一次安全扫描。定时任务扫描对于内部系统可以设置一个定时任务如每天凌晨2点。任务启动一个无头浏览器如puppeteer模拟用户登录并访问关键页面同时运行我们的Burp-xray联动工作流。扫描结束后将xray生成的HTML报告通过邮件自动发送给相关人员。API测试集成如果你使用Postman或Swagger进行API测试可以将这些工具的代理设置为Burp。在运行API测试集合时所有API请求都会被被动扫描。这比单独用xray去爬取和测试API要精准和高效得多。5. 常见问题排查与实战心得在实际搭建和使用过程中你一定会遇到各种“坑”。下面是我在多次实践中总结的一些典型问题及其解决方案以及一些让工作流更顺滑的心得。5.1 典型问题速查表问题现象可能原因排查步骤与解决方案xray收不到扫描请求1. 网络连通性问题。2. xray监听端口未启动或配置错误。3. 脚本转发逻辑错误如URL、请求体格式不对。1. 在脚本运行机器上使用curl -X POST http://127.0.0.1:7777测试xray端口是否可达。如果xray正常运行会返回一个错误页面因为请求不完整这证明端口是通的。2. 检查xray启动命令和终端输出确认监听在正确的IP和端口。3. 在脚本中打印出准备发送的原始请求的前几行与Burp中Raw视图的请求进行对比确保格式一致特别是请求行和Host头。Burp REST API无法连接1. REST API扩展未启用或配置错误。2. 防火墙/安全软件阻止了端口。3. API密钥错误。1. 在Burp中确认REST API扩展已加载且处于“Running”状态检查配置的端口和API密钥。2. 使用浏览器访问http://127.0.0.1:8090/你的API端口如果看到REST API的欢迎页面则服务正常。3. 在脚本或使用curl测试API时确保在请求头中正确添加了X-API-Key: your_key。扫描结果大量重复或低价值流量筛选规则过于宽松转发了太多静态资源、图片、字体文件等请求。优化should_scan_request函数。强烈建议在脚本开头添加一个调试模式打印出每一个被过滤掉的请求及其原因如“忽略.css文件”运行一段时间后分析日志根据实际情况调整忽略列表和规则。xray扫描导致被测系统变慢或异常1. xray的扫描payload触发了系统的防护或异常处理逻辑。2. 扫描并发过高对目标服务器造成压力。1. 在测试生产环境或敏感系统前务必在测试环境充分验证。可以调整xray的扫描策略使用“盲测”模式或降低扫描强度。2. 在脚本中实施严格的速率限制如每秒1个请求。在xray配置中也可以使用--max-rate参数限制每秒最大请求数。HTTPS请求扫描不到或报告错误Burp的CA证书未在xray的环境中受信导致xray代理无法解密HTTPS流量。重要我们的工作流中xray接收的是已经由Burp解密后的HTTP请求明文。因此xray本身不需要处理HTTPS解密。确保你的浏览器/测试工具正确安装了Burp的CA证书并且所有HTTPS流量都流经Burp并被成功拦截和解密。在Burp的Proxy历史中应该能看到明文的HTTPS请求和响应。脚本内存占用越来越高processed_ids集合无限增长未做清理。长时间运行后内存可能耗尽。定期清理processed_ids集合。例如可以只记录最近1小时或最近10000个请求的ID。或者改用更节省内存的数据结构如布隆过滤器Bloom Filter但需要注意其有一定的误判率。5.2 实操心得与技巧分享从“记录模式”开始在初次搭建时不要急于开启转发。先让脚本运行在“只记录不转发”的模式下运行你的测试用例一段时间。然后分析脚本记录下的“本应转发”的请求列表审视你的筛选规则是否合理。这能帮你快速建立有效的过滤策略避免一开始就产生大量垃圾扫描任务。分阶段扫描策略对于大型测试我习惯采用分阶段策略第一阶段广度使用宽松的规则仅排除静态资源进行初步快速扫描目的是发现明显的、常见的漏洞如暴露的敏感文件、未鉴权的API。第二阶段深度针对第一阶段发现的关键域名、关键功能模块收紧规则例如只扫描已认证会话的请求或针对特定参数类型如json进行深度注入测试进行第二轮精细扫描。善用Burp的“Scope”功能在Burp中设置好目标范围Target - Scope。这样即使脚本的过滤规则有遗漏Burp本身也不会记录范围外的流量从源头上减少了需要处理的数据量。同时结合Burp的“Site Map”视图你可以清晰地看到整个应用的结构有助于你设计更有针对性的扫描策略。xray配置文件的妙用xray支持通过配置文件config.yaml定义扫描策略、插件启用、漏洞过滤等。你可以创建多个配置文件例如fast_scan.yaml只启用快速、低误报的插件用于日常快速检查。deep_scan.yaml启用所有插件包括一些可能造成误报或性能影响的深度检测插件用于周期性的全面扫描。 在启动xray时通过--config参数指定配置文件可以让你的工作流更加灵活。日志是救星为你的Python脚本实现详细的日志功能使用logging模块记录信息INFO、警告WARNING和错误ERROR。例如记录每一个被转发的请求URL、转发状态、xray的响应等。当出现问题时详细的日志是定位问题最快的方式。可以将日志同时输出到控制台和文件便于实时监控和事后分析。构建这样一套被动扫描工作流初期需要一些投入来调试和优化但一旦稳定运行它将成为你安全测试 arsenal 中一件强大的“自动化武器”。它不会取代你的思考和手动测试但能极大地提升你的测试覆盖率和效率让你能更早、更多地发现那些隐藏在深处的安全隐患。记住工具的价值在于使用它的人不断根据实战反馈调整和优化你的工作流才是保持其高效的关键。