如何用 SIEM on Amazon OpenSearch Service 加载非 AWS 服务日志Apache/NGINX/Windows 日志接入指南【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service很多安全团队以为SIEM on Amazon OpenSearch Service只能加载 AWS 自家的服务日志其实它同样可以收集 Apache、NGINX、Windows 事件日志等非 AWS 服务日志。本文将用最简单的方式带你完成从日志采集、传输到可视化的完整接入流程帮助你快速搭建统一的安全日志分析平台。SIEM on Amazon OpenSearch Service 是如何工作的在开始之前先理解它的核心机制这会让你后面的每一步都更清晰。它的处理链路非常简单日志先汇聚到 S3各类日志无论来自 AWS 服务还是自建服务器统一写入 S3 日志桶Lambda 完成归一化部署后自动创建的aes-siem-es-loaderLambda 函数监听 S3 事件根据S3 对象路径s3_key识别日志类型并将字段映射为 Elastic Common SchemaECS标准写入并可视化归一化后的数据写入 Amazon OpenSearch Service通过内置 Dashboard 直接查看分析结果。这个按文件路径识别日志类型的设计非常聪明你不需要写任何采集代码只要把日志文件放到符合约定路径的 S3 桶里它就会自动识别并处理。接入前的通用准备核心资源模板所有非 AWS 日志接入方案都有一个共同的起点——先部署核心资源 CloudFormation 模板它会创建日志转发目标 S3 桶并配置好 IAM 角色。登录 AWS 管理控制台创建 CloudFormation 堆栈使用部署目录下的核心模板siem-log-exporter-core.template模板会生成类似aes-siem-账号ID-log的 S3 日志桶这就是所有日志的中转站。后续 Apache、NGINX、Windows 日志的接入都会在此基础上叠加各自的专属模板。第一步Apache 访问日志与错误日志接入Apache 是最常见的 Web 服务器之一它的日志包含大量攻击线索扫描、暴力破解、异常请求。SIEM on Amazon OpenSearch Service 支持Common Log FormatCLF、combined、combinedio等主流格式。Apache 日志的 S3 路径约定Apache 日志没有标准输出路径因此需要按以下 s3_key 前缀写入日志桶Apache access log[Aa]pache.*[Aa]ccess/Apache error log[Aa]pache.*[Ee]rror/一键配置步骤在 EC2 上安装 CloudWatch Agent将/var/log/httpd/access_log、/var/log/httpd/error_log等日志转发到 CloudWatch Logs使用 CloudFormation 模板 siem-log-exporter-apache-cwl.template 创建两个 Kinesis Data Firehose并设置 CloudWatch Logs 订阅过滤器将 Firehose 输出目标设为 S3 日志桶前缀形如AWSLogs/aws-account-id123456789012/serviceapache-access/web-site-name[站点名]/aws-region[区域]/ 提示如果你的站点在 CloudFront 或 ELB 后面建议把 X-Forwarded-For 加在 access_log开头这样 SIEM 才能提取到真实客户端 IP。第二步NGINX 访问日志与错误日志接入NGINX 的接入思路与 Apache 几乎一致只是路径约定和格式细节略有不同。NGINX 日志的 S3 路径约定NGINX access log[Nn]ginx.*[Aa]ccess/NGINX error log[Nn]ginx.*[Ee]rror/一键配置步骤安装 CloudWatch Agent将/var/log/nginx/access.log、/var/log/nginx/error.log转发到 CloudWatch Logs使用模板 siem-log-exporter-nginx-cwl.template 创建 Firehose 并配置订阅过滤器将输出前缀设为.../servicenginx-access/...与.../servicenginx-error/...对应的路径。 提示NGINX 的 X-Forwarded-For 应加在日志末尾与 Apache 相反。如果你的 NGINX 同时提供 HTTPS 服务建议把 SSL 日志单独存为ssl_access.log、ssl_error.logSIEM 会自动将其识别为 HTTPS 流量。Apache 和 NGINX 日志归一化后会在内置的Web Dashboard中集中展示包括请求状态分布、TOP 访问 IP、攻击特征等非常适合排查 Web 安全事件。第三步Windows 事件日志接入Windows 服务器的事件日志登录成功/失败、账户操作、服务异常是安全审计的关键数据。接入流程同样很简单在 Windows Server EC2 实例上安装 CloudWatch Agent将 Windows 事件日志转发到 CloudWatch Logs使用模板 siem-log-exporter-cwl-nocompress.template 创建 Firehose注意Windows 事件日志需要不压缩模式否则无法解析设置输出前缀为AWSLogs/123456789012/EC2/Windows/Event/[区域]/。对应的 s3_key 识别规则是/[Ww]indows.*[Ee]vent。事件日志会被解析为结构化字段方便你按 Event ID、登录类型等维度检索和告警。进阶技巧用 user.ini 自定义日志路径如果你不想用上述默认路径例如日志已经存在其他 S3 路径下可以通过user.ini覆盖默认配置。es-loader 的配置基于 aws.ini 中的初始值你只需要创建user.ini按相同结构覆写s3_key等字段即可[apache] s3_key 你自己的路径规则推荐将user.ini打包成 ZIP 上传到Lambda Layer如configure-es-loader.zip再附加到aes-siem-es-loader函数上。这样即使后续升级 SIEM 版本配置也不会丢失。验证接入是否成功配置完成后建议做以下三步验证检查 S3 桶确认日志文件已按约定前缀写入日志桶查看 Lambda 日志在 CloudWatch Logs 中检查aes-siem-es-loader是否有报错搜索 OpenSearch在 Dashboard 中搜索对应索引确认数据已成功写入。如果数据没有出现优先检查 s3_key 前缀是否与模板约定完全一致这是最常见的接入失败原因。小结通过本指南你已经学会了用SIEM on Amazon OpenSearch Service 加载非 AWS 服务日志的完整方法Apache 和 NGINX 走*-cwl模板Windows 事件日志走cwl-nocompress模板核心都是让日志进入符合约定的 S3 路径。所有相关模板都位于项目的 deployment/log-exporter/ 目录日志解析逻辑可以参考 sf_apache_access.py、sf_nginx_access.py、sf_windows_event.py 等源码更详细的官方配置说明见 docs/configure_aws_service.md 与 docs/configure_siem.md。如果需要获取完整项目代码可以克隆仓库git clone https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service接入非 AWS 日志其实比想象中简单得多——把文件放到对的位置剩下的交给 SIEM on Amazon OpenSearch Service 就好。立即动手试试吧【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考