Debezium系列之:Debezium Server同步数据到Apache Iceberg
Debezium系列之:Debezium Server同步数据到Apache IcebergApache Iceberg使用 Debezium 构建数据集成管道Apache IcebergDebezium Apache Iceberg 连接器是一个运行在 Debezium Server 中的数据接收器。它从源 Debezium 连接器接收数据库变更事件,并将其写入 Apache Iceberg 表。这使得数据库(变更数据捕获事件)可以直接复制到云存储或 HDFS 上的 Iceberg 表,无需使用 ETL 工具、Spark 或其他流式处理平台等中间系统。Debezium Iceberg 连接器支持 upsert 和 append 两种数据复制模式。启用事件和键模式信息后,目标 Iceberg 表会在首次启动时自动创建。该连接器提供以下功能:Upsert 和 Append 模式。优化批处理大小。可自定义表命名。在 Iceberg 中存储偏移量和模式历史记录。自动模式演化。建议使用 ExtractNewRecordState 转换(事件扁平化)。诸如 upsert 模式和自动主键检测等关键功能依赖于此 SMT 生成的扁平化事件结构。如果没有此转换,连接器只能以受限的追加模式运行。Debezium Server 的 Apache Iceberg 接收器是一个由社区维护的开源项目。请注意,它维护在一个单独的代码库中,您可以在这里找到它:Debezium Server Iceberg GitHub属性默