一份契约描述30多种数据源ODCS服务器配置实战Kafka、Snowflake、PostgreSQL等【免费下载链接】open-data-contract-standardHome of the Open Data Contract Standard (ODCS).项目地址: https://gitcode.com/gh_mirrors/op/open-data-contract-standardODCSOpen Data Contract Standard开放数据契约标准让你用一份 YAML 数据契约文件就能声明数据到底存放在哪些服务器上——Kafka 消息队列、Snowflake 数据仓库、PostgreSQL 数据库、S3 对象存储……34 种数据源类型全部支持。下面带你快速上手 ODCS 的servers服务器配置。servers 是什么一句话定位数据在哪里servers元素回答的是数据消费者最关心的问题数据物理上放在哪里它帮助消费方发现数据、帮助平台工程师自动化授权。每条 server 记录描述一个数据集在特定环境 特定技术上的位置且servers支持声明多条记录即一份契约可以覆盖多个数据源、多个环境。每个服务器条目只需两个必填字段其余按技术类型选配字段必填说明server✅服务器标识名type✅数据源类型34 选 1id❌唯一 ID如 UUID避免重名冲突description❌服务器描述environment❌环境标识prod / preprod / dev / uatroles❌有访问权限的角色 完整的属性表格参考官方文档 docs/infrastructure-servers.md机器可读的校验规则见 schema/odcs-json-schema-latest.json。34 种服务器类型主流技术全覆盖ODCS 的type字段支持34 种取值按场景大致可分为四类 关系型 / 分析数据库postgresql、postgres、mysql、oracle、sqlserver、clickhouse、duckdb、db2、informix、vertica、zen☁️ 云数仓与平台snowflake、redshift、bigquery、cloudsql、databricks、synapse、azure、s3、glue⚡ 流式与消息kafka、kinesis、pubsub 查询引擎与文件hive、impala、presto、trino、dremio、athena、denodo、api、sftp、local、custom找不到你的数据源用custom类型兜底它开放了host、port、account、location等几乎所有属性。实战一Kafka 消息队列服务器最短配置Kafka 是配置最精简的数据源之一——只需要 bootstrap 地址servers: - server: my-kafka type: kafka host: pkc-7xoy1.eu-central-1.aws.confluent.cloud:9092 format: avro # 可选声明消息格式完整可运行示例见 docs/examples/server/kafka-server.odcs.yaml。注意physicalType: topic的 schema 与 kafka 服务器类型是天然搭档。实战二PostgreSQL 关系数据库PostgreSQL 采用经典的主机 端口 库三段式端口默认 5432 可省略servers: - server: pg-warehouse type: postgresql host: db.internal.example.com port: 5432 database: adventureworks schema: public environment: prod一个包含多表、列级权威定义和敏感数据标签的完整 PostgreSQL 契约示例可以对照 docs/examples/all/postgresql-adventureworks-contract.odcs.yaml。实战三Snowflake 数据仓库Snowflake 要求声明六要素信息密度最高servers: - server: snowflake-prod type: snowflake host: xy12345.snowflakecomputing.com port: 443 account: xy12345 database: SALES warehouse: COMPUTE_WH schema: ANALYTICS云端数据湖Azure 与 S3 的位置式配置文件型数据源不写 host/port而是直接用location 定位符 文件格式servers: - server: my-azure type: azure location: az://my-data-location format: parquet更多示例docs/examples/server/azure-server.odcs.yaml。进阶一份契约覆盖 dev / uat / prod 多环境servers是数组同一数据产品在不同环境各写一条用environment区分即可。自动化平台据此识别这份契约保护的是生产数据还是测试数据无需维护多份契约servers: - server: orders-db type: postgresql host: dev-db.internal database: orders environment: dev - server: orders-db type: postgresql host: prod-db.internal database: orders environment: prod小结servers 配置的三个要点只认两件套server名称 type类型其余按数据源类型补充host/port/location等一契多源数组写法让多环境、多技术栈共享同一份契约治理成本直接减半custom 兜底34 种类型之外的自研数据源用customcustomProperties自由扩展。想继续深入从 docs/examples/README.md 的完整示例库入手用本地 JSON Schema 校验你的第一份 ODCS 契约吧 【免费下载链接】open-data-contract-standardHome of the Open Data Contract Standard (ODCS).项目地址: https://gitcode.com/gh_mirrors/op/open-data-contract-standard创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 一份契约描述30多种数据源：ODCS服务器配置实战（Kafka、Snowflake、PostgreSQL等）
一份契约描述30多种数据源ODCS服务器配置实战Kafka、Snowflake、PostgreSQL等【免费下载链接】open-data-contract-standardHome of the Open Data Contract Standard (ODCS).项目地址: https://gitcode.com/gh_mirrors/op/open-data-contract-standardODCSOpen Data Contract Standard开放数据契约标准让你用一份 YAML 数据契约文件就能声明数据到底存放在哪些服务器上——Kafka 消息队列、Snowflake 数据仓库、PostgreSQL 数据库、S3 对象存储……34 种数据源类型全部支持。下面带你快速上手 ODCS 的servers服务器配置。servers 是什么一句话定位数据在哪里servers元素回答的是数据消费者最关心的问题数据物理上放在哪里它帮助消费方发现数据、帮助平台工程师自动化授权。每条 server 记录描述一个数据集在特定环境 特定技术上的位置且servers支持声明多条记录即一份契约可以覆盖多个数据源、多个环境。每个服务器条目只需两个必填字段其余按技术类型选配字段必填说明server✅服务器标识名type✅数据源类型34 选 1id❌唯一 ID如 UUID避免重名冲突description❌服务器描述environment❌环境标识prod / preprod / dev / uatroles❌有访问权限的角色 完整的属性表格参考官方文档 docs/infrastructure-servers.md机器可读的校验规则见 schema/odcs-json-schema-latest.json。34 种服务器类型主流技术全覆盖ODCS 的type字段支持34 种取值按场景大致可分为四类 关系型 / 分析数据库postgresql、postgres、mysql、oracle、sqlserver、clickhouse、duckdb、db2、informix、vertica、zen☁️ 云数仓与平台snowflake、redshift、bigquery、cloudsql、databricks、synapse、azure、s3、glue⚡ 流式与消息kafka、kinesis、pubsub 查询引擎与文件hive、impala、presto、trino、dremio、athena、denodo、api、sftp、local、custom找不到你的数据源用custom类型兜底它开放了host、port、account、location等几乎所有属性。实战一Kafka 消息队列服务器最短配置Kafka 是配置最精简的数据源之一——只需要 bootstrap 地址servers: - server: my-kafka type: kafka host: pkc-7xoy1.eu-central-1.aws.confluent.cloud:9092 format: avro # 可选声明消息格式完整可运行示例见 docs/examples/server/kafka-server.odcs.yaml。注意physicalType: topic的 schema 与 kafka 服务器类型是天然搭档。实战二PostgreSQL 关系数据库PostgreSQL 采用经典的主机 端口 库三段式端口默认 5432 可省略servers: - server: pg-warehouse type: postgresql host: db.internal.example.com port: 5432 database: adventureworks schema: public environment: prod一个包含多表、列级权威定义和敏感数据标签的完整 PostgreSQL 契约示例可以对照 docs/examples/all/postgresql-adventureworks-contract.odcs.yaml。实战三Snowflake 数据仓库Snowflake 要求声明六要素信息密度最高servers: - server: snowflake-prod type: snowflake host: xy12345.snowflakecomputing.com port: 443 account: xy12345 database: SALES warehouse: COMPUTE_WH schema: ANALYTICS云端数据湖Azure 与 S3 的位置式配置文件型数据源不写 host/port而是直接用location 定位符 文件格式servers: - server: my-azure type: azure location: az://my-data-location format: parquet更多示例docs/examples/server/azure-server.odcs.yaml。进阶一份契约覆盖 dev / uat / prod 多环境servers是数组同一数据产品在不同环境各写一条用environment区分即可。自动化平台据此识别这份契约保护的是生产数据还是测试数据无需维护多份契约servers: - server: orders-db type: postgresql host: dev-db.internal database: orders environment: dev - server: orders-db type: postgresql host: prod-db.internal database: orders environment: prod小结servers 配置的三个要点只认两件套server名称 type类型其余按数据源类型补充host/port/location等一契多源数组写法让多环境、多技术栈共享同一份契约治理成本直接减半custom 兜底34 种类型之外的自研数据源用customcustomProperties自由扩展。想继续深入从 docs/examples/README.md 的完整示例库入手用本地 JSON Schema 校验你的第一份 ODCS 契约吧 【免费下载链接】open-data-contract-standardHome of the Open Data Contract Standard (ODCS).项目地址: https://gitcode.com/gh_mirrors/op/open-data-contract-standard创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考