Whale支持哪些数据源BigQuery、Snowflake等主流数据仓库连接教程【免费下载链接】whale The stupidly simple CLI workspace for your data warehouse.项目地址: https://gitcode.com/gh_mirrors/wha/whaleWhale是一个轻量级的CLI优先SQL工作空间专为数据仓库设计。这个开源工具能够自动索引您数据仓库中的所有表将它们转换为纯Markdown文件使数据更容易版本控制、搜索和编辑。对于数据工程师、分析师和科学家来说Whale提供了一个简单高效的方式来管理数据仓库元数据。 Whale支持的主流数据源Whale内置支持多种主流数据仓库和数据库系统让您能够轻松连接和管理不同的数据源。以下是Whale原生支持的核心数据源1.BigQuery连接配置BigQuery是Google Cloud的完全托管数据仓库服务。Whale通过简单的配置即可连接到BigQuery项目。配置参数name- 连接名称用于在搜索中标识key_path- JSON密钥文件路径project_id- Google Cloud项目IDproject_credentials- 项目凭据替代密钥文件page_size- 数据集列表分页大小filter- 数据集过滤条件快速配置示例- name: my-bigquery type: bigquery key_path: /path/to/key.json project_id: your-project-id2.Snowflake连接教程Snowflake是流行的云数据平台Whale提供了简化的Snowflake连接配置。关键配置参数name- 连接标识名称host- 主机名不含snowflakecomputing.comusername- 连接用户名password- 连接密码catalog- 指定要提取元数据的目录配置示例- name: snowflake-prod type: snowflake host: jku301 username: admin password: secure-password catalog: PRODUCTION3.Presto数据源配置Presto是一个分布式SQL查询引擎Whale支持Presto连接并提供灵活的配置选项。Presto配置参数name- 连接名称host- 主机URI格式uri:portusername- 连接用户名password- 连接密码catalog- 指定目录多数据库连接时使用include_schemas- 仅提取指定模式的列表exclude_schemas- 排除指定模式的列表4.其他支持的数据源除了上述主流数据仓库Whale还支持PostgreSQL- 流行的开源关系数据库Redshift- Amazon的云数据仓库服务AWS Glue- AWS的数据目录服务Hive- Hadoop生态系统中的数据仓库软件Hive Metastore- Hive元数据存储Amundsen Neo4j- 数据发现平台的Neo4j后端 连接配置方法方法一使用CLI命令添加连接通过mf connections add命令可以快速添加数据源连接mf connections add \ --name presto-production \ --type presto \ --host ec2-1-2-3-4-5.us-west-2.compute.amazonaws.com:8889 \ --username admin \ --password your-password方法二手动编辑配置文件所有连接配置都存储在~/.metaframe/config/connections.yaml文件中您可以直接编辑该文件- name: bigquery-analytics type: bigquery key_path: /path/to/service-account.json project_id: analytics-project-123 - name: snowflake-data-warehouse type: snowflake host: abc123 username: data_engineer password: secure-password-here 快速开始连接数据源步骤1初始化Whale首先运行初始化命令设置基本配置wh init步骤2添加数据源连接使用交互式命令添加您的第一个数据源mf connections add系统会提示您输入连接类型、主机、凭据等信息。步骤3运行ETL提取元数据添加连接后运行ETL作业提取数据仓库元数据mf etl步骤4搜索和探索数据使用Whale搜索功能查找表和数据wh 高级配置技巧选择性索引Whale支持选择性索引您可以指定只提取特定的模式或排除某些模式- name: presto-selective type: presto host: localhost:8080 include_schemas: [analytics, reporting] exclude_schemas: [test, temp]自定义ETL脚本对于Whale不原生支持的数据源您可以创建自定义ETL脚本。参考custom-etl.md获取详细指南。团队协作配置对于团队使用Whale支持指向远程Git服务器的配置实现元数据的版本控制和协作。详细设置方法请参考getting-started-for-teams.md。 数据搜索与发现Whale的强大之处在于其搜索功能。一旦配置好数据源并运行ETL您可以通过简单的CLI命令搜索所有索引的表# 搜索包含user的表 wh user # 搜索特定模式下的表 wh analytics.users搜索结果会显示表的完整路径、描述和其他元数据信息按回车键可以打开表的Markdown文档进行编辑。 最佳实践建议定期更新元数据设置cron作业定期运行mf etl以保持元数据最新使用描述性名称为连接使用有意义的名称便于团队协作安全存储凭据避免在配置文件中硬编码敏感信息版本控制配置将connections.yaml文件纳入版本控制利用选择性索引对于大型数据仓库使用include_schemas和exclude_schemas提高效率️ 故障排除常见连接问题BigQuery连接失败检查服务账户密钥文件路径是否正确确认服务账户有足够的权限访问BigQuery项目验证项目ID是否正确Snowflake连接超时确认主机名格式正确不含snowflakecomputing.com检查网络连接和防火墙设置验证用户名和密码是否正确Presto连接错误确认主机URI格式为host:port检查Presto服务是否运行验证用户权限 扩展Whale功能Whale不仅支持数据源连接还提供了丰富的扩展功能Jinja2模板在SQL查询中使用模板引擎指标计算定义和调度基本指标计算测试版自定义UI/UX根据团队需求定制界面选择性索引控制哪些数据被索引 总结Whale作为一个轻量级的CLI优先SQL工作空间为数据仓库管理提供了简单而强大的解决方案。通过支持BigQuery、Snowflake、Presto等主流数据源Whale让数据工程师和分析师能够轻松连接、搜索和管理数据仓库元数据。无论您是个人开发者还是团队协作Whale的灵活配置和强大功能都能满足您的需求。开始使用Whale体验更高效的数据仓库工作流程核心优势总结✅ 支持多种主流数据仓库✅ 简单直观的CLI界面✅ 自动元数据索引和搜索✅ 团队协作友好✅ 可扩展的自定义功能现在就开始使用Whale提升您的数据仓库工作效率吧【免费下载链接】whale The stupidly simple CLI workspace for your data warehouse.项目地址: https://gitcode.com/gh_mirrors/wha/whale创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考