尧图建网站 尧图建网站 YAOTU WEB BUILD 免费咨询
ARTICLE DETAIL

资讯详情

深耕网站建设与建站编程的一线实战洞察。

使用 FME 工具实现 Excel/CSV 数据批量导入数据库实战教程(支持 PostgreSQL、Oracle、MySQL)

使用 FME 工具实现 Excel/CSV 数据批量导入数据库实战教程(支持 PostgreSQL、Oracle、MySQL) 前言在数据处理与 GIS 项目中我们经常需要将外部表格文件如Excel.xlsx、CSV 文本高效、无误地批量导入到数据库如PostgreSQL / PostGIS、Oracle、MySQL等中。FMEFeature Manipulation Engine是一款全球领先的空间与属性数据 ETL抽取、转换、加载工具。相比编写传统的数据导入脚本FME 具备完全可视化拖拽建模、直观的字段映射连线、支持 400 种格式无缝转换等强大优势。本文将以Excel 文件批量入库到 PostgreSQL 数据库为例详细演示从数据库连接配置、Reader 读取器设置、可视化字段映射与类型微调到最终执行转换与结果验证的完整实战流程Oracle 与 MySQL 的配置方法同理。一、配置目标数据库连接环境步骤 1打开 FME 连接管理器打开FME Data Inspector或 FME Workbench在顶部菜单栏选择【File】 ➔ 打开数据源/连接设置步骤 2选择数据库类型并添加连接信息Format格式在格式下拉列表中选择目标数据库类型本文以PostgreSQL为例若使用 Oracle 或 MySQL 直接选择对应项即可Connection数据库连接点击下拉框选择Add Database Connection...添加新的数据库连接。步骤 3填写连接参数并测试连通性在弹出的数据库连接参数窗口中依次填写Host主机地址数据库 IP 地址如本地localhost或远程服务器公网 IPPort端口PostgreSQL 默认5432Oracle 为1521MySQL 为3306Database数据库名目标数据库名称Username / Password数据库账号与密码。填写完成后点击【Test】按钮进行连通性测试。当提示Successfully connected to database.时点击 Save 保存连接二、构建 FME Workbench 数据转换流步骤 4添加源数据读取器Reader打开FME Workbench新建一个空白工作区点击上方工具栏的【Add Reader】添加读取器按钮Format选择Microsoft Excel若数据源为 CSV 文件则选择Comma Separated Value (CSV)Dataset点击右侧浏览按钮选择本地需要导入的.xlsx表格文件点击【OK】完成读取器添加。状态说明添加完成后画布上会出现源表节点。节点左侧的箭头由红变绿即代表源数据结构已成功加载解析完毕步骤 5添加目标数据库写入器Writer点击工具栏的【Add Writer】添加写入器按钮Format选择目标数据库如PostgreSQLConnection选择我们在第一步中已配置好的数据库连接名称点击【OK】画布上将自动生成目标数据表节点。三、可视化字段映射与表结构定制步骤 6拉线建立字段映射关系在 FME Workbench 画布中直接通过鼠标拖拽连线的方式将左侧源表格的输出箭头连接到右侧目标数据库的输入箭头⚠️连线颜色与注意事项绿色箭头表示源字段与目标字段名称/类型完全匹配自动建立映射黄色/灰色箭头表示字段名不一致需要展开表结构手动拉线将对应字段一一关联。步骤 7自定义目标表名称与字段类型双击右侧目标表节点进入属性编辑窗口1. 修改目标数据表名称在【General】选项卡中可以自由指定入库后的表名如my_custom_table2. 自定义字段数据类型与长度切换到【User Attributes】选项卡可以为每个字段指定精准的数据库类型如varchar(100)、numeric(18,2)、text等避免自动建表类型过宽或溢出四、执行转换与数据库入库验证确认所有字段连线与属性配置无误后点击上方绿色三角【Run】运行按钮开始执行数据导入工作流转换完成后打开数据库客户端如 Navicat、DBeaver、pgAdmin 等执行SELECT * FROM 表名;即可查看已成功导入的海量数据五、总结与实战避坑技巧跨数据库通用性本套流程完全适用于Oracle、MySQL、SQL Server、PostgreSQL等任意数据库只需在添加 Reader / Writer 时选择对应的驱动格式即可文本编码建议导入 CSV 文件时若包含中文请在 Reader 参数中将编码Character Encoding显式指定为UTF-8或GBK防止入库乱码批量事务提交加速对于百万级以上的大数据量导入可以在 Writer 高级参数中调大Features Per Bulk Write如设置为 5000 或 10000可成倍提升入库吞吐性能。希望本篇 FME 入库实战教程对大家有所帮助如果在连线或参数配置过程中遇到问题欢迎在评论区留言交流探讨。
返回列表