1. 理解业务场景与数据特点在处理交通出行数据时我们经常会遇到这样的需求从海量订单记录中找出最热门的出行线路。这里有个关键点需要注意A→B和B→A应该被视为同一条线路。比如北京→上海和上海→北京本质上是同一条线路的不同方向。在实际项目中我处理过一个城市的出租车订单系统原始数据表包含以下关键字段出发地名称(departure)出发地经度(deplongitude)出发地纬度(deplatitude)目的地名称(destination)目的地经度(destlongitude)目的地纬度(destlatitude)订单状态(status)这里有个坑我踩过同一条线路可能有多个不同的经纬度组合。比如北京西站→首都机场这条线路由于定位点不同可能产生多条记录。我们需要先按线路名称聚合再对每条线路取出现次数最多的经纬度组合。2. Hive SQL高级查询技巧2.1 线路归一化处理核心思路是使用CASE WHEN语句将双向线路统一为固定格式SELECT (CASE WHEN departure destination THEN CONCAT(departure,%%%,destination) ELSE CONCAT(destination,%%%,departure) END) AS route_name, departure, deplongitude, deplatitude, destination, destlongitude, destlatitude, COUNT(*) AS num FROM createorder WHERE status success -- 只统计成功订单 GROUP BY (CASE WHEN departure destination THEN CONCAT(departure,%%%,destination) ELSE CONCAT(destination,%%%,departure) END), departure, deplongitude, deplatitude, destination, destlongitude, destlatitude这个查询做了三件事将双向线路统一命名按字母顺序拼接只筛选成功订单按线路分组计数2.2 窗口函数应用要获取每条线路出现次数最多的经纬度组合需要使用窗口函数SELECT t2.name, departure, deplongitude, deplatitude, destination, destlongitude, destlatitude, t1.num, t2.num AS total_count, ROW_NUMBER() OVER (PARTITION BY t1.name ORDER BY t1.num DESC) AS rank FROM (/* 上一步的查询结果 */) t1 RIGHT JOIN (SELECT name, COUNT(name) AS num FROM (/* 线路归一化子查询 */) GROUP BY name ORDER BY num DESC LIMIT 5) t2 ON t1.name t2.name这里有几个关键点ROW_NUMBER()为每条线路的各个经纬度组合按出现次数排名内层子查询先找出总出行次数最多的5条线路RIGHT JOIN确保即使某些线路没有经纬度信息也能保留3. Sqoop数据迁移实战3.1 MySQL表结构准备在MySQL中创建与Hive结构一致的表CREATE TABLE orderline ( departure VARCHAR(255), deplongitude VARCHAR(255), deplatitude VARCHAR(255), destination VARCHAR(255), destlongitude VARCHAR(255), destlatitude VARCHAR(255), num INT );注意点字段类型要与Hive表对应字符集建议使用utf8mb4以支持完整Unicode根据数据量考虑是否添加索引3.2 Sqoop导出命令详解完整的Sqoop导出命令如下sqoop export \ --connect jdbc:mysql://127.0.0.1:3306/trafficdata \ --username root \ --password 123123 \ --export-dir /opt/hive/warehouse/trafficdata.db/orderline \ --table orderline \ --fields-terminated-by \t \ --input-null-string \\N \ --input-null-non-string \\N关键参数说明--export-dir指定HDFS上Hive表数据存储路径--fields-terminated-by必须与Hive表定义的分隔符一致--input-null-string处理字符串类型的NULL值--input-null-non-string处理非字符串类型的NULL值我在实际使用中发现几个常见问题分隔符不匹配会导致数据错位NULL值处理不当会导致导出失败网络不稳定时可能需要重试3.3 性能优化技巧对于大数据量导出可以调整以下参数--batch \ --num-mappers 8 \ --staging-table orderline_staging \ --clear-staging-table优化原理--batch启用批处理模式减少数据库往返--num-mappers增加并行度根据集群资源调整--staging-table使用临时表确保原子性4. 完整解决方案与异常处理4.1 端到端实现流程启动Hadoop和Hive服务在Hive中创建中间表和目标表执行复杂查询统计热门线路在MySQL中创建对应表结构使用Sqoop导出数据验证数据一致性4.2 常见错误排查问题1Sqoop连接MySQL失败检查MySQL服务是否运行确认用户名密码正确检查网络连通性确认MySQL用户有远程访问权限问题2导出数据乱码确保Hive和MySQL使用相同字符集在Sqoop命令中添加--driver com.mysql.jdbc.Driver检查MySQL连接URL是否包含?useUnicodetruecharacterEncodingutf-8问题3字段类型不匹配对比Hive和MySQL表结构特别注意时间戳和DECIMAL类型可以使用--map-column-java参数进行类型映射4.3 数据一致性验证导出完成后建议执行以下检查-- 检查记录数是否一致 SELECT COUNT(*) FROM orderline; -- 检查前几条数据是否一致 SELECT * FROM orderline LIMIT 5; -- 检查聚合结果是否一致 SELECT SUM(num) FROM orderline;对于大型数据集可以抽样检查数据一致性。我在项目中通常会编写自动化校验脚本对比Hive和MySQL中的关键指标。