不用sqoop将Hive中的30万条数据导入到了MySQL中。

Hive数据导入MySQL完整步骤记录一、环境准备1. 确认Hive数据存在bash# 查看Hive表中的数据量 hive -e SELECT COUNT(*) FROM ymx_dblab.ymx_action;结果300000条记录2. 确认MySQL表存在bash# 查看MySQL中的表 mysql -uroot -pItcast2022 -e SHOW TABLES FROM dblab_ymx;结果ymx_action表已存在二、数据导出与导入核心步骤第1步开启MySQL本地文件导入功能bash# 登录MySQL mysql -uroot -pItcast2022 # 在MySQL中执行 SET GLOBAL local_infile 1; EXIT;第2步从Hive导出数据到本地文件bash# 导出Hive数据到/tmp目录 hive -e SET hive.cli.print.headerfalse; SELECT * FROM ymx_dblab.ymx_action; 2/dev/null /tmp/hive_data.txt第3步验证导出数据量bash# 查看导出的数据行数 wc -l /tmp/hive_data.txt结果300000行第4步导入数据到MySQLbash# 使用LOAD DATA命令导入 mysql -uroot -pItcast2022 --local-infile1 dblab_ymx -e LOAD DATA LOCAL INFILE /tmp/hive_data.txt INTO TABLE ymx_action FIELDS TERMINATED BY \t LINES TERMINATED BY \n;三、验证导入结果验证1查看总记录数bashmysql -uroot -pItcast2022 -e SELECT COUNT(*) FROM dblab_ymx.ymx_action;结果300000条验证2查看前10条数据bash# 进入MySQL交互界面 mysql -uroot -pItcast2022 # 执行查询 USE dblab_ymx; SELECT * FROM ymx_action LIMIT 10; EXIT;验证3查看各行为类型分布bashmysql -uroot -pItcast2022 -e SELECT behavior_type, COUNT(*) FROM dblab_ymx.ymx_action GROUP BY behavior_type;四、完整命令汇总以下是你执行过的所有命令按顺序排列bash# 1. 查看Hive数据量 hive -e SELECT COUNT(*) FROM ymx_dblab.ymx_action; # 2. 查看MySQL表 mysql -uroot -pItcast2022 -e SHOW TABLES FROM dblab_ymx; # 3. 开启MySQL本地文件导入 mysql -uroot -pItcast2022 -e SET GLOBAL local_infile 1; # 4. 导出Hive数据 hive -e SET hive.cli.print.headerfalse; SELECT * FROM ymx_dblab.ymx_action; 2/dev/null /tmp/hive_data.txt # 5. 查看导出行数 wc -l /tmp/hive_data.txt # 6. 导入MySQL mysql -uroot -pItcast2022 --local-infile1 dblab_ymx -e LOAD DATA LOCAL INFILE /tmp/hive_data.txt INTO TABLE ymx_action FIELDS TERMINATED BY \t LINES TERMINATED BY \n; # 7. 验证总记录数 mysql -uroot -pItcast2022 -e SELECT COUNT(*) FROM dblab_ymx.ymx_action; # 8. 清理临时文件 rm -f /tmp/hive_data.txt五、遇到的问题及解决方案问题错误信息解决方案本地文件导入被禁用ERROR 3948: Loading local data is disabled执行SET GLOBAL local_infile 1;管道方式导入失败同上改用分步方式先导出文件再导入文件六、关键参数说明参数含义SET hive.cli.print.headerfalse;不打印Hive查询结果的表头2/dev/null重定向错误输出让输出更干净--local-infile1启用MySQL本地文件导入FIELDS TERMINATED BY \t字段分隔符为制表符LINES TERMINATED BY \n行分隔符为换行符七、最终状态源数据Hive表ymx_dblab.ymx_action30万条记录目标数据MySQL表dblab_ymx.ymx_action30万条记录数据一致性已验证记录数完全一致 ✅