SQOOP安装(只需在master配置)

准备安装包

安装包
sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mysql-connector-java-5.1.26-bin.jar

1、上传并解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 

2、修改文件夹名字

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop-1.4.6

3、修改配置文件

# 切换到sqoop配置文件目录
cd /sqoop-1.4.6/conf
# 复制配置文件并重命名
cp sqoop-env-template.sh sqoop-env.sh

# vim sqoop-env.sh 编辑配置文件,并加入以下内容

export HADOOP_COMMON_HOME=home/sunshj/hadoop-2.7.7
export HADOOP_MAPRED_HOME=home/sunshj/hadoop-2.7.7/share/hadoop/mapreduce
export HIVE_HOME=/home/sunshj/hive-1.2.1
# 切换到bin目录
cd home/sunshj/sqoop-1.4.6/bin
# 修改配置文件,注释掉没用的内容(就是为了去掉警告信息)
vim configure-sqoop 
image-20210929125835974

在最后添加以下内容

for f in ${HADOOP_MAPRED_HOME}/*.jar;
do HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:$f;
done 

4、修改环境变量

vim .bashrc
# 将sqoop的目录加入环境变量

export SQOOP_HOME=/home/sunshj/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin

5、添加MySQL连接驱动

# 上传MySQL连接驱动到$SQOOP_HOME/lib
cp /home/sunshj/mysql-connector-java-5.1.26-bin.jar /home/sunshj/sqoop-1.4.6/lib/

6、测试

# 打印sqoop版本
sqoop version
# 测试MySQL连通性
sqoop list-databases -connect jdbc:mysql://master:3306/ -username root -password 123456

准备MySQL数据

1、登录MySQL数据库

mysql -u root -p123456;

2、创建student数据库

create database student;

3、切换数据库并导入数据

# mysql shell中执行
use student;
set names utf8;
source /student.sql;
source /score.sql;

4、import

从传统的关系型数据库导入HDFS、HIVE、HBASE......

MySQLToHDFS

编写脚本,保存为MySQLToHDFS.conf

import
--connect
jdbc:mysql://master:3306/student
--username
root
--password
123456
--table
student
--m
2
--split-by
age
--target-dir
/sqoop/data/student
--fields-terminated-by
','

执行脚本

sqoop --options-file MySQLToHDFS.conf

运行成功!

image-20210929125835974
image-20210929130002812
MySQLToHive

编写脚本,并保存为MySQLToHive.conf文件

import 
--connect
jdbc:mysql://master:3306/student
--username
root
--password
123456
--table
score
--fields-terminated-by
"\t"
--lines-terminated-by 
"\n"
--m
2
--split-by
student_id
--hive-import
--hive-overwrite
--create-hive-table
--hive-database
testsqoop
--hive-table
score

在Hive中创建testsqoop数据库

create database testsqoop;

执行脚本

sqoop --options-file MySQLToHive.conf

--direct

加上这个参数,可以在导出MySQL数据的时候,使用MySQL提供的导出工具mysqldump,加快导出速度,提高效率

需要将master上的/usr/bin/mysqldump分发至 slave1、slave2的/usr/bin目录下

scp /usr/bin/mysqldump slave1:/usr/bin/
scp /usr/bin/mysqldump slave2:/usr/bin/

5、export

HDFSToMySQL

编写脚本,并保存为HDFSToMySQL.conf

export
--connect
jdbc:mysql://master:3306/student?useUnicode=true&characterEncoding=UTF-8
--username
root
--password
123456
-m
1
--columns
id,name,age,gender,clazz
--export-dir
/sqoop/data/student/
--fields-terminated-by 
',' 
--table
student

先清空MySQL student表中的数据,不然会造成主键冲突

执行脚本

sqoop --options-file HDFSToMySQL.conf

Q.E.D.


狸猫控股集团大中华区秘书长