sqoop之旅1-初识与安装

Sqoop学习之旅1-初识与安装

简介

sqoop是Apache旗下一款Hadoop和关系型数据服务器之间传送数据的的工具，其核心功能主要是两点：

导入和迁入
导出和迁出

导入数据：将mysql、oracle等数据库中的数据导入到Hadoop的HDFS、HIVE、HBASE等数据存储系统中

导出数据：从Hadoop的文件系统收纳柜到处数据到关系性数据库中

Sqoop本质上就是一个工具

Sqoop	Hive
迁移数据	执行计算
把sqoop的迁移命令转换成MR程序	将SQL语句转换成MR程序

下载和安装

下载sqoop

安装和配置环境变量

解压安装包

>> tar zxf sqoop-1.4.7-bin__hadoop-2.6.0
# 进入安装目录
>> pwd
# /Users/piqianchao/Downloads/sqoop-1.4.7

添加环境变量

1
2
3

sudo vim /etc/profile  # 一定要用sudo
export SQOOP_HOME=/Users/piqianchao/Downloads/sqoop-1.4.7   # 添加
export PATH=$SQOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH  # 添加到最开始部分

配置生效

1 2	source /etc/profile sqoop verion # 检验版本

安装jar包

从网上下载相应的jar包，将其拷贝到sqoop的lib目录下

1 2	tar -zxf mysql-connector-java-5.1.48.tar.gz cp mysql-connector-java-5.1.48-bin.jar /Users/piqianchao/Downloads/sqoop-1.4.7/lib