抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >


大数据处理技术 - sqoop 数据迁移 概述

sqoop 是 apache 旗下一款 Hadoop 和关系数据库服务器之间传送数据 的工具。

导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统;

导出数据:从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等

sqoop 数据迁移

sqoop1 与 sqoop2 架构对比

sqoop1 架构

sqoop1 架构

sqoop2 架构

sqoop2 架构

工作机制

将导入或导出命令翻译成 mapreduce 程序来实现

在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制

推荐阅读
大数据处理技术-sqoop 实战及原理 大数据处理技术-sqoop 实战及原理 Sqoop Sqoop 大数据处理技术-Hadoop集群初体验 大数据处理技术-Hadoop集群初体验 大数据处理技术-hadoop的架构模型(1.x,2.x的各种架构模型介绍) 大数据处理技术-hadoop的架构模型(1.x,2.x的各种架构模型介绍) 大数据处理技术-HDFS入门介绍 大数据处理技术-HDFS入门介绍 大数据技术概述 大数据技术概述

留言区

Are You A Robot?