大数据etl工具有哪些（ETL工具主流产品有哪些）

本文目录

• ETL工具主流产品有哪些
• 大数据处理必备的十大工具！
• etl数据分析工具有哪些
• 大数据开发工具有哪些
• 大数据技术常用的数据处理方式有哪些
• 大数据常用同步工具
• 常见的大数据采集工具有哪些
• 常见的大数据分析工具有哪些

ETL工具主流产品有哪些

几种 ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica等)

四种工具的比较主要从以下几方面进行比对：

1、成本：

软件成本包括多方面,主要包括软件产品, 售前培训, 售后咨询, 技术支持等。

开源产品本身是免费的，成本主要是培训和咨询，所以成本会一直维持在一个较低水平。

商业产品本身价格很高，但是一般会提供几次免费的咨询或支持，所以采用商用软件最初成本很高，但是逐渐下降。

手工编码最初成本不高，主要是人力成本，但后期维护的工作量会越来越大。

2、易用性：

DataPipeline： 有非常容易使用的 GUI，具有丰富的可视化监控；

Kettle： GUI+Coding；

Informatica： GUI+Coding，有GUI，但是要专门的训练；

Talend：GUI+Coding，有 GUI 图形界面但是以 Eclipse 的插件方式提供；

3、技能要求：

DataPipeline：操作简单，无技术要求；

Kettle： ETL设计, SQL, 数据建模 ；

Informatica： ETL设计, SQL, 数据建模；

Talend：需要写Java；

4、底层架构：

DataPipeline：分布式，可水平扩展；

Kettle：主从结构非高可用；

Informatica：分布式；

Talend：分布式；

5、数据实时性：

DataPipeline：支持异构数据源的实时同步，速度非常快；

Kettle：不支持实时数据同步；

Informatica：支持实时，效率较低；

Talend：支持实时处理，需要购买高级版本，价格贵；

6、技术支持：

DataPipeline：本地化原厂技术支持；

Kettle：无；

Informatica：主要在美国；

Talend：主要在美国；

7、自动断点续传：

DataPipeline：支持；

Kettle：不支持；

Informatica：不支持；

Talend：不支持；

大数据处理必备的十大工具！

大数据的日益增长,给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表：

1.ApacheHive

Hive是一个建立在hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

2JaspersoftBI套件

Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。

3.1010data

1010data创立于2000年，是一个总部设在纽约的分析型云服务，旨在为华尔街的客户提供服务，甚至包括NYSEEuronext、 游戏 和电信的客户。它在设计上支持可伸缩性的大规模并行处理。它也有它自己的查询语言,支持SQL函数和广泛的查询类型，包括图和时间序列分析。这个私有云的方法减少了客户在基础设施管理和扩展方面的压力。

4.Actian

Actian之前的名字叫做IngresCorp，它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了ActianVector和ActianMatrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。

5.PentahoBusinessAnalytics

从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理。Pentaho的工具可以连接到NoSQL数据库，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一个更有趣的图形编程界面工具)有很多内置模块，你可以把它们拖放到一个图片上,然后将它们连接起来。

6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一组构建在Eclipse上的插件,它是一个更易于创建和运行Hadoop任务的专用IDE。在配置一个Hadoop工作时，Karmasphere工具将引导您完成每个步骤并显示部分结果。当出现所有数据处于同一个Hadoop集群的情况时，KarmaspehereAnalyst旨在简化筛选的过程,。

7.Cloudera

Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。Cloudera致力于成为数据管理的“重心”。

8.HPVerticaAnalyticsPlatformVersion7

HP提供了用于加载Hadoop软件发行版所需的参考硬件配置,因为它本身并没有自己的Hadoop版本。计算机行业领袖将其大数据平台架构命名为HAVEn(意为Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一个“FlexZone”，允许用户在定义数据库方案以及相关分析、报告之前 探索 大型数据集中的数据。这个版本通过使用HCatalog作为元数据存储，与Hadoop集成后为用户提供了一种 探索 HDFS数据表格视图的方法。

9.TalendOpenStudio

Talend’s工具用于协助进行数据质量、数据集成和数据管理等方面工作。Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。

10.ApacheSpark

ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。

etl数据分析工具有哪些

datax是支持分布式部署的数据传输工具，具有良好的稳定性，在大规模数据传输过程中可以提高效率和稳定性。etlcloud是一个基于Web的ETL工具，提供多种数据集成和转换功能，支持不同数据源的连接和转换操作，且运行速度快。Talend是一个功能丰富的ETL工具，具有较强的可扩展性和丰富的插件和组件库。这三款工具各具特色，可根据不同的需求进行选择。

大数据开发工具有哪些

大数据研究的出现，为企业、研究机构、政府决策提供了新的行之有效思路和手段，想要做好大数据的管理和分析，一些大数据开发工具 的使用是必不可少的，以下是大数据开发过程中常用的工具：
1. Apache Hive
Hive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。
2. Apache Spark
Apache Spark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。
3. Jaspersoft BI 套件
Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的, 许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。
4. Keen IO
Keen IO是个强大的移动应用分析工具。开发者只需要简单到一行代码， 就可以跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就可以了。
5. Mortar Data
Mortar Data是专为开发者打造的Hadoop开发平台，它用Pig和Python的组合替代了MapReduce以便开发者能简单地编写Hadoop管道（Pipeline）。
6. Placed Analytics
利用脚本语言以及API， PlacedAnalytics能够提供针对移动和网络应用的详细用户行为分析。包括， 用户使用时间和地理位置信息。 这些可以帮助开发者的应用更好地吸引广告商， 也可以帮助开发者对自己的应用进行改善。
7. Ingres Corp
它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了Actian Vector和Actian Matrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。
8. Talend Open Studio
Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。
9. Cloudera
Cloudera正在努力为开源Hadoop,提供支持，Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。 Cloudera致力于成为数据管理的“重心”。
10. Pentaho Business Analytics
Pentaho的工具可以连接到NoSQL数据库，有很多内置模块，可以把它们拖放到一个图片上, 然后将它们连接起来。
工具的熟练使用可以起到事半功倍的效果，以上仅仅是一些数据开发过程中常用的工具，对于大数据开发人员来说是需要熟练掌握的，当然，大数据开发 过程中也会需要借助一些其他的工具，这就需要大数据开发人员 具有发现和解决问题的能力，以及养成善于积累的习惯！

大数据技术常用的数据处理方式有哪些

大数据技术常用的数据处理方式，有传统的ETL工具利用多线程处理文件的方式；有写MapReduce，有利用Hive结合其自定义函数，也可以利用Spark进行数据清洗等，每种方式都有各自的使用场景。

在实际的工作中，需要根据不同的特定场景来选择数据处理方式。

1、传统的ETL方式

传统的ETL工具比如Kettle、Talend、Informatica等，可视化操作，上手比较快，但是随着数据量上升容易导致性能出问题，可优化的空间不大。

2、Mapreduce

写Mapreduce进行数据处理，需要利用java、python等语言进行开发调试，没有可视化操作界面那么方便，在性能优化方面，常见的有在做小表跟大表关联的时候，可以先把小表放到缓存中(通过调用Mapreduce的api)，另外可以通过重写Combine跟Partition的接口实现，压缩从Map到reduce中间数据处理量达到提高数据处理性能。

3、Hive

在没有出现Spark之前，Hive可谓独占鳌头，涉及离线数据的处理基本都是基于Hive来做的，Hive采用sql的方式底层基于Hadoop的Mapreduce计算框架进行数据处理，在性能优化上也不错。

4、Spark

Spark基于内存计算的准Mapreduce，在离线数据处理中，一般使用Spark sql进行数据清洗，目标文件一般是放在hdf或者nfs上，在书写sql的时候，尽量少用distinct，group by reducebykey 等之类的算子，要防止数据倾斜。

大数据常用同步工具

一、离线数据同步

DataX

阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，操作简单通常只需要两步；

创建作业的配置文件（json格式配置reader,writer）；

启动执行配置作业。

非常适合离线数据，增量数据可以使用一些编码的方式实现，

缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。

参考资料：

***隐藏网址***

***隐藏网址***

***隐藏网址***

***隐藏网址***

Sqoop

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

***隐藏网址***

Sqoop导入：导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。

Sqoop导出：导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录，这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。

Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。

Kettle

Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。

Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。

NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。

NiFi基于Web方式工作，后台在服务器上进行调度。 用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。

几个核心概念：

Nifi 的设计理念接近于基于流的编程 Flow Based Programming。

FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性

FlowFile Processor（处理器）：负责实际对数据流执行工作

Connection（连接线）：负责不同处理器之间的连接，是数据的有界缓冲区

Flow Controller（流量控制器）：管理进程使用的线程及其分配

Process Group（过程组）：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件

参考资料

Nifi简介及核心概念整理

***隐藏网址***

二、实时数据同步

实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter

canal

***隐藏网址***

数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户端订阅这些数据变更消息，处理并存储。下面我们来一起搭建一下canal服务

早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。

ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)

基于日志增量订阅&消费支持的业务：

数据库镜像

数据库实时备份

多级索引 (卖家和买家各自分库索引)

search build

业务cache刷新

价格变化等重要业务消息

otter

***隐藏网址***

otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。

另外：otter已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的同步高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。

常见的大数据采集工具有哪些

1、离线搜集工具：ETL

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集工具：Crawler, DPI等

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

常见的大数据分析工具有哪些

大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助，而大数据分析是去分析海量的数据，所以就不得不借助一些工具去分析大数据，。一般来说，数据分析工作中都是有很多层次的，这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据，数据的存储是一个非常重要的事情，如果懂得数据库技术，并且能够操作好数据库技术，这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了。
3、DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说，当企业存储了数据后，首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具;
1、Excel软件，首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作!但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件：当前版本是18，名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件：大部分人都是用PPT写报告。
2、Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件;
3、Swiff Chart软件：制作图表的软件，生成的是Flash