快捷搜索:  汽车  科技

大数据框架hadoop的底层:大数据开发技术

大数据框架hadoop的底层:大数据开发技术Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品,其版本特点:HDP包括稳定版本的Apache Hadoop的所有关键组件;安装方便,HDP包括一个现代化的,直观的用户界面的安装和配置工具。3、Hortonworks发行版:有效的集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。2、Cloudera发行版:CDH是Cloudera的hadoop发行版,完全开源,比Apache hadoop在兼容性,安全性,稳

HADOOP是一个能够对大量数据进行分布式处理的软件框架。 HAdoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外Cloudera,hortonworks,mapR 华为 DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持,这对于大型企业更为重要,不同发行版都有自己的一些特点,本文就各发行版做简单对比介绍。

大数据框架hadoop的底层:大数据开发技术(1)

对比版选择:

DKhadoop发行版、cloudera发行版、hortonworks发行版、MAPR发行版、华为hadoop发行版

1、DKhadoop发行版:

有效的集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。DKhadoop将复杂的大数据集群配置简化至三种节点(主节点、管理节点、计算节点),极大的简化了集群的管理运维,增强了集群的高可用性、高可维护性、高稳定性。

大数据框架hadoop的底层:大数据开发技术(2)

2、Cloudera发行版:

CDH是Cloudera的hadoop发行版,完全开源,比Apache hadoop在兼容性,安全性,稳定性上有增强。

大数据框架hadoop的底层:大数据开发技术(3)

3、Hortonworks发行版:

Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品,其版本特点:HDP包括稳定版本的Apache Hadoop的所有关键组件;安装方便,HDP包括一个现代化的,直观的用户界面的安装和配置工具。

大数据框架hadoop的底层:大数据开发技术(4)

4、MAPR发行版:

mapR有免费和商业两个版本,免费版本在功能上有所减少。

大数据框架hadoop的底层:大数据开发技术(5)

5、华为hadoop发行版:

华为的hadoop版本基于自研的Hadoop HA平台,构建NameNode、JobTracker、HiveServer的HA功能,进程故障后系统自动Failover,无需人工干预,这个也是对hadoop的小修补,远不如mapR解决的彻底。

大数据框架hadoop的底层:大数据开发技术(6)

猜您喜欢: