Ambari-和CDH的区别
更新时间 2021-09-08 17:59:22    浏览 0   

TIP

本文主要是介绍 Ambari-和CDH的区别 。

# CDH 和ambari之间的比较

# 1 什么是CDH

Ambari是Apache软件基金顶级项目,它是一个基于web的工具,用于安装、配置、管理和监视Apache Hadoop集群,支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘,比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力,以友好的用户界面对它们的性能特性进行诊断。

Cloudera Manager是cloudera公司的一个产品,着重于帮助大家管理自己的CDH集群,通过Cloudera Manager统一的UI界面来快速地自动配置和部署CDH和其相关组件,同时Cloudera Manager还提供了各种丰富的可自定义化的监视诊断和报告功能,集群上统一的日志管理功能,统一的集群配置管理和实时配置变更功能,多租户功能,高可用容灾部署功能和自动恢复功能等, 方便企业统一管理和维护自己的数据中心。Cloudera Manager产品也是我们主要的安装内容和介绍对象。它细分为免费的Express版本和功能完全并提供众多增值服务的收费版本Enterprise

# CDH简介

  • Cloudera's Distribution, including Apache Hadoop
  • 是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建
  • 提供了Hadoop的核心     – 可扩展存储     – 分布式计算
  • 基于Web的用户界面
wxmp

# CDH的优点

  • 版本划分清晰
  • 版本更新速度快
  • 支持Kerberos安全认证
  • 文档清晰
  • 支持多种安装方式(Cloudera Manager方式

# 2 为什么需要他们

  • 1000台服务器 (opens new window)的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等

  • 只给你一天时间,完成以上工作?

  • 对于以上集群进行hadoop版本升级 (opens new window),你会选择什么升级方案,最少要花费多长时间?

  • 新版本的Hadoop,与Hive、Hbase、Flume、Kafka、Spark等等兼容?

大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)

手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。

工具部署呢,比如Ambari或Cloudera Manger。(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具来,可以说是一键操作,难点都在工具Ambari或Cloudera Manger本身部署上。

手工方式 工具方式

难易度        难,几乎不可能成功              简单,易行

兼容性        自己解决组件兼容性问题            自动安装兼容组件

组件支持数      支持全部组件                 支持常用组件

优点         对组件和集群管理深刻             简单、容易、可行

缺点         太复杂,不可能成功              屏蔽太多细节,妨碍对组件理解

# 3、CDH和 ambari 区别

# 基础比较

工具名        所属机构      开源性        社区支持性      易用性、稳定性      市场占有率

Cloudera Manger Cloudera      商用          不支持        易用、稳定         高

Ambari      Hortonwork      开源          支持         较易用、较稳定       较高

# 出版商:

  • hortonworks研发了Ambari和hdp的大数据分析集成平台
  • cloudera研发了cloudera manger和cdh大数据分析集成平台

# 稳定性:

  • cloudera相对来说比较稳定
  • ambari相对来说不稳定(页面打开速度慢)

# 资源消耗:

  • cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor总共大概1G
  • ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G

# 集群重启:

  • cloudera支持滚动重启(hdfs需要设计成ha,才能滚动重启)
  • ambari支持滚动重启(hdfs需要设计成ha,才能滚动重启)

# 集群升级(一般来讲不要轻易升级集群):

  • cloudera不支持滚动升级服务
  • ambari支持滚动升级服务(这个是ambari的优点,hdfs必须是ha)

# 二次开发:

  • cloudera不支持
  • ambari支持

# 服务版本:

  • cloudera较老
  • ambari较新

# 服务集成性:

  • cloudera较弱
  • ambari较强,支持es、redis、presto、kylin等

# 体验效果:

  • cloudera好
  • ambari相对差

# 安装过程:

  • cloudera复杂
  • ambari简单

# 邮件报警:

  • cloudera支持不好
  • ambari支持很好

# 安装包:

  • cloudera是parcel包
  • ambari是rpm包

# 总结:

不要轻易升级组件版本

如果对集成性要求高,稳定性相对弱点的,可以选择ambari

如果对稳定性要求高,集成性相对弱点的,可以选择cloudera

打算对新建的hadoop集群使用管理工具,列了以下主要的不同点:

主要的不同点 apache Ambari (opens new window) ClouderaManager Express(免费版)
配置版本控制和历史记录 支持 不支持
二次开发 支持 不支持
集成 支持 no (不支持redis、kylin、es)
维护 依靠社区力量 cloudera做了一些定制开发,自行维护或打patch会离社区越来越远
权限控制 ranger(相对简单) sentry(复杂)
视图定制 支持创建自己的视图,添加自定义服务 不支持

新建的集群综合需要集成es、kylin等技术,以及维护和二次开发等支持,决定使用Ambari

另外,目前 Ambari 和 CDH 两家公司已经合并。后续的选择不用纠结了。

# 两者之间如何选择?

1、如果对【集成性要求高】,稳定性相对弱点的,可以选择 ambari

2、如果对【稳定性要求高】,集成性相对弱点的,可以选择 cloudera

# 参考文章

  • https://blog.csdn.net/matrix_google/article/details/86648067
更新时间: 2021-09-08 17:59:22
  0
手机看
公众号
讨论
左栏
全屏
上一篇
下一篇
扫一扫 手机阅读
可分享给好友和朋友圈