北京时间年12月19日,Cloudera正式发布ClouderaEnterprise6.1.0,上次发布CDH6.0是8月30日,差不多过去了3个多月的时间,参考Fayson之前的文章《ClouderaEnterprise6正式发布》。从CDH6.0到CDH6.1是一次minorversion的更新,但更新内容较多,在开始接下来的细化功能讨论前,我们先看看几项重点更新的内容:
1.组件版本:Kafka2.0,Spark2.4,HBase2.1.1,Accumulo1.9.2,SOLR7.4
2.CDH免费版限制个节点内
3.HDFS的纠删码完全支持,包括Hive,Navigator(auditing),BDR,MR,Spark
4.对象存储支持:On-prem(Ceph),Cloud(ADLSgen2)
5.Impala的多个distinct语句支持
6.Sqoop的HiveServer2与导入Parquet文件支持
7.OpenJDK支持
1
CDH6.1的新功能
1.1Hadoop各版本说明
组件
组件描述
版本
Hadoop
可靠的,可扩展的,分布式的存储和计算平台
v3.0.0
HBase
实时读写访问的可扩展的记录和表的存储
v2.1.1
Hive
具备类SQL接口和ODBC/JDBC驱动的元数据知识库连接BI应用和Hadoop
v2.1.1
Hue
遵循Apache许可协议的基于浏览器的桌面Hadoop接口
v3.9.0
Impala
遵循Apache许可协议的、针对存放在HDFS和HBase数据的实时SQL查询引擎
v3.1.0
Kafka
高度可扩展的、容错的发布订阅制消息系统
V2.0.0
Mahout
Hadoop的机器算法的库
v0.9
Yarn
Hadoop各组件资源协调
V3.0.0
Flume
收集和聚合日志和事件数据,实时流写入HDFS或HBase的分布式框架
v1.8.0
Pig
处理存放在Hadoop里的数据的高级数据流语言
v0.17.0
Solr
文本、模糊数学和分面搜索引擎
v7.4.0
Spark
支持循环数据流和内存计算的高速通用数据处理引擎
v2.4
Sqoop
为集成Hadoop和关系数据库的数据传输引擎
v1.4.7
Zookeeper
高可靠的分布式协同服务
v3.4.5
Kudu
一种新的列式存储
V1.8
1.2ApacheFlume
1.FlumeJMS支持TLS连接,包括客户端的证书身份认证。参考: