跳到主要内容

版本

v1.0.0

支持多集群管理。

支持配置集群管理员,集群管理员具备集群操作管理权限,普通用户只有查看权限。

支持HDFS ,YARN,Hive , Kafka , ZooKeeper,Flink , Spark 等常用大数据组件。

支持集群总览监控。

支持各服务组件总览监控。

支持服务启动,停止,重启等操作。

支持服务角色启动,停止,重启,删除等操作。

支持Yarn公平调度器管理。

支持主机管理,支持实时监控主机Cpu使用率,内存使用率,磁盘使用率等常用指标。

支持告警管理,支持自定义告警指标。

支持服务配置文件修改。

支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示。

支持各大数据服务Web UIs便捷访问。

支持在线查看服务角色日志。

v1.0.1

新特性

[新特性]支持集成Apache DolphinScheduler,默认已配置集成集群环境,助您快速玩转ETL调度。

[新特性]支持集成Apache StreamPark,默认已配置集成集群环境,助您快速玩转实时计算。

Bug修复

[Bug] 修复session为null出现nullpointexception问题

[Bug] 修复Hdfs部分服务角色安装超时失败的问题

[Bug] 修复主机内存获取异常问题

[Bug] 修复es部署时,elastic用户没有权限的问题

v1.0.2

新特性

[新特性]新增服务删除功能

[新特性]使用apache sshd替换原jsch实现的功能,避免因openssh版本过高导致的jsch主机链接失败问题

[新特性]新增服务安装依赖校验功能

[新特性]kafka新增低于最小isr分区个数,离线目录,未同步状态分区数指标

[新特性]kafka新增总览图表topic每秒写入message趋势图,topic每秒写入数据量趋势图,kafka borker 堆内存使用率趋势图

[新特性]新增yarn已用内存,yarn已用核数指标,nodemanager lost个数指标展示

Bug修复

[Bug]修复yarn内存使用率,yarn内核使用率指标展示异常问题

[Bug]修复yarn虚拟核数,yarn总虚拟内存展示异常的问题

v1.1.0

新特性

[新特性]新增集成Kerberos安全认证。

[新特性]新增支持YARN,HDFS,ZK,Hive,Kafka,HBase组件集成Kerberos,支持友好的开启和关闭集成Kerberos。

[新特性]新增机架管理功能。

[新特性]服务安装命令状态增加取消状态。

[新特性]新增租户管理功能,便于创建操作系统用户和用户组。

[新特性]新增指定用户启动功能,例如Hdfs将使用hdfs用户启动管理。

[新特性]新增Worker停止时,同时停止Node Exporter。

Bug修复

[Bug]修复Hive部署安装时,数据库没有初始化的问题

v1.1.1

新特性:

1、Worker在执行服务操作指令时产生的日志将按照服务分类写入不同的日志文件中,便于查询服务在安装或启动停止过程中产生的日志。

2、告警配置增加触发时长配置,便于适配需要连续检测一段时间才能确定告警的场景。

3、更新ZooKeeper服务状态检测机制,取消Jps方式获取ZooKeeper进程pid。

4、删除主机时,同步删除在Prometheus上的主机配置信息。

5、Kafka新增replica.lag.time.max.ms 和num.replica.fetchers配置,便于在Kafka集群负载高的情况下,调优副本同步策略。

Bug修复:

1、修复Kafka通过脚本创建Topic出现端口冲突的问题。

2、修复个别情况下配置不更新问题。

3、修复某些情况下安装包目录所属用户权限没有更新的问题。

4、修复某些情况下Prometheus安装不成功,prometheus.yml缺少采集时间配置的问题。

5、修复Flink高可用配置不生效的问题。

6、修复集群编辑出错的问题。

7、修复总览监控页面master堆内存使用率指标为空的问题。

8、修复Doris部署时,创建Doris BE目录出现分号字符的问题。

v1.1.2

新特性:

1、主机管理新增启动主机服务、停止Worker、重新分发Worker功能。

2、告警管理新增停用指标功能。

3、租户管理中租户信息按照集群进行隔离。

4、HDFS在开启Kerberos后自动更新HDFS Web Ui。

5、告警管理中告警指标新增待更新状态,在更新告警指标时,变更告警指标状态。

6、新增远程加载存储库功能。

Bug修复:

1、修复主从心跳失败时主机从主机管理列表消失的问题。

2、修复添加新主机无法添加已经删除的主机的问题。

3、修复初次添加主机时,PrometheusActor Class出现的NullPointException异常问题。

4、修复当在主节点安装服务时,无需下载安装包,避免下载覆盖导致源安装包损坏。

5、修复部分告警指标不生效的问题。

6、修复部分监控总览中展示的指标不正确问题。

v1.2.0

新特性:

1、升级spring boot版本为2.6.1。

2、新增项目启动时自动创建数据表和初始化数据功能。

3、优化doris部署监控管理,增加doris自动进行高可用集群配置功能,升级doris版本为1.2.6。

4、优化服务指令执行流程,避免出现服务指令进度卡死的情况。

5、新增datasophon-init模块,可通过脚本自动初始化集群环境。

6、优化hive默认使用hive on yarn环境配置。

7、新增集群删除功能。

8、新增多个生产上关心的监控指标,例如HDFS 整个集群的客户端连接数、NameNode 丢失的块数、DataNode RPC 被调用次数、DataNode

RPC 队列积压长度等。

Bug修复:

1、修复不选择安装的服务实例时依然生成服务指令的问题。

2、修复租户管理中租户列表分页不生效的问题。

3、修复服务角色实例警告报警状态无法恢复的问题。

4、修复租户管理租户列表和用户组列表未按集群隔离的问题。

5、修复doris安装部署时,未自动生成doris be数据目录的问题。

6、修复hdfs安装部署时出现的ileNotFoundException: /etc/security/keytab/keystore问题。

7、 修复项目启动时出现的“because it exists, maybe from xml file”错误问题