火山引擎ByteHouse推出资源隔离能力,实现稳定与效率“双保障”

栏目:资讯   来源:电商行业网    发布时间:2023-10-23 11:29阅读量:10039    首页 > 资讯 > >文章

随着技术的发展和数据库部署规模的持续扩大,资源隔离的应用场景在数据仓库中变得越来越重要。如果数据量过大,ClickHouse无法灵活控制并发,将导致查询迅速占满集群资源,造成报错。同时,由于无法给特定业务预留CPU资源,后续查询的执行时间也会大幅增加。这些问题不仅影响了业务的稳定性,也限制了查询的效率。

火山引擎ByteHouse推出资源隔离能力,实现稳定与效率“双保障”

ByteHouse是火山引擎推出的云原生数据仓库,以开源的ClickHouse为基础,经过字节跳动内部多年的优化和完善,提供了更丰富的功能和更强的性能,主要为用户带来极速的分析体验。

据了解,在字节跳动内部也存在数据量过大,ClickHouse无法满足资源隔离需求的问题。为了解决这一问题,火山引擎ByteHouse推出了Resource Group资源管理组件。

Resource Group资源管理组件的基本思路是将并发、内存、CPU等资源拆分给不同的资源组,通过资源组之间的关系调度共享资源能力。例如,当用户将查询提交给引擎时,依据规则评估是否能执行该查询,如果可以,查询将被直接执行;否则,查询将进入该资源组的等待队列,等待资源的释放。

这种方式存在以下优势:通过将并发、内存、CPU等资源拆分给不同的资源组,可以更加灵活地控制资源的分配,从而避免查询迅速占满集群资源的问题。其次,通过资源组的父子关系,可以实现不同资源组之间的资源共享,提高资源的利用率。

应用前:

应用后:

通过灵活的资源分配策略和高效的资源利用方式,ByteHouse的Resource Group能力可以提高查询的稳定性和效率,为用户提供更好的使用体验。

据介绍,上线前,用户每天的查询平均耗时在2.3s到14.1s之间,抖动剧烈,用户体验较差。而上线后,每天的查询平均耗时则在0.4s到1.7s之间,较好的保证了优先业务的查询资源,并且显著缩短了平均查询返回时间。

   免责声明:该文章系本站转载,旨在为读者提供更多信息资讯。所涉内容不构成投资、消费建议,仅供读者参考。

热点MOST POPULAR
  • 金伯利钻石再掀秋冬浪漫潮流,钻石艺术家带来“小杏福”系列
    金伯利钻石再掀秋冬浪漫潮流,钻石艺术家带
    时间来到深秋,萧瑟的秋风总是用凉意,勾起人们细腻的情感,而银杏却用璀璨的金色告诉...
  • 百年品牌英诺亮相MEC,为爱美者提供肌肤全程问题解决方案
    百年品牌英诺亮相MEC,为爱美者提供肌肤
    6月28日,由中国整合医学美容学会(香港)、MEC中国精英医美院长俱乐部共同举办...
  • BAPE GALLERY™全球巡回展览首站登陆北京
    BAPE GALLERY™全球巡回展览首
    ABATHINGAPE®旗下艺术分支BAPEGALLERY™创立于2002年,作...
  • 在游戏里,年轻人都能拥有「第一件奢侈品」
    在游戏里,年轻人都能拥有「第一件奢侈品」
    香奈儿推出首款手机游戏Chanel正在向年轻消费者靠拢,日前推出首款手机游戏「香...
  • 品牌之友演绎路易威登春夏太阳眼镜
    品牌之友演绎路易威登春夏太阳眼镜
    靓姿绰影,光芒随行。品牌代言人刘亦菲佩戴LVMoonSquare太阳眼镜置身街头...
  • 第一时尚网
    网站地图 第一时尚网 RSS订阅 联系方式
    Copyright © 2012- 第一时尚网版权所有    All Rights Reserved.
    联系:linghunposhui@163.com
    备案号:皖ICP备2023007381号