栏目分类

热点资讯

新闻

你的位置:开云·kaiyun体育(中国)官方网站 登录入口 > 新闻 > 开云·kaiyun体育总体性能晋升 10%-开云·kaiyun体育(中国)官方网站 登录入口

开云·kaiyun体育总体性能晋升 10%-开云·kaiyun体育(中国)官方网站 登录入口

发布日期:2026-08-02 20:09    点击次数:198

开云·kaiyun体育总体性能晋升 10%-开云·kaiyun体育(中国)官方网站 登录入口

针对 HDFS 读取延时不褂讪的问题开云·kaiyun体育,小米遴荐了如下两方面花式:

1. HDFS 快速超时与重试

HDFS 在读取数据时,会运用多副本机制,当一个副本的读取时分跳跃阈值后,会切换到另一个副本尝试读取。超市阈值由参数 dfs.client.socket-timeout 落拓,默许是 60 秒。这导致初度读取的超庸碌间过长,在 HDFS 抖动或负载较高的情况下,会导致查询蔓延显赫加多。咱们通过将该阈值裁减到 100 毫秒,让读取情况进行快速的超时重试,显赫裁减了查询长尾,P99 性能晋升 1 倍,总体性能晋升 10%。

2. Doris 数据缓存

针对高并发查询场景,单纯的裁减 HDFS 的重试超庸碌间,无法澈底的贬责 HDFS 查询蔓延高的问题。因此,咱们运用 Doris 的数据缓存才气,将热门数据缓存在土产货高速磁盘上,完好意思贬责了高并发场景的查询蔓延问题。在开启缓存的情况下,从 5 并发到 80 并发,查询蔓延不错裁减 25% 到 300%。 同期,获利于数据剪枝才气、高性能的算子,Doris 的举座查询并发才气是 Presto 的 5 倍。

发布于:湖南省

Powered by 开云·kaiyun体育(中国)官方网站 登录入口 @2013-2022 RSS地图 HTML地图