Hadoop慢磁盘监控
创始人
2025-05-29 02:35:59
0次

        “慢磁盘”指的时写入数据非常慢的一类磁盘。其实慢性磁盘并不少见，当机器运行时间长了，上面跑的任务多了，磁盘的读写性能自然会退化，严重时就会出现写入数据延时的问题。

        如何发现慢磁盘？

        正常在HDFS上创建一个目录，只需要不到1s的时间。如果你发现创建目录超过1分钟及以上，而且这个现象并不是每次都有。只是偶尔慢了一下，就很有可能存在慢磁盘。

可以采用如下方法找出是哪块磁盘慢：

1）通过心跳未联系时间。

一般出现慢磁盘现象，会影响到DataNode与NameNode之间的心跳。正常情况心跳时间间隔是3s。超过3s说明有异常。

 

2）fio命令，测试磁盘的读写性能

（1）顺序读测试

sudo yum install -y fio
sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r

 

结果显示，磁盘的总体顺序读速度为180MiB/s。

（2）顺序写测试

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w

 

结果显示，磁盘的总体顺序写速度为145MiB/s。

（3）随机写测试

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw

 

结果显示，磁盘的总体随机写速度为135MiB/s。

（4）混合随机读写：

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop

 

结果显示，磁盘的总体混合随机读写，读速度为116MiB/s，写速度45.5MiB/s。

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：数据库存储与索引技术（二） 分布式数据库基石——LSM树

下一篇：nodejs篇 express(1)

相关内容

热门资讯

财经大V走进广州，感受新质生产... 5月27日，由广州市自媒体协会主办的第四届湾区自媒体创新发展大会在广州鸣泉居酒店圆满举行。在互联网快...
华谊兄弟：从影视巨头到断臂求生... 近日，华谊兄弟董事长王忠军油画作品流拍事件引发市场热议——这幅曾以368万元高价成交的作品，如今30...
springcloud学习总结 springcloud 构建微服务项目步骤 导入依赖编写配置文件开启这个功能 @Enable...
刚刚，德勤中国官宣新CEO 德... 5月30日，德勤中国宣布，刘明华将接替曾顺福出任德勤中国首席执行官，自2025年6月1日起生效，任期...
React 执行架构流程详细-... React 执行架构流程详细----归阶段 mount 时流程（三） 目...
险资活水入市来 超1700亿元... 既有新的保险系私募证券基金管理人完成备案，也有新的保险系私募基金产品发起设立，还有险企宣布将设立私募...
石药集团：就三项潜在交易进行磋... 新京报贝壳财经讯 5月30日，石药集团在港交所公告，集团目前正与若干独立第三方就三项潜在交易进行磋商...
Spring学习（三） Spring的AOP的XML开发（重要指数五颗星*****） 一、AOP...
缓存穿透，缓存雪崩，缓存击穿 注：该文章基于黑马程序员中《黑马点评》软件的学习 视频链接 涉及视频 p40p42p4...
去年净利增五成，厦门国际银行遭... 来源：密探财经（ID：Spy Finance）刚刚，号称“中国第一家中外合资银行”的厦门国际银行被“...
石药集团：就三项潜在交易进行磋... 新京报贝壳财经讯 5月30日，石药集团在港交所公告，集团目前正与若干独立第三方就三项潜在交易进行磋商...
「开盘」A股三大股指集体低开，... A股三大股指5月30日集体低开。其中，沪指跌0.14%报3358.81点，深成指跌0.36%报100...
淘宝天猫消费者频频上当维权艰难... 文丨顾小白 编辑丨百进来源丨正经社（ID：zhengjingshe）（本文约为3100字）【正经社“...
哪吒汽车“债转股”失败，知情人... 据媒体5月29日报道，哪吒汽车上海总部外墙的“哪吒汽车”LOGO目前被拆除，一并被拆除的还有位于总部...
Struts2—Ognl 表达... 0x00 前言 补充一下Ognl表达式的相关的知识点。尽量调有用的知识点来进行记录。 Ognl&#x...
恒生指数开盘跌0.99%，恒生... 5月30日，恒生指数开盘跌0.99%，网易跌近4%领跌蓝筹，恒生科技指数跌1.26%。手回集团上市首...
昨日获资金净流入，科创板人工智... 5月30日，三大指数集体低开，科技方向震荡走低。截至发稿，上证科创板人工智能指数下跌1.69%。相关...
25. 在QWidget窗口中... 1. 说明： QML开发界面是最近才开始流行，在之前的老项目中一般都是使...
Redis高级篇 文章目录面试题库redis有哪些用法？redis单线程时代性能依然很快的原因ÿ...
STM32+Keil+新建工程... 导言： 近来开始学习嵌入式相关，谁曾想一个新建工程就给我整懵了。 以前大...