linux系统下find命令导致高IO使用率问题

kevinadmin

请教一下各位，碰到了下面的问题，问题已经解决了，但是不知道为什么find会产生这么高的IO使用率

一台linux机器上，定时任务执行一个find命令，每个find命令查找的目录不一样，目录里的文件在30万左右。
在执行find命令的时候，IO使用率达到了90%以上。
而我用iotop抓到的信息来看，吞吐量并不大，在2M左右

为什么吞吐量不大，IO使用率却那么高呢？

kevinadmin

find  /data/aaa/ -name tst.txt
find /data/bbb/ -name cc.txt
aaa and bbb目录各有文件30万个左右，命令同时执行，一执行IO使用率就到90%以上

具体就是这样执行  

lyhabc

IO使用率指的是什么？？？

lyhabc

多个线程去find，IO使用率当然高，并不能用吞吐量来衡量的，比如你有十亿个小文件，文件不大，即使全部查询也就2M左右
但是系统已经无法处理其他进程的IO请求了

kevinadmin

lyhabc 发表于 2016-01-20 19:57
多个线程去find，IO使用率当然高，并不能用吞吐量来衡量的，比如你有十亿个小文件，文件不大，即使全部查询 ...

IO使用率是指用iostat看到的 util值

kevinadmin

kevinadmin 发表于 2016-01-22 12:36
IO使用率是指用iostat看到的 util值

两个find命令同时执行，不是多线程。
文件量也没有达到亿级  每个find查找的目录，文件数量在30万左右

jixuuse

小文件多就是这样的，在windos下也一样

lyhabc

@kevinadmin
iostat和iotop这些第三方工具其实都一样的
不管多线程还是单线程，反正线程不够用了，cpu利用太高

kevinadmin

lyhabc 发表于 2016-01-22 14:49
@kevinadmin
iostat和iotop这些第三方工具其实都一样的
不管多线程还是单线程，反正线程不够用了，cpu利用 ...

关键是CPU利用率不高，就是IO使用率太高

kevinadmin

find 在执行查找的时候  IO这块 用的是顺序IO还是随机IO？
找了一圈都没有找到答案