linux编写一个程序检测磁盘的空间（基于Linux测试磁盘IO性能--dd）

逗爷 2023-06-18 05:54:55 353

linux编写一个程序检测磁盘的空间（基于Linux测试磁盘IO性能--dd）if=file：输入文件名，缺省为标准输入 of=file：输出文件名，缺省为标准输出 ibs=bytes：一次读入 bytes 个字节（即一个块大小为 bytes 个字节） obs=bytes：一次写 bytes 个字节（即一个块大小为 bytes 个字节） bs=bytes：同时设置读写块的大小为 bytes ，可代替 ibs 和 obs cbs=bytes：一次转换 bytes 个字节，即转换缓冲区大小 skip=blocks：从输入文件开头跳过 blocks 个块后再开始复制 seek=blocks：从输出文件开头跳过 blocks 个块后再开始复制。（通常只有当输出文件是磁盘或磁带时才有效） count=blocks：仅拷贝 blocks 个块，块大小等于 ibs 指定的字节数 conv=ASCII：把EBCDIC码转换为ASCIl码。 conv=ebcdic：把ASCIl码转换

概述

在磁盘测试中我们一般最关心的几个指标分别为:IOps(每秒执行的IO次数)、bw（带宽，每秒的吞吐量）、lat（每次IO操作的延迟）。

当每次IO操作的block较小时，如512bytes/4k/8k等，测试的主要是iops。

当每次IO操作的block较大时，如256k/512k/1M等，测试的主要是bw。

一、dd命令

dd是linux自带的磁盘读写工具，可用于测试顺序读写。

一般而言，磁盘读写有两种方式：BufferIO、DirectIO，DirectIO可以更好的了解纯磁盘读写的性能。

1、语法

语法格式

dd [option]

dd指令选项详解

if=file：输入文件名，缺省为标准输入 of=file：输出文件名，缺省为标准输出 ibs=bytes：一次读入 bytes 个字节（即一个块大小为 bytes 个字节） obs=bytes：一次写 bytes 个字节（即一个块大小为 bytes 个字节） bs=bytes：同时设置读写块的大小为 bytes ，可代替 ibs 和 obs cbs=bytes：一次转换 bytes 个字节，即转换缓冲区大小 skip=blocks：从输入文件开头跳过 blocks 个块后再开始复制 seek=blocks：从输出文件开头跳过 blocks 个块后再开始复制。（通常只有当输出文件是磁盘或磁带时才有效） count=blocks：仅拷贝 blocks 个块，块大小等于 ibs 指定的字节数 conv=ASCII：把EBCDIC码转换为ASCIl码。 conv=ebcdic：把ASCIl码转换为EBCDIC码。 conv=ibm：把ASCIl码转换为alternate EBCDIC码。 conv=block：把变动位转换成固定字符。 conv=ublock：把固定位转换成变动位。 conv=ucase：把字母由小写转换为大写。 conv=lcase：把字母由大写转换为小写。 conv=notrunc：不截短输出文件。 conv=swab：交换每一对输入字节。 conv=noerror：出错时不停止处理。 conv=sync：把每个输入记录的大小都调到ibs的大小（用NUL填充）。

FLAGS参数说明：

append -append mode (makes sense only for output; conv=notrunc sug-gested) direct：读写数据采用直接IO方式； directory：读写失败除非是directory； dsync：读写数据采用同步IO； sync：同上，但是针对是元数据 fullblock：堆积满block（accumulate full blocks of input ）(iflag only)； nonblock：读写数据采用非阻塞IO方式 noatime：读写数据不更新访问时间

注意：指定数字的地方若以下列字符结尾乘以相应的数字：b=512 c=1 k=1024 w=2 xm=number m，kB=1000，K=1024，MB=1000*1000，M=1024*1024，GB=1000*1000*1000，G=1024*1024*1024

2、dd测试DirectIO

iops——写测试 dd if=/dev/zero of=./a.dat bs=8k count=1M oflag=direct iops——读测试 dd if=./a.dat of=/dev/null bs=8k count=1M iflag=direct bw——写测试 dd if=/dev/zero of=./a.dat bs=1M count=8k oflag=direct bw——读测试 dd if=./a.dat of=/dev/null bs=1M count=8k iflag=direct

linux编写一个程序检测磁盘的空间（基于Linux测试磁盘IO性能--dd）(1)

3、 dd测试BufferIO

BufferIO主要出现在一些大文件读写的场景，由于使用内存做Cache所以读写性能上和DirectIO相比，通常会高很多，尤其是读，所以这个场景下我们仅关心bw即可。

用dd测试BufferIO的写时，需要增加一个conv=fdatasync，使用该参数，在完成所有读写后会调用一个sync确保数据全部刷到磁盘上（期间操作系统也有可能会主动flush），否则就是主要在测内存读写了；

另外还有一个参数是oflag=dsync，使用该参数也是走的BufferIO，但却是会在每次IO操作后都执行一个sync。

通常conv=fdatasync更符合大文件读写的场景，所以这里以其作为参数进行测试。

bw——写测试 dd if=/dev/zero of=./a.dat bs=1M count=8k conv=fdatasync bw——读测试 dd if=./a.dat of=/dev/null bs=1M count=8k

linux编写一个程序检测磁盘的空间（基于Linux测试磁盘IO性能--dd）(2)

二、 fio工具

fio是专门用于测试磁盘IO的工具，与dd相比那是要强大非常多，它可以用于测试顺序读写、随机读写、顺序混合读写、随机混合读写，并且可以调整IO并发量，在测试完成后还会生成一份测试报告，相当给力。

1、测试场景：

100%随机，100%读， 4K

fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100read_4k

100%随机，100%写， 4K

fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=rand_100write_4k

100%顺序，100%读，4K

fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100read_4k

100%顺序，100%写，4K

fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=sqe_100write_4k

100%随机，70%读，30%写 4K

fio -filename=/dev/emcpowerb -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=4k -size=1000G -numjobs=50 -runtime=180 -group_reporting -name=randrw_70read_4k

三、iozone

IOzone is a filesystem benchmark tool. The benchmark generates and measures a variety of file operations. Iozone has been ported to many machines and runs under many operating systems.

iozone是一个文件系统的benchmark工具，可以测试不同的操作系统中文件系统的读写性能。可以测试 Read write re-read re-write read backwards read strided fread fwrite random read pread mmap aio_read aio_write 等等不同的模式下的硬盘的性能。测试的时候请注意，设置的测试文件的大小一定要大过你的内存（最佳为内存的两倍大小），不然linux会给你的读写的内容进行缓存。会使数值非常不真实。

linux编写一个程序检测磁盘的空间（基于Linux测试磁盘IO性能--dd）(3)