压缩的命令是什么？神奇的pv命令--直观查看压缩和解压文件时的进度
压缩的命令是什么？神奇的pv命令--直观查看压缩和解压文件时的进度为了清除zip程序的标准错误输出 将其中定向到Null设备 此时输出信息就只剩下pv的标准错误输出信息. '-' 表示zip命令压缩当前标准输入的数据.注意:如果输入数据量无法计算 并且输出是一个块设备 那么块设备的大小会用来作为输出总量 即使指定了-S --stop-at-size选项 pv也会停在该位置.利用pv打开一个文件 标准输出可以重定向到一个新文件或者/dev/null. -L 选项表示限速 控制通过pv的数据流速 便于查看进度信息. 默认显示进度信息包括: 传输的数据量 已消耗时间 数据传输速率 进度条和完成比率 预估剩余时间.利用pv打开一个数据通道 并将pv的标准输出作为zip的标准输入.
概述在处理Linux系统上的大文件时 特别是拷贝/备份/压缩这些操作 可能想要了解这些大文件的处理进度 然而在管道中工作的终端工具可能并没有提供查看进度信息的功能 此时就需要称为'pv'或者Pipe Viewer的工具监控通过管道的数据的进度信息 已消耗的时间 进度条显示的完成百分比 当前管道的吞吐量 已传输的数据量 预计完成的时间等.
简介语法：
pv [OPTION] [FILE] pv [-h|-V]
不带任何选项时 默认自带-p --progress(带进度条的完成比例) -t --timer(已消耗时间) -e --eta(预估剩余时间) -r --rate(已传输总量) -b --bytes(数据量总量)
Pipe Viewer用于监视通过管道的数据进度信息. pv使用户能够看到数据通过管道的进度 并提供例如耗时 完成比例 吞吐量 传输量和ETA等这些信息. 为了实现上述功能需要将该命令插入到两个进程之间的管道中 并佐以合适的选项. 它的标准输入经由它到达其标准输出 同时进度信息会显示在标准错误上. pv依次拷贝FILE中的数据到其标准输出( - 表示标准输入) 如果FILE未提供仅仅拷贝标准输入. 该命令行的行为与cat类似.
注意:如果输入数据量无法计算 并且输出是一个块设备 那么块设备的大小会用来作为输出总量 即使指定了-S --stop-at-size选项 pv也会停在该位置.
1、监视打开/拷贝文件进度
利用pv打开一个文件 标准输出可以重定向到一个新文件或者/dev/null. -L 选项表示限速 控制通过pv的数据流速 便于查看进度信息. 默认显示进度信息包括: 传输的数据量 已消耗时间 数据传输速率 进度条和完成比率 预估剩余时间.
2、监视压缩文件进度利用pv打开一个数据通道 并将pv的标准输出作为zip的标准输入.
'-' 表示zip命令压缩当前标准输入的数据.
为了清除zip程序的标准错误输出 将其中定向到Null设备 此时输出信息就只剩下pv的标准错误输出信息.
# pv -L 50k BTRobot_v2.2.6.zip | zip 1>/dev/null # pv -L 50k BTRobot_v2.2.6.zip |(zip 1>cups.zip 2>/dev/null)
gzip直接压缩文件和通过pv显示进度信息的执行过程比较
root@iZmfgnjkehk13uZ:/opt# gzip -c ftp_down.sh >pvtest.tar.gz root@iZmfgnjkehk13uZ:/opt# du -sb pvtest.tar.gz root@iZmfgnjkehk13uZ:/opt# pv -L 10k ftp_down.sh|gzip > pvtest.tar.gz
利用wc命令计算文件的行数/词数/字节数 wc没有进度信息的功能 通过pv来监视数据传输量就可以很容易得到当前文件的完成比例。
root@iZmfgnjkehk13uZ:/opt# pv -L 5k pvtest.tar.gz |wc
利用grep命令搜索文件内容 -n命令以整数显示数据量的完成比例 -i设置进度更新间隔时间(可以是小数) 可以很容易看出完成的比例。
root@iZmfgnjkehk13uZ:/opt# pv -n -i 0.5 -L 5k pvtest.tar.gz |grep seconds
利用grep命令搜索文件内容 -N 标记经由pv的管道流名称。
root@iZmfgnjkehk13uZ:/opt# pv -N GrepRate -i 0.1 -L 5k pvtest.tar.gz| grep seconds
tar命令中的第一个'-'写备份文件到标准输出 备份文件通过管道作为pv的标准输入 经由pv后作为标准输出写入文件down.tgz.
pv显示选项中的部分长短选项-t --timer -r --rate -b --bytes.
由于数据总量无法后去 完成比例的进度条显示就无法明确显示 同时-e --eta亦-p --propress也是无法显示.
root@iZmfgnjkehk13uZ:/opt# tar -czf - ./nginx/ | (pv -L 1000k -p --timer --rate --bytes > nginx.tar.gz)
通过-s参数指定数据总量 进度条的显示应该就会先正确. dialog只接受标准输入的数字 所以pv要使用-n参数输出数字比例 同时pv的标准错误要重定向到标准输出中 dialog才能从标准输入接收到数据. gauge是进度条类型 后续参数是描述信息 进度条高度终端比率和长度终端比例.
root@iZmfgnjkehk13uZ:/opt# tar -czf - ./nginx/ | (pv -L 10k -s 69705 -n > nginx.tgz) 2>&1 | dialog --gauge "Progress" 10 70
假设有机器A 地址128.160.171.181; 机器B 地址128.160.64.115
首先要在机器B上面制造数据 数据都处于同一个目录内 利用tar和pv拷贝/usr/lib中的所有文件到upload目录 可以通过这种方式看到进度信息.
root@iZmfgnjkehk13uZ:/opt# cd /tmp/ root@iZmfgnjkehk13uZ:/tmp# mkdir upload root@iZmfgnjkehk13uZ:/tmp# cd upload/ root@iZmfgnjkehk13uZ:/tmp/upload# tar -C /usr/lib -cf - . | pv | tar -xf -
在机器B上面发布nc命令并启动侦听端口6666 然后会发现nc开始挂起 等待连接.
在机器A开始发布命令时 机器B也可以显示进度条 显示数据的传输.
如果在机器A上面要看到进度条的完成比例 可以使用du -sb upload计算数据总量.
[root]tar -cf - upload | pv | nc -l -p 6666 1.27GB 0:00:11 [ 110MB/s] [ <=> ] [root]tar -cf - upload | pv -s $(du -sb upload | awk '{print $1}') | nc -l -p 6666 1.27GiB 0:00:25 [51.3MiB/s] [====================================>] 101%
在机器A上面通过nc命令访问机器B和指定端口并通过tar解压缩文件 可以看到此时数据开始传输并显示进度条.
[root]nc 128.160.171.181 6666 | pv | tar -xf - 1.27GB 0:00:11 [ 110MB/s] [ <=> ]
篇幅有限，关于pv的命令就演示到这了，实际上我还是比较多用来看压缩或者解压时的进度，大家也可以根据需要去做对应的参数调整。
后面会分享更多关于运维方面内容，感兴趣的朋友可以关注下！
