雪重 Python Developer 知识 汗水 灵感 机遇
2023年5月13日   linux

linux管道的奇技淫巧

Linux管道(pipe)是一种进程间通信(IPC)的机制,允许两个或多个进程将其输入和输出连接在一起。通过管道,一个进程的输出可以直接作为另一个进程的输入,这样就无需保存临时文件。这种机制使得在Linux中进行命令组合和数据流处理变得非常方便。

管道在Linux shell中使用竖线(|)表示。

常见的使用场景:

统计文本行数

cat a.txt | wc -l

查看所有python进程

ps aux | grep python

高效操作,让2变为1:

aws 跨集群拷贝文件

aws s3 cp s3://zptest/output/part-00001 - | aws s3 cp - s3://zptest/zhihu-tmp/part-00001

wget下载直接上传s3

wget http://* -O - | aws s3 cp - s3://buck1/test.txt

查看s3上文件内容

aws s3 cp s3://buck1/test.txt - | head -n 1