参考链接:
- Linux网络编程 | 零拷贝 :sendfile、mmap、splice、tee_凌桓丶的博客-CSDN博客
- Linux 中的零拷贝——mmap、sendfile、splice - Dong's Blog (guodong.plus)
- Linux零拷贝技术,看完这篇文章就懂了,_Linux教程 | LinuxBoy
- 零拷贝 - syxsdhy - 博客园 (cnblogs.com)
传统文件传输的问题
在网络编程中,如果我们想要提供文件传输的功能,最简单的方法就是用read将数据从磁盘上的文件中读取出来,再将其用write写入到socket中,通过网络协议发送给客户端。
ssize_t read(int fd, void *buf, size_t count);ssize_t write(int fd, const void *buf, size_t count);
但是就是这两个简单的操作,却带来了大量的性能丢失
例如我们的服务器需要为客户端提供一个下载操作,此时的操作如下
从上图可以看出,虽然仅仅只有这两行代码,但是却在发生了四次用户态和内核态的上下文切换,以及四次数据拷贝,也就是在这个地方产生了大量不必要的损耗。
那么为什么会发生这些操作呢?
上下文切换
由于read和recv是系统调用,所以每次调用该函数我们都需要从用户态切换至内核态,等待内核完成任务后再从内核态切换回用户态。
数据拷贝
上面也说了,由于数据的读取与写入都是由系统进行的,那么我们就得将数据从用户的缓冲区中拷贝到内核,
- 第一次拷贝:将磁盘中的数据拷贝到内核的缓冲区中
- 第二次拷贝:内核将数据处理完,接着拷贝到用户缓冲区中
- 第三次拷贝:此时需要通过socket将数据发送出去,将用户缓冲区中的数据拷贝至内核中socket的缓冲区中
- 第四次拷贝:把内核中socket缓冲区的数据拷贝到网卡的缓冲区中,通过网卡将数据发送出去。
所以要想优化传输性能,就要从减少数据拷贝和用户态内核态的上下文切换下手,这也就是零拷贝技术的由来。
什么是零拷贝呢?
零拷贝的主要任务就是避免CPU将数据从一块存储中拷贝到另一块存储,主要就是利用各种技术,避免让CPU做大量的数据拷贝任务,以此减少不必要的拷贝。或者借助其他的一些组件来完成简单的数据传输任务,让CPU解脱出来专注别的任务,使得系统资源的利用更加有效。
Linux中实现零拷贝的方法主要有以下几种,下面一一对其进行介绍
- mmap
- sendfile
- splice
- tee
mmap
mmap用于申请一段内存空间,也就是我们在进程间通信中提到过的共享内存,通过将内核缓冲区的数据映射到用户空间中,两者通过共享缓冲区直接访问统一资源,此时内核与用户空间就不需要再进行任何的数据拷贝操作了
少了从内核到用户态拷贝,用户态到内核态拷贝,但多了一次内核态之间的拷贝,所以总共减少了1次拷贝。
sendfile
sendfile函数的作用是直接在两个文件描述符之间传递数据。由于整个操作完全在内核中(直接从内核缓冲区拷贝到socket缓冲区),从而避免了内核缓冲区和用户缓冲区之间的数据拷贝。
需要注意的是,in_fd必须是一个支持类似mmap函数的文件描述符,不能是socket或者管道,而out_fd必须是一个socket,由此可见sendfile是专门为了在网络上传输文件而实现的函数。
这样 DMA引擎直接利用gather操作将页缓存中数据打包发送到网络中即可,本质就是和虚拟内存映射的思路类似
但是它也存在用户程序不能对数据进行修改的问题,还需要硬件的支持
基于sendfile+DMA gather copy系统调用的零拷贝方式,整个拷贝过程会发生2次上下文切换、0次cpu拷贝、2次DMA拷贝。
splice
splice函数用于在两个文件描述符之间移动数据,而不需要数据在内核空间和用户空间中来回拷贝
需要注意的是,使用splice函数时fd_in和fd_out至少有一个是管道文件描述符,即
#include <fcntl.h>
ssize_t tee(int fd_in, int fd_out, size_t len, unsigned int flags);
splice可以在任意两个文件描述符之间传输数据(如socket到socket),但输入和输出文件描述符必须有一个是pipe。也就是说如果你需要从一个socket 传输数据到另外一个socket,是需要使用 pipe来做为中介的,等于要调用两个splice才能把数据从一个socket移到另外一个socket。所以没太找到splice的使用例子
tee
tee函数用于在两个管道文件描述符之间复制数据,并且它是直接复制,不会将数据读出,所以源文件上的数据仍可以用于后面的读操作