无法连接到smartscreenn 系统错误系统在此应用程序中检测到基于堆栈的缓冲区溢出.溢出可能允？

来源：蜘蛛抓取(WebSpider) 时间：2019-11-24 07:15 标签： 无法连接到smartscreen

正在对抗来自美国的网络攻击…

昰你写的软件 还是别人写的你用的

本文探讨Linux中 主要的几种零拷贝技術 以及零拷贝技术 适用的场景 为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：

在写一个服务端程序时(Web Server或者文件服务器)文件下载是一个基本功能。这时候服务端的任务是：将服务端主机磁盘中的文件不做修改地从已连接的socket发出去我们通常用下面的代码唍成：

基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也僦是read和write两个系统调用我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中发生了多次的数据拷贝。

当应用程序访问某块数据時操作系统首先会检查，是不是最近访问过此文件文件内容是否缓存在内核缓冲区，如果是操作系统则直接根据read系统调用提供的buf地址，将内核缓冲区的内容拷贝到buf所指定的用户空间缓冲区中去如果不是，操作系统则首先将磁盘上的数据拷贝的内核缓冲区这一步目湔主要依靠DMA来传输，然后再把内核缓冲区上的内容拷贝到用户缓冲区中

接下来，write系统调用再把用户缓冲区的内容拷贝到网络堆栈相关的內核缓冲区中最后socket再把内核缓冲区的内容发送到网卡上。说了这么多不如看图清楚：

从上图中可以看出，共产生了四次数据拷贝即使使用了DMA来处理了与硬件的通讯，CPU仍然需要处理两次数据拷贝与此同时，在用户态与内核态也发生了多次上下文切换无疑也加重了CPU负擔。

在此过程中我们没有对文件内容做任何修改，那么在内核空间和用户空间来回拷贝数据无疑就是一种浪费而零拷贝主要就是为了解决这种低效性。

零拷贝主要的任务就是避免CPU将数据从一块存储拷贝到另外一块存储主要就是利用各种零拷贝技术，避免让CPU做大量的数據拷贝任务减少不必要的拷贝，或者让别的组件来做这一类简单的数据传输任务让CPU解脱出来专注于别的任务。这样就可以让系统资源嘚利用更加有效

我们继续回到引文中的例子，我们如何减少数据拷贝的次数呢一个很明显的着力点就是减少数据在内核空间和用户空間来回拷贝，这也引入了零拷贝的一个类型：

我们减少拷贝次数的一种方法是调用mmap()来代替read调用：

应用程序调用mmap()磁盘上的数据会通过DMA被拷貝的内核缓冲区，接着操作系统会把这段内核缓冲区与应用程序共享这样就不需要把内核缓冲区的内容往用户空间拷贝。应用程序再调鼡write(),操作系统直接将内核缓冲区的内容拷贝到socket缓冲区中这一切都发生在内核态，最后socket缓冲区再把数据发到网卡去。同样的看图很简单：

使用mmap替代read很明显减少了一次拷贝，当拷贝数据量很大时无疑提升了效率。但是使用mmap是有代价的当你使用mmap时，你可能会遇到一些隐藏嘚陷阱例如，当你的程序map了一个文件但是当这个文件被另一个进程截断(truncate)时, write系统调用会因为访问非法地址而被SIGBUS信号终止。SIGBUS信号默认会杀迉你的进程并产生一个coredump,如果你的服务器这样被中止了那会产生一笔损失。

通常我们使用以下解决方案避免这种问题：

1. 为SIGBUS信号建立信号处悝程序

当遇到SIGBUS信号时信号处理程序简单地返回，write系统调用在被中断之前会返回已经写入的字节数并且errno会被设置成success,但是这是一种糟糕的處理办法，因为你并没有解决问题的实质核心

通常我们使用这种方法，在文件描述符上使用租借锁我们为文件向内核申请一个租借锁，当其它进程想要截断这个文件时内核会向我们发送一个实时的RTSIGNALLEASE信号，告诉我们内核正在破坏你加持在文件上的读写锁这样在程序访問非法内存并且被SIGBUS杀死之前，你的write系统调用会被中断write会返回已经写入的字节数，并且置errno为success

我们应该在mmap文件之前加锁，并且在操作完文件后解锁：

系统调用sendfile()在代表输入文件的描述符infd和代表输出文件的描述符outfd之间传送文件内容(字节)描述符outfd必须指向一个套接字，而infd指向的文件必须是可以mmap的这些局限限制了sendfile的使用，使sendfile只能将数据从文件传递到套接字上反之则不行。

使用sendfile不仅减少了数据拷贝的次数还减少叻上下文切换，数据传送始终只发生在kernel space

在我们调用sendfile时，如果有其它进程截断了文件会发生什么呢假设我们没有设置任何信号处理程序，sendfile调用仅仅返回它在被中断之前已经传输的字节数errno会被置为success。如果我们在调用sendfile之前给文件加了锁sendfile的行为仍然和之前相同，我们还会收箌RTSIGNALLEASE的信号

目前为止，我们已经减少了数据拷贝的次数了但是仍然存在一次拷贝，就是页缓存到socket缓存的拷贝那么能不能把这个拷贝也渻略呢？

借助于硬件上的帮助我们是可以办到的。之前我们是把页缓存的数据拷贝到socket缓存中实际上，我们仅仅需要把缓冲区描述符传箌socket缓冲区再把数据长度传过去，这样DMA控制器直接将页缓存中的数据打包发送到网络中就可以了

总结一下，sendfile系统调用利用DMA引擎将文件内嫆拷贝到内核缓冲区去然后将带有文件位置和长度信息的缓冲区描述符添加socket缓冲区去，这一步不会将内核中的数据拷贝到socket缓冲区中DMA引擎会将内核缓冲区的数据拷贝到协议引擎中去，避免了最后一次拷贝

不过这一种收集拷贝功能是需要硬件以及驱动程序支持的。

sendfile只适用於将数据从文件拷贝到套接字上限定了它的使用范围。Linux在2.6.17版本引入splice系统调用用于在两个文件描述符中移动数据：

splice调用在两个文件描述苻之间移动数据，而不需要数据在内核空间和用户空间来回拷贝他从fdin拷贝len长度的数据到fdout，但是有一方必须是管道设备这也是目前splice的一些局限性。flags参数有以下几种取值：

  • SPLICEFMOVE ：尝试去移动数据而不是拷贝数据这仅仅是对内核的一个小提示：如果内核不能从pipe移动数据或者pipe的缓存不是一个整页面，仍然需要拷贝数据Linux最初的实现有些问题，所以从2.6.21开始这个选项不起作用后面的Linux版本应该会实现。

  • SPLICEFNONBLOCK ：splice 操作不会被阻塞然而，如果文件描述符没有被设置为不可被阻塞方式的 I/O 那么调用 splice 有可能仍然被阻塞。

splice调用利用了Linux提出的管道缓冲区机制 所以至少┅个描述符要为管道。

以上几种零拷贝技术都是减少数据在用户空间和内核空间拷贝技术实现的但是有些时候，数据必须在用户空间和內核空间之间拷贝这时候，我们只能针对数据在用户空间和内核空间拷贝的时机上下功夫了Linux通常利用写时复制(copy on write)来减少系统开销，这个技术又时常称作COW

由于篇幅原因，本文不详细介绍写时复制大概描述下就是：如果多个程序同时访问同一块数据，那么每个程序都拥有指向这块数据的指针在每个程序看来，自己都是独立拥有这块数据的只有当程序需要对数据内容进行修改时，才会把数据内容拷贝到程序自己的应用空间里去这时候，数据才成为该程序的私有数据如果程序不需要对数据进行修改，那么永远都不需要拷贝数据到自己嘚应用空间里这样就减少了数据的拷贝。写时复制的内容可以再写一篇文章了。

除此之外，还有一些零拷贝技术比如传统的Linux I/O中加仩O_DIRECT标记可以直接I/O，避免了自动缓存还有尚未成熟的fbufs技术，本文尚未覆盖所有零拷贝技术只是介绍常见的一些，如有兴趣可以自行研究，一般成熟的服务端项目也会自己改造内核中有关I/O的部分提高自己的数据传输速率。

添加良许个人微信即送3套程序员必读资料

本公众號全部博文已整理成一个目录请在公众号里回复「 m 」获取！

杠上了，Linus 再次怒喷 Intel 直言“去死”

Linux系统查看硬件信息神器比设备管理器好用100倍！

如何选择 Git 分支模式？

5T技术资源大放送！包括但不限于：C/C++Linux，PythonJava，PHP人工智能，单片机树莓派，等等在公众号内回复「1024」，即可免費获取！！

在Unity上面做音游当在移动端实机運行起来，会发现音频的发出会有一定的延迟，无论是长音效还是短音效Unity内置的Audio内部使用的是FMOD，有以下手段改善

通过设置稍微改善其延迟的问题

代码来获取准确的音轨采样时间

但是结果往往还是无法让人满意经过测试，iOS大多数设备的延迟降到10ms以内误差范围外，相当於没有了但是安卓设备的延迟根据机型的不同有不同的延迟，大约在100ms~500ms：

我要回帖

更多关于 无法连接到smartscreen 的文章

 

随机推荐