百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

I/O复用 - select&poll

bigegpt 2024-08-28 12:28 2 浏览

I/O复用可以让程序同时监听多个文件描述符,这对提高程序的性能是非常重要的。一般情况下,网络程序在下列情况下需要用到I/O复用技术:

  • 客户端程序同时处理多个socket
  • 客户端程序要同时处理用户输入金额网络连接
  • TCP服务器要同时处理监听socket和连接socket。设置I/O复用使用最多的场景
  • 服务器要同时处理TCP请求和UDP请求。
  • 服务器要同时监听多个端口,或者处理多种服务。

这里需要注意的是,I/O复用虽然能同时监听多个文件描述符,但它本身是阻塞的,并且当多个文件描述符同时就绪时,如果不采取额外的措施,程序就只能按顺序依次处理其中的每一个文件描述符,这使得服务器程序看起来像是串行工作的。如果要实现并发,只能使用多进程或多线程等编程手段。

Linux下实现I/O复用的系统调用主要有select、poll、epoll。




SELECT系统调用

select API

select系统调用的用途是:在一段指定时间内,监听用户感兴趣的文件描述符上的可读、可写和异常等事件。

select系统调用的原型:

#include <sys/select.h>
int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set* exceptfds,
    struct timeval* timeout);
  • nfds 参数指定被监听的文件描述符的总数。它通常被设置为select监听的所有文件描述符中的最大值加1,因为文件描述符是从0开始计数的。
  • readfds、writefds和exceptfds参数分别指向可读、可写和异常等事件对应的文件描述符集合。应用程序调用select函数时,通过这2个参数出入自己感兴趣的文件描述符。select调用返回时,内核i将修改它们来通知应用程序哪些文件描述符已经就绪。
  • fd_set结构如下:
#include <typesizes.h>
#define __FD_SETSIZE 1024

#include <sys/select.h>
typedef long int __fd_mask;

#undef	__NFDBITS
#define __NFDBITS	(8 * (int) sizeof (__fd_mask))

typedef struct
{
#ifdef __USE_XOPEN
    __fd_mask fds_bits[__FD_SETSIZE / __NFDBITS];
# define __FDS_BITS(set) ((set)->fds_bits)
#else
    __fd_mask __fds_bits[__FD_SETSIZE / __NFDBITS];
# define __FDS_BITS(set) ((set)->__fds_bits)
#endif
} fd_set;

/* Maximum number of file descriptors in `fd_set'.  */
#define	FD_SETSIZE		__FD_SETSIZE

由以上定义可见,fd_set结构体仅包含一个整型数组,该数组的每个元素的每一位(bit)标记一个文件描述符。fd_set能容纳的文件描述符数量由FD_SETSIZE指定,这就限制了select能同时处理的文件描述符的总量。

由于位操作过于繁琐,我们应该使用如下的宏访问fd_set结构体中的位:

#include <sys/select.h>
FD_ZERO(fd_set *fd_set);                /*清除fdset的所有位*/
FD_SET(int fd, fd_set *fd_set);         /*设置fdset的位fd*/
FD_CLR(int  fd, fd_set *fd_set);      /*清除fdset的位fd*/ 
int FD_ISSET(int fd, fd_set *fd_set);   /*测试fdset的位fd是否被设置*/
  • timeout参数用来设置select的超时时间。它是一个timeval结构类型的指针,采用指针参数是因为内核将修改它以告诉应用程序select等待了多久。不过我们不能完全信任select调用返回后的timeout值,因为调用失败时,timeout值是不确定的。timeval结构提定义如下:
struct timeval
{
    long tv_sec;  /*秒*/
    long yv_usec; /*微秒*/
}

由上定义可见,select给我们提供了一个微妙级别的定时方式。如果给timeout变量的tv_sec和tv_usec同时赋值0,则select将立即返回。如果给timeout传递NULL,则select将一直阻塞,直到某个文件描述符就绪。

select成功是返回就绪(可读、可写和异常)文件描述符的总数。如果在超时时间内没有任何文件描述符就绪,select将返回0,select失败时返回-1并设置errno。如果在select等待时间内,程序接收到信号,则select立即返回-1,并设置errno为EINTER。

文件描述符就绪条件

哪些情况下文件描述符可以被认为是可读、可写或者异常,对于select的使用非常关键。

在网络编程中,

下列socket可读:

  • socket内核接收缓存区中的字节数大于或等于其低水位标记SO_RCVLOWAT。此时我们可以无阻塞地读该socket,并且读操作返回的字节数大于0。
  • socket通信的对方关闭连接。此时对该socket的读操作将返回0。
  • 监听socket上有新的连接请求。
  • socket上有未处理的错误。此时我们可以使用getsockopt来读取和清除该错误。

下列socket可写:

  • socket内核发送缓存区中的可用字节数大于或等于其低水位标记SO_SNDLOWAT。此时我们可以无阻塞地写该socket,并且写操作返回的字节数大于0。
  • socket的写操作被关闭。对写操作被关闭的socket执行写操作将触发一个SIGPIPE信号。
  • socket使用非阻塞connect连接成功或者失败(超时)之后。
  • socket上有未处理的错误。此时我们可以使用getsockopt来读取和清除该错误。

网络编程中,select能处理的异常情况就一种:socket上接收到带外数据。

处理带外数据

socket上接收到普通数据和带外数据都将使select返回,下面是示例代码:

#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <assert.h>
#include <stdio.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <fcntl.h>
#include <stdlib.h>

int main(int argc, char const *argv[])
{
    if(argc <= 2){
        printf("usage: %s ip address port number\n", basename(argv[0]));
        return 1;
    }

    const char *ip = argv[1];
    int port  = atoi(argv[2]);

    int ret = 0;
    struct sockaddr_in address;
    bzero(&address, sizeof(address));
    address.sin_family = AF_INET;
    inet_pton(AF_INET, ip, &address.sin_family);
    address.sin_port = htons(port);

    int listenfd = socket(PF_INET, SOCK_STREAM, 0);
    assert(listenfd >= 0);
    ret = bind(listenfd, (struct sockaddr*)&address, sizeof(address));
    assert(ret != -1);
    ret = listen(listenfd, 5);
    assert(ret != -1);

    struct sockaddr_in client_address;
    socklen_t client_addrlength = sizeof(client_address);
    int connfd = accept(listenfd, (struct sockaddr*)&client_address, &client_addrlength);
    if(connfd < 0){
        printf("errno is %d - %s\n", errno, strerror(errno));
        close(listenfd);
    }

    char buf[1024];
    fd_set read_fds;
    fd_set exception_fds;
    FD_ZERO(&read_fds);
    FD_ZERO(&exception_fds);

    while(1){
        memset(buf, '\0', sizeof(buf));
        /*
        每次调用select前都要
        重新在read_fds和exception_fds中
        设置文件描述符,
        因为时间发生之后,文件描述符集合将被内核修改
        */
       FD_SET(connfd, &read_fds);
       FD_SET(connfd, &exception_fds);

       ret = select(connfd + 1, &read_fds, NULL, &exception_fds, NULL);
       if(ret < 0){
           printf("selection failure\n");
           break;
       }

       /*可读事件*/
       if(FD_ISSET(connfd, &read_fds)){
           ret = recv(connfd, buf, sizeof(buf)-1, 0);
           if(ret <= 0){
               break;
           }
           printf("get %d bytes of normal data: %s\n", ret, buf);
       }
       /*对于异常事件*/
       else if(FD_ISSET(connfd, &exception_fds)){
            ret = recv(connfd, buf, sizeof(buf)-1, MSG_OOB);
            if(ret <= 0){
                break;
            }
           printf("get %d bytes of oob data: %s\n", ret, buf);
       }
    }

    close(connfd);
    close(listenfd);
    return 0;
}

POLL系统调用

poll系统调用和select类似,也是指定时间内轮询一定数量的文件描述符,以测试其中是否有就绪者。poll的原型如下:

#include <poll.h>
int poll(struct pollfd* fds, nfds_t nfds, int timeout);
  • fds参数是一个pollfd结构类型的数组,它指定所有我们感兴趣的文件描述符上发生的可读、可写和异常等事件。pollfd结构体定义如下:
struct pollfd
{
    int fd;        /*文件描述符*/
    short events;  /*注册描述符*/
    short revents; /*实际发生的事件,由内核填充*/
};

其中,fd成员指定文件描述符;evencts告诉poll监听fd上的哪些事件,它是是一系列事件的按位或;revents成员则由内核修改,以通知应用程序fd上实际发生了哪些时间。

poll支持的事件类型如下表:

上表中,POLLRDNORM,POLLRDBAND,POLLWRNORM,POLLWRBAND由XOPEN规范定义。它们实际上是将POLLIN事件和POLLOUT事件分得更细致,一区别对待普通数据金额优先数据,但Linux并不完全支持它们。

通常,应用程序需要根据recv调用的返回值来区分socket上接收到的是有效数据还是对方关闭连接的请求,并作相应的处理。不过,自Linux内核2.6.17开始,GNU为poll系统调用增加了一个POLLRDHUP事件,它在socket上接收到对方关闭连接的请求之后触发,这为我们区分上述两种情况提供了一种更简单的方式,但使用POLLRDHUP事件时,我们需要在代码最开始i定义_GNU_SOURCE

  • nfds参数指定被监听事件集合fds的大小,定义如下:
typedef unsigned long int nfds_t
  • timeout参数指定poll的超时值,单位是毫秒。当timeout为-1时,poll调用永远阻塞,直到某个事件发生;当timeout为0时,poll调用将立即返回。

poll系统调用的返回值与含义与select相同。

下面是示例代码:

 1 #include<stdio.h>
  2 #include<unistd.h>
  3 #include<poll.h>
  4 
  5 int main()
  6 {
  7     struct pollfd poll_fd;
  8     poll_fd.fd=0;
  9     poll_fd.events=POLLIN;
 10 
 11     for(;;)
 12     {
 13         int ret=poll(&poll_fd,1,2000);
 14         if(ret<0)
 15         {
 16             perror("poll");
 17             continue;
 18         }
 19         if(ret==0)
 20         {
 21             printf("poll timeout!\n");
 22             continue;
 23         }
 24         if(poll_fd.revents==POLLIN)
 25         {
 26             char buf[1024];
 27             read(0,buf,sizeof(buf)-1);
 28             printf("sdin:%s",buf);
 29         }
 30     }
 31 }

相关推荐

得物可观测平台架构升级:基于GreptimeDB的全新监控体系实践

一、摘要在前端可观测分析场景中,需要实时观测并处理多地、多环境的运行情况,以保障Web应用和移动端的可用性与性能。传统方案往往依赖代理Agent→消息队列→流计算引擎→OLAP存储...

warm-flow新春版:网关直连和流程图重构

本期主要解决了网关直连和流程图重构,可以自此之后可支持各种复杂的网关混合、多网关直连使用。-新增Ruoyi-Vue-Plus优秀开源集成案例更新日志[feat]导入、导出和保存等新增json格式支持...

扣子空间体验报告

在数字化时代,智能工具的应用正不断拓展到我们工作和生活的各个角落。从任务规划到项目执行,再到任务管理,作者深入探讨了这款工具在不同场景下的表现和潜力。通过具体的应用实例,文章展示了扣子空间如何帮助用户...

spider-flow:开源的可视化方式定义爬虫方案

spider-flow简介spider-flow是一个爬虫平台,以可视化推拽方式定义爬取流程,无需代码即可实现一个爬虫服务。spider-flow特性支持css选择器、正则提取支持JSON/XML格式...

solon-flow 你好世界!

solon-flow是一个基础级的流处理引擎(可用于业务规则、决策处理、计算编排、流程审批等......)。提供有“开放式”驱动定制支持,像jdbc有mysql或pgsql等驱动,可...

新一代开源爬虫平台:SpiderFlow

SpiderFlow:新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。-精选真开源,释放新价值。概览Spider-Flow是一个开源的、面向所有用户的Web端爬虫构建平台,它使用Ja...

通过 SQL 训练机器学习模型的引擎

关注薪资待遇的同学应该知道,机器学习相关的岗位工资普遍偏高啊。同时随着各种通用机器学习框架的出现,机器学习的门槛也在逐渐降低,训练一个简单的机器学习模型变得不那么难。但是不得不承认对于一些数据相关的工...

鼠须管输入法rime for Mac

鼠须管输入法forMac是一款十分新颖的跨平台输入法软件,全名是中州韵输入法引擎,鼠须管输入法mac版不仅仅是一个输入法,而是一个输入法算法框架。Rime的基础架构十分精良,一套算法支持了拼音、...

Go语言 1.20 版本正式发布:新版详细介绍

Go1.20简介最新的Go版本1.20在Go1.19发布六个月后发布。它的大部分更改都在工具链、运行时和库的实现中。一如既往,该版本保持了Go1的兼容性承诺。我们期望几乎所...

iOS 10平台SpriteKit新特性之Tile Maps(上)

简介苹果公司在WWDC2016大会上向人们展示了一大批新的好东西。其中之一就是SpriteKitTileEditor。这款工具易于上手,而且看起来速度特别快。在本教程中,你将了解关于TileE...

程序员简历例句—范例Java、Python、C++模板

个人简介通用简介:有良好的代码风格,通过添加注释提高代码可读性,注重代码质量,研读过XXX,XXX等多个开源项目源码从而学习增强代码的健壮性与扩展性。具备良好的代码编程习惯及文档编写能力,参与多个高...

Telerik UI for iOS Q3 2015正式发布

近日,TelerikUIforiOS正式发布了Q32015。新版本新增对XCode7、Swift2.0和iOS9的支持,同时还新增了对数轴、不连续的日期时间轴等;改进TKDataPoin...

ios使用ijkplayer+nginx进行视频直播

上两节,我们讲到使用nginx和ngixn的rtmp模块搭建直播的服务器,接着我们讲解了在Android使用ijkplayer来作为我们的视频直播播放器,整个过程中,需要注意的就是ijlplayer编...

IOS技术分享|iOS快速生成开发文档(一)

前言对于开发人员而言,文档的作用不言而喻。文档不仅可以提高软件开发效率,还能便于以后的软件开发、使用和维护。本文主要讲述Objective-C快速生成开发文档工具appledoc。简介apple...

macOS下配置VS Code C++开发环境

本文介绍在苹果macOS操作系统下,配置VisualStudioCode的C/C++开发环境的过程,本环境使用Clang/LLVM编译器和调试器。一、前置条件本文默认前置条件是,您的开发设备已...