百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

10分钟学会Socket通讯,学不会你打我

bigegpt 2024-09-08 11:26 9 浏览

Socket通讯是软硬件直接常用的一种通讯方式,分为TCP和UDP通讯。

在我的职业生涯中,有且仅用过一次UDP通讯。而TCP通讯系统却经常写,正好今天写了一个TCP通讯的软件。总结一下内容

软件使用C#编程原因写的,为了能够使用所有的电脑,采用了NET Framework 4.0。

启动服务端

服务端启动的时候,先写一个Task任务启动一个服务端的链接,注意服务端的ip,最好设置为0.0.0.0,这样所有的客户端都可以通过服务器ip地址链接到服务端。

Task.Factory.StartNew(() =>
{
    Socket server = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
    EndPoint point = new IPEndPoint(IPAddress.Parse(ip), port);
    server.Bind(point);
    server.Listen(1000);
    while (true)
    {
        Socket client = server.Accept();
    }
}

服务端会启动一个无限循环的while,在这个循环中,通过Accept方法不断的接收链接的客户端。

接收客户端消息

在这个循环里面可以记录一下客户端的信息,并启动另一个Task任务,去接受客户端给服务端发送的消息。

Task.Factory.StartNew(() =>
{
    while (true) {
        byte[] buffer = new byte[1024];
        if (!client.Connected) {
            break;
        }
        int cnt = 0;
        try {
            cnt = client.Receive(buffer);
            if (cnt <= 0)
            {
                Thread.Sleep(1000);
                continue;
            }
        }
        catch (Exception ex) {
            break;
        }
        //因为buffer数组是1024长度,如果实际数据长度小于1024 则会出现0x00的空白数据,需要删除,只保留有效数据
        List<byte> lstBuffer = new List<byte>();
        for (int i = buffer.Length - 1; i >= 0; i--) {
            if (buffer[i] == 0x00 && lstBuffer.Count<=0)
                continue;
            lstBuffer.Insert(0, buffer[i]);
        }
        //接收到的消息
        Business.queueReceiver.Enqueue(new Tuple<string, byte[]>(pointClient.ToString(), lstBuffer.ToArray<byte>()));
        ReceiveCount += 1;
    }
});

对于服务端来说,任何一个链接到服务端的客户端,在服务端都应该启动一个Task去实时接收客户端的消息。

而由于客户端有可能会随时关闭或者断开,所以对Receive方法加异常判断,防止因为某一次的接收消息异常造成Task任务过期关闭。

对于服务端,一旦发现客户端的消息没有接收成功,或者判断到客户端已经断开,则可以推出while循环,然后关闭Task任务,结束与客户端的链接。


业务逻辑处理

对于任何项目的Socket通讯软件,都会有相关的通信协议,对照业务相关的通信协议和上面接收的客户端信息对业务逻辑进行处理即可。

业务处理需要,如果数据量比较小,则正常处理即可。

如果业务量大,并发大,数据量大等则需要考虑粘包的问题。

为了后期方面查询问题,需要对所有接收和处理的数据做日志处理,在处理日志时,如果有redis最好,如果没有,建议日志信息写入自己定义的队列中(比如:ConcurrentQueue),不建议直接写入文件或者数据库,这样会造成数据处理的效率缓慢。

为了使业务处理的逻辑不影响正常的客户端和服务端的通讯,建议对业务处理在其他的Task任务中进行处理。这样可以保证客户端和服务端之间接收和发送的通道正常。

对客户端发送消息

对于所有链接到服务端的客户端,都应该对客户端进行记录,并在新的Task任务中,分别对服务端需要发送的信息进行发送。这样就可以保证发送消息的统一性,在一个任务中进行发送,方便数据控制。

由于客户端数量不知道,所以发送的时候,把需要发送的消息放入队列中,然后在队列有消息的时候在进行异步发送。只要发送队列中有消息,则不需要对发送任务进行暂停控制,保证消息及时有效。

Task.Factory.StartNew(() =>
{
    while (true)
    {
        try 
        {
            if (Business.queueSender.IsEmpty)
            {
                Thread.Sleep(1000);
                continue;
            }
            Business.queueSender.TryDequeue(out Tuple<string, byte[]> tuple);
            if (tuple == null)
                continue;
            Socket client = Business.dicClient[tuple.Item1];
            if (!client.Connected)
            {
                Business.dicClient.TryRemove(tuple.Item1, out Socket outSocket);
                continue;
            }
            List<byte> buffer = new List<byte>();
            client_name = tuple.Item1;
            buffer.AddRange(tuple.Item2);
            client.BeginSend(buffer.ToArray(), 0, buffer.Count, SocketFlags.None, SendCallback, new Object[] { tuple, client, buffer });
            Thread.Sleep(1);
        }catch (Exception ex) {

        }
    }
});

业务数据入库

在通讯稳定的情况下,如果没有redis缓存等,建议把需要写入数据库的数据也放入队列中,每隔一段时间进行保存。而不要实时保存,数据库的写入需要更多的IO,放到一个Task任务中进行处理,可以保证数据保存的一致性。

Task.Factory.StartNew(() =>
{
    while (true) {
        string[] tablenames = Business.dicSaveData.Keys.ToArray();
        foreach (string table in tablenames) {
            if (Business.dicSaveData[table].IsEmpty) {
                continue;
            }
            var datas= Business.GetDataFromQueue(table);
            DataTable dt = DicToTable(table, datas);
            DbAccess.BatchAdd(table, dt,DbAccess.log_connectionstring);
        }
        Thread.Sleep(30000);
    }
});

日志处理

所有的消息都需要实施显示在系统上,并供用户查询,定位问题。而在CS软件中,如果对界面控件进行操作,就要进入主线程。主线程的频繁操作或者大数据量处理、显示,会造成系统卡顿。影响整个系统的性能。

日志处理也放到一个Task任务中,并定时清空系统软件的界面显示的数据

对于日志信息,也要进行物理保存。在日志信息达到一定的数量,或者达到一段时间后,可以把日志信息保存到文本中。

Task.Factory.StartNew(() =>
{
    List<string> msgs = new List<string>();
    while (true) {
        if (Business.queueMsg.IsEmpty) {
            Thread.Sleep(1000);
            continue;
        }
        while (!Business.queueMsg.IsEmpty) {
            if (msgs.Count > 1000) {
                break;
            }
            Business.queueMsg.TryDequeue(out string msg);
            if (string.IsNullOrEmpty(msg))
                continue;
            msgs.Add(msg);
        }
        try
        {
            string file = #34;{logdir}/{DateTime.Now.ToString("yyyyMMddHH")}.txt";
            string data = string.Join("\r\n", msgs);
            using (StreamWriter writer = new StreamWriter(file, true, Encoding.Default))
            {
                writer.WriteLine(data);
            }
            msgs.Clear();
        }
        catch (Exception ex) {
            Business.AddFailLogs(#34;写日志失败,错误描述:{ex.Message}");
        }
        if (Business.queueMsg.Count > 1000) {
            Thread.Sleep(10);
            continue;
        }
        Thread.Sleep(10000);
    }
});

队列处理

在整个业务逻辑过程中,使用了大量的队列,字典等,需要在软件的界面上显示队列的数量或者字典的详细信息。

说一个碰到的问题:

刚开始写的时候,由于链接的客户端比较少,所以日志的数量比较少,很快就写入数据库了,后来随着客户端的增多,日志的数量翻倍的增加,发现问题后,查询日志竟然找不到。

后来,把日志队列的数量显示在界面上,发现所有的客户端设备上线后,竟然在内存中有5万条日志信息。处理特别缓慢。

客户端测试

在写完服务端后,需要写一个客户端进行所有的协议测试。根据协议文档,在客户端发送相关协议,并收集服务端返回的信息。

客户端测试,可以写单客户端测试,也可以写多客户端测试,通过在软件上定义多个Task任务,分别启动多个客户端进行压力测试和并发测试。

总结

在整个软件的编码过程中,碰到的问题包括

  1. 大端小端的数据处理问题
  2. 协议文档对接过程中对于字节的定义和编码问题
  3. 怎么保证服务端软件持续在线。在前期的测试中,发现有的时候服务端显示正常,但是经常不返回消息,就是因为客户端断开后,服务端的Task关闭了,造成服务端对应的客户端没有反馈。
  4. 经常需要与各种设备进行协议对接和修改验证。经常需要给设备端查看相关的协议过程,这就是日志的功劳了
  5. 使用Task作业进行异步编程,可以提高软件的使用效率,防止软件出现未响应的情况。


最后

写了这么多年的软件,写过委托处理、多线程处理、Task作业、并行编程、异步编程。

虽然技术发展的很快,业务处理的性能得到的极大的提升。但是看到现在的大数据处理,感觉还得靠提升硬件性能和网络带宽来提升性能。

说一个有趣的事情:

以前写过一个服务端软件,需要接收1000个客户端软件持续发送的大量数据。当时服务端放到了阿里云上,怎么测试都是不行。后来在登录服务器看了看,CPU一直100%。内存倒是不多。

你猜最后怎么解决的,客户把阿里云的CPU提升到128核,CPU马上降到2%。

技术解决性能问题到最后都要钞能力

相关推荐

Redis集群对比:主从复制、哨兵模式、Cluster一文看懂所有优缺点

在分布式系统中,Redis作为高性能的内存数据库,其集群方案的选择直接影响到系统的稳定性、可用性和扩展性。本文将全面对比Redis的三种主流集群方案:主从复制、哨兵模式和Cluster模式,帮助开发者...

redis的主从复制,读写分离,主从切换

当数据量变得庞大的时候,读写分离还是很有必要的。同时避免一个redis服务宕机,导致应用宕机的情况,我们启用sentinel(哨兵)服务,实现主从切换的功能。redis提供了一个master,多个sl...

# Redis 入门到精通(九)-- 主从复制(3)

#Redis入门到精通(九)--主从复制(3)##一、redis主从复制-常见问题(1)###1、伴随着redis系统的运行,master的数据量会越来越大,一旦master重启...

redis - 主从复制(Redis主从复制时序图)

1引言在上一篇文章中,我们了解了Redis两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AO...

# Redis 入门到精通(九)-- 主从复制(2)

#Redis入门到精通(九)--主从复制(2)##一、redis主从复制--数据同步阶段注意事项###1、数据同步阶段master说明1)如果master数据量巨大,数据同步阶段应...

Redis主从复制(redis主从复制主节点挂了)

介绍Redis有两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AOF文件恢复内存中的数据。不过...

深入解析 Redis 集群的主从复制实现方式

在互联网大厂的后端开发领域,Redis作为一款高性能的内存数据库,被广泛应用于缓存、消息队列等场景。而Redis集群中的主从复制机制,更是保障数据安全、实现读写分离以及提升系统性能的关键所在。今...

Redis主从架构详解(redis主从架构高可用如何实现)

Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...

抖音“四大包塘战神”:承包了全网的快乐

在抖音钓鱼垂类领域,"包塘战神"军团正掀起一场黑色幽默风暴。空军华、大表坑、李赔光、透心良四位创作者,以承包鱼塘为舞台,用连续翻车的钓鱼直播构筑起流量奇观。当钓鱼佬在抖音集体转型喜剧人...

ORACLE 11G RAC 安装-通过VM配置共享磁盘

简介:在自己的电脑上通过VM软件搭建Oracle11GRAC,通过修改VM的参数文件来实现磁盘共享!目标:搭建RAC环境实现:使用VMwareWorkstation8.0.0+ORACLE...

Linux操作系统安全配置(linux系统安全配置包括)

一、服务相关命令systemctlenable服务名#开机自启动systemctldisable服务名#禁用开机自启动systemctlstop服务名#停止服务systemctls...

关于Linux性能调优中网络I/O的一些笔记

写在前面和小伙伴分享一些Linux网络优化的笔记,内容很浅,可以用作入门博文内容结合《Linux性能优化》读书笔记整理涉及内容包括常用的优化工具(mii-tool,ethtool,ifconfig,i...

从 Sonatype Nexus Repository Manager 迁移到 Artifactory

1.Nexus1.1下载下载链接:https://help.sonatype.com/repomanager3/product-information/download/download-archiv...

Ubuntu20安装zabbix5.0企业监控系统亲测教程

前言示例主机:zabbix10.0.100.10,将安装在UbuntuServer上教程说明:因使用官方教程无法安装成功,所以本教程与官方教程有所不同安装前提:已安装UbuntuServer2...

Linux内核设计与实现—进程管理(linux内核程序设计)

进程进程就是处于执行期的程序(目标码存放在某种存储介质上)。进并不仅仅局限于一段可执行程序代码(Unix称其为代码段,textsection)。通常进程还要包含其他资源,像打开的文件,挂起的信号,...