百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

C# 并发初探 之 工具优化

bigegpt 2024-09-08 11:26 31 浏览

0. 前言

不知道有没有动手能力强的小伙伴照着上一篇的内容写过程序呢?如果有的话,应该会在使用的时候发现以下几个问题:

  1. 每次启动都需要经过漫长的时间去遍历磁盘里的文件目录
  2. 因为数据是用的字典保存的,所以会消耗大量的内存空间
  3. 不能多次查询

现在我们就针对这些问题,让我们的小工具实用起来。


1. 分析与实现

在动手之前,我们先分析一下问题。在实际开发之前,无论是接到什么需求都要先仔细分析一下,确定好方案再动手方为开发的正道。嗯,没毛病。因为开发过程中跟产品对线、跟客户对线要占整个项目的一半左右时间。好了,不废话了。继续:

遍历文件目录的时间过长,那么我们是不是可以用异步并发去遍历呢?

数据用字典保存会消耗内存空间,那么我们是不是可以用其他的方式保存呢?

不能多次查询,是不是可以使用循环,然后设置一个退出条件?



1.1 C#的异步/并发实现

在C#里,异步和并发的实现是依据线程、任务来实现的。在之前《C# 基础知识系列- 12 任务和多线程》里大概介绍了一下线程和任务,我们知道线程本身是没法返回数据的,它与主线程进行数据交互的过程十分需要注意线程安全。而任务可以返回数据,不需要像线程一样小心翼翼地与主线程进行数据交互。任务有一个优点,它比线程更轻量,所以在当前环境下我们可以试试任务。

当然,线程也有优点,那就是线程的运行环境相对更封闭一点,它能完成一个长的大型运算。

那么继续上一篇的内容,先引用 :

using System.Threading.Tasks;

先提取一组根据可枚举目录集合创建任务组并取得结果的方法:

public static Dictionary<string,List<string>> OverDirectories(IEnumerable<DirectoryInfo> directories)
{
    var tasks = directories.Select(dir => Task.Run(()=>OverDirectories(dir))).ToArray();
    Task.WaitAll(tasks);// 这行的意思是等待所有任务完成
    return Concat(tasks.Select(t=>t.Result).ToArray());
}

然后改造原有的OverDirectories方法:

public static Dictionary<string,List<string>> OverDirectories(DirectoryInfo rootDirectory)
{
    Console.WriteLine(#34;正在遍历目录:{rootDirectory.FullName}");
    var dict = new Dictionary<string, List<string>>();
    IEnumerable<FileInfo> files = new List<FileInfo>();
    try
    {
        files = rootDirectory.EnumerateFiles();
    }
    catch(Exception e)
    {
        Console.WriteLine(#34;错误信息:{e}");//打印错误信息
    }

    foreach(var file in files)
    {
        var key = Path.GetFileNameWithoutExtension(file.Name);
        if(!dict.ContainsKey(key))
        {
            dict[key] = new List<string>();
        }
        dict[key].Add(file.FullName);
    }
    try
    {
        var dirs = rootDirectory.EnumerateDirectories();
        return Concat(dict, OverDirectories(dirs));// 采用线程版的方法进行遍历
    }
    catch (System.Exception e)
    {
        Console.WriteLine(#34;错误信息:{e}");//打印错误信息
    }
    return dict;
}



1.2 数据复用

理想状态下,我们的数据应该是保存在数据库的,但因为数据库的操作是在下一系列的教程中,所以目前只能舍弃这个设想。

那么,利用现有方式,我们可以使用文件作为缓存的方式,也就是说把数据保存在文件里,在需要的时候从文件中读取出来。这时候就需要一组操作文件的方法。

首先,声明一个静态变量:

public static readonly string TempFile = "temp.txt";

然后编写读取、存放数据的方法:

public static void WriteLinesToTemp(List<string> lines)
{
    File.AppendAllLines(TempFile, lines);
}

public static List<string> Search(string file)
{
    var lines = File.ReadLines(file);
    var results = lines.Where(line=>Path.GetFileNameWithoutExtension(line).Contains(file));
    return results.ToList();
}

这时候在文件中存放的都是路径文件,所以需要重新修改遍历文件路径的方法,只保留路径:

public static List<string> OverDirectories(DirectoryInfo rootDirectory)
{
    Console.WriteLine(#34;正在遍历目录:{rootDirectory.FullName}");
    List<string> files = new List<string>();
    try
    {    
        files.AddRange(rootDirectory.GetFiles().Select(f=>f.FullName).ToList());
        Console.WriteLine(#34;在目录:{rootDirectory.FullName} 下 找到 文件:{files.Count} 个");
    }
    catch(Exception e)
    {
        Console.WriteLine(#34;加载目录:{rootDirectory.FullName} 中\t错误信息:{e}");//打印错误信息
    }
    try
    {
        var dirs = rootDirectory.GetDirectories();
        OverDirectories(dirs);
    }
    catch (System.Exception e)
    {
        Console.WriteLine(#34;在下探目录{rootDirectory.FullName}时发生错误:{e}");
    }
    return files;
}

public static void OverDirectories(IEnumerable<DirectoryInfo> directories)
{
    var tasks =new List<Task<List<string>>>( directories.Select(dir => Task.Run(()=>OverDirectories(dir))));
    while(tasks.Any())
    {
        var completeds = tasks.Where(t=>t.IsCompleted).ToList(); // 提取所有已完成的任务
        foreach(var t in completeds)
        {
            WriteLinesToTemp(t.Result);// 保存文件列表
            tasks.Remove(t);//移除已处理的任务
        }
    }
}

最后修改主方法,设置启动时遍历路径的规则:

static void Main(string[] args)
{
    if(!File.Exists(TempFile))// 缓存文件存在,则认为上次已经遍历成功了
    {
        var drivers = GetDrivers();
        OverDirectories(drivers);
    }

    Console.WriteLine("请输入要查询的文件名:");
    var search = Console.ReadLine().Trim();

}

1.3 循环使用并设置退出条件

设置用户输入q或Q的时候退出程序,这时候就需要改造Main方法了:

static void Main(string[] args)
{
    Console.WriteLine("文件查询小工具启动了……");
    if(!File.Exists(TempFile))
    {
        Console.WriteLine("尚未加载缓存记录,数据加载中……");
        var drivers = GetDrivers();
        OverDirectories(drivers);
        Console.WriteLine("数据加载完成");
        Thread.Sleep(500);
        Console.Clear();// 清除控制台
    }
    while(true)
    {
        Console.WriteLine("请输入要查询的文件名(输入q/Q 退出):");
        var search = Console.ReadLine().Trim();// 去除多余的空白字符
        if(search == "q" || search == "Q")//添加退出条件
        {
            break;
        }
        Console.WriteLine("查询中……");
        var results = Search(search);
        Console.WriteLine("查询结果:");
        foreach(var r in results)
        {
            Console.WriteLine(r);
        }
    }
    Console.WriteLine("程序已退出!");
}

在main 方法里加了很多提示语句,以方便使用。


2. 总结

以上是第一次实战课的所有内容。欢迎各位小伙伴们踊跃讨论。这个小工具并不完善,但是随着我们对.net core的了解和深入就会写的得心应手了。

更多内容烦请关注我的博客《高先生小屋》

相关推荐

Redis集群对比:主从复制、哨兵模式、Cluster一文看懂所有优缺点

在分布式系统中,Redis作为高性能的内存数据库,其集群方案的选择直接影响到系统的稳定性、可用性和扩展性。本文将全面对比Redis的三种主流集群方案:主从复制、哨兵模式和Cluster模式,帮助开发者...

redis的主从复制,读写分离,主从切换

当数据量变得庞大的时候,读写分离还是很有必要的。同时避免一个redis服务宕机,导致应用宕机的情况,我们启用sentinel(哨兵)服务,实现主从切换的功能。redis提供了一个master,多个sl...

# Redis 入门到精通(九)-- 主从复制(3)

#Redis入门到精通(九)--主从复制(3)##一、redis主从复制-常见问题(1)###1、伴随着redis系统的运行,master的数据量会越来越大,一旦master重启...

redis - 主从复制(Redis主从复制时序图)

1引言在上一篇文章中,我们了解了Redis两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AO...

# Redis 入门到精通(九)-- 主从复制(2)

#Redis入门到精通(九)--主从复制(2)##一、redis主从复制--数据同步阶段注意事项###1、数据同步阶段master说明1)如果master数据量巨大,数据同步阶段应...

Redis主从复制(redis主从复制主节点挂了)

介绍Redis有两种不同的持久化方式,Redis服务器通过持久化,把Redis内存中持久化到硬盘当中,当Redis宕机时,我们重启Redis服务器时,可以由RDB文件或AOF文件恢复内存中的数据。不过...

深入解析 Redis 集群的主从复制实现方式

在互联网大厂的后端开发领域,Redis作为一款高性能的内存数据库,被广泛应用于缓存、消息队列等场景。而Redis集群中的主从复制机制,更是保障数据安全、实现读写分离以及提升系统性能的关键所在。今...

Redis主从架构详解(redis主从架构高可用如何实现)

Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...

抖音“四大包塘战神”:承包了全网的快乐

在抖音钓鱼垂类领域,"包塘战神"军团正掀起一场黑色幽默风暴。空军华、大表坑、李赔光、透心良四位创作者,以承包鱼塘为舞台,用连续翻车的钓鱼直播构筑起流量奇观。当钓鱼佬在抖音集体转型喜剧人...

ORACLE 11G RAC 安装-通过VM配置共享磁盘

简介:在自己的电脑上通过VM软件搭建Oracle11GRAC,通过修改VM的参数文件来实现磁盘共享!目标:搭建RAC环境实现:使用VMwareWorkstation8.0.0+ORACLE...

Linux操作系统安全配置(linux系统安全配置包括)

一、服务相关命令systemctlenable服务名#开机自启动systemctldisable服务名#禁用开机自启动systemctlstop服务名#停止服务systemctls...

关于Linux性能调优中网络I/O的一些笔记

写在前面和小伙伴分享一些Linux网络优化的笔记,内容很浅,可以用作入门博文内容结合《Linux性能优化》读书笔记整理涉及内容包括常用的优化工具(mii-tool,ethtool,ifconfig,i...

从 Sonatype Nexus Repository Manager 迁移到 Artifactory

1.Nexus1.1下载下载链接:https://help.sonatype.com/repomanager3/product-information/download/download-archiv...

Ubuntu20安装zabbix5.0企业监控系统亲测教程

前言示例主机:zabbix10.0.100.10,将安装在UbuntuServer上教程说明:因使用官方教程无法安装成功,所以本教程与官方教程有所不同安装前提:已安装UbuntuServer2...

Linux内核设计与实现—进程管理(linux内核程序设计)

进程进程就是处于执行期的程序(目标码存放在某种存储介质上)。进并不仅仅局限于一段可执行程序代码(Unix称其为代码段,textsection)。通常进程还要包含其他资源,像打开的文件,挂起的信号,...