百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

什么?c#版的雪花算法有问题?

bigegpt 2024-08-07 17:47 2 浏览

线上找的雪花算法及说明:https://www.cnblogs.com/yushuo/p/9406906.html

较真的态度,验证如下:

1.修正代码,示例代码有调用错误:nuget安装sqlsugar,framework4.6.1版本

//核心算法

namespace webapi2   
{
    //核心算法
    public class SnowflakeNet
    {
        //基准时间
        private static long StartStmp = 1288834974657L;
        //private const long START_STMP = 1480166465631L;
        /*每一部分占用的位数*/
        //机器标识位数
        const int MachineIdBits = 5;
        //数据标志位数
        const int DatacenterIdBits = 5;
        //序列号识位数
        const int SequenceBits = 12;

        /* 每一部分的最大值*/
        //机器ID最大值
        const long MaxMachineNum = -1L ^ (-1L << MachineIdBits);
        //数据标志ID最大值
        const long MaxDatacenterNum = -1L ^ (-1L << DatacenterIdBits);
        //序列号ID最大值
        private const long MaxSequenceNum = -1L ^ (-1L << SequenceBits);

        /*每一部分向左的位移*/
        //机器ID偏左移12位
        private const int MachineShift = SequenceBits;
        //数据ID偏左移17位
        private const int DatacenterIdShift = SequenceBits + MachineIdBits;
        //时间毫秒左移22位
        public const int TimestampLeftShift = SequenceBits + MachineIdBits + DatacenterIdBits;


        private long _sequence = 0L;//序列号
        private long _lastTimestamp = -1L;//上一次时间戳
        public long MachineId { get; protected set; }//机器标识
        public long DatacenterId { get; protected set; }//数据中心
        //public long Sequence = 0L;//序列号
        //{
        //    get { return _sequence; }
        //    internal set { _sequence = value; }
        //}

        private readonly DateTime Jan1st1970 = new DateTime(1970, 1, 1, 0, 0, 0, DateTimeKind.Utc);
        private readonly object _lock = new Object();
        public SnowflakeNet(long machineId, long datacenterId)
        {
            // 如果超出范围就抛出异常
            if (machineId > MaxMachineNum || machineId < 0)
            {
                throw new ArgumentException(string.Format("machineId 必须大于0,MaxMachineNum: {0}", MaxMachineNum));
            }

            if (datacenterId > MaxDatacenterNum || datacenterId < 0)
            {
                throw new ArgumentException(string.Format("datacenterId必须大于0,且不能大于MaxDatacenterNum: {0}", MaxDatacenterNum));
            }

            //先检验再赋值
            MachineId = machineId;
            DatacenterId = datacenterId;
            //_sequence = sequence;
        }

        //public static Init(long machineId, long datacenterId)
        //{

        //}
        public long NextId()
        {
            lock (_lock)
            {
                var timestamp = TimeGen();
                if (timestamp < _lastTimestamp)
                {
                    throw new Exception(string.Format("时间戳必须大于上一次生成ID的时间戳.  拒绝为{0}毫秒生成id", _lastTimestamp - timestamp));
                }

                //如果上次生成时间和当前时间相同,在同一毫秒内
                if (_lastTimestamp == timestamp)
                {
                    //sequence自增,和sequenceMask相与一下,去掉高位
                    _sequence = (_sequence + 1) & MaxSequenceNum;
                    //判断是否溢出,也就是每毫秒内超过1024,当为1024时,与sequenceMask相与,sequence就等于0
                    if (_sequence == 0L)
                    {
                        //等待到下一毫秒
                        timestamp = TilNextMillis(_lastTimestamp);
                    }
                }
                else
                {
                    //如果和上次生成时间不同,重置sequence,就是下一毫秒开始,sequence计数重新从0开始累加,
                    //为了保证尾数随机性更大一些,最后一位可以设置一个随机数
                    _sequence = 0L;//new Random().Next(10);
                }

                _lastTimestamp = timestamp;
                return ((timestamp - StartStmp) << TimestampLeftShift) | (DatacenterId << DatacenterIdShift) | (MachineId << MachineShift) | _sequence;
            }
        }

        // 防止产生的时间比之前的时间还要小(由于NTP回拨等问题),保持增量的趋势.
        protected virtual long TilNextMillis(long lastTimestamp)
        {
            var timestamp = TimeGen();
            while (timestamp <= lastTimestamp)
            {
                timestamp = TimeGen();
            }
            return timestamp;
        }

        // 获取当前的时间戳
        protected virtual long TimeGen()
        {
            //return TimeExtensions.CurrentTimeMillis();
            return (long)(DateTime.UtcNow - Jan1st1970).TotalMilliseconds;
        }
    }
}

//封装调用

namespace webapi2
{
    public class IdWorkerHelper
    {
        private static SnowflakeNet _idWorker= null;
        private IdWorkerHelper()
        {

        }

        static IdWorkerHelper()
        {
            _idWorker = new SnowflakeNet(1, 1);
        }
        public static long GenId64()
        {
            return _idWorker.NextId();

        }
    }
}

//数据入库

namespace webapi2
{
    public class IDLog
    {
        public long ID { get; set; }
        public DateTime Dt { get; set; }
    }
}
namespace webapi2
{
    public class IDLogTester:DbContext<IDLog>
    {
        //sqlsugar入库
        public string IdTest()
        {
            IDLog model = new IDLog();
            model.ID = IdWorkerHelper.GenId64();
            model.Dt = DateTime.Now;
            Db.Insertable(model).ExecuteCommand();
            return JsonConvert.SerializeObject(model);
        }
    }
}

//webapi调用

namespace webapi2.Controllers
{
    public class HomeController : Controller
    {
        public ActionResult Index()
        {
            ViewBag.Title = "Home Page";

            return View();
        }

        [Route("IdTest")]
        [HttpGet]
        public ActionResult IdTest()
        {
            var test = new IDLogTester();
            var result = test.IdTest();
            return Content(result);
        }
    }
}

2.部署iis:设置最大进程数==2

3.压测工具:TCPBenchmarks压测工具,https://github.com/beetlex-io/TCPBenchmarks

自行下载使用

?

4.压测结果:果然大量重复,26万数据,产生9成多行重复

?



5.如果只用一个IIS进程,不会出现此问题,已验证,50并发下一分钟产生40万条数据,一条也没重复。

6.原因:

iis多进程下,相当于部署到多台机器,但每台机器配置的机器码一致,所以产生的碰撞机率很高。

7.解决:

思路一:保持现有代码不同,部署到iis上设置只能单进程使用。

思路二:使用nginx反向代理使用,后面部署多台iis机器,但每台机器只能单进程并设置不同的机器码,也就是此行代码的构造参数不同。这才是分布式id的常用方法吧。

  static IdWorkerHelper()
        {
            //部署多台机器时,参数需要不同
            _idWorker = new SnowflakeNet(1, 1);
        }

思路三:使用互斥锁中的进程锁Mutex,代码修改

//生成id的核心方法,把互斥锁-线程锁lock替换为Mutex
 public static Mutex mutex = new Mutex();
        public long NextId()
        {
            //lock (this)
            //{
            mutex.WaitOne();
            long timestamp = GetCurrentTimestamp();
            if (timestamp > lastTimestamp) //时间戳改变,毫秒内序列重置
            {
                sequence = 0L;
            }
            else if (timestamp == lastTimestamp) //如果是同一时间生成的,则进行毫秒内序列
            {
                sequence = (sequence + 1) & sequenceMask;
                if (sequence == 0) //毫秒内序列溢出
                {
                    timestamp = GetNextTimestamp(lastTimestamp); //阻塞到下一个毫秒,获得新的时间戳
                }
            }
            else   //当前时间小于上一次ID生成的时间戳,证明系统时钟被回拨,此时需要做回拨处理
            {
                sequence = (sequence + 1) & sequenceMask;
                if (sequence > 0)
                {
                    timestamp = lastTimestamp;     //停留在最后一次时间戳上,等待系统时间追上后即完全度过了时钟回拨问题。
                }
                else   //毫秒内序列溢出
                {
                    timestamp = lastTimestamp + 1;   //直接进位到下一个毫秒
                }
                //throw new Exception(string.Format("Clock moved backwards.  Refusing to generate id for {0} milliseconds", lastTimestamp - timestamp));
            }

            lastTimestamp = timestamp;       //上次生成ID的时间截

            //移位并通过或运算拼到一起组成64位的ID
            var id = ((timestamp - twepoch) << timestampLeftShift)
                    | (datacenterId << datacenterIdShift)
                    | (workerId << workerIdShift)
                    | sequence;
            mutex.ReleaseMutex();
            return id;
            //}
        }

性能测试:配置2进程,使用进程锁(mutex),一分钟压测:

?

性能测试:配置1进程,使用线程锁(lock),一分钟压测:

?

可以看出性能相差并不多

相关推荐

【Docker 新手入门指南】第十章:Dockerfile

Dockerfile是Docker镜像构建的核心配置文件,通过预定义的指令集实现镜像的自动化构建。以下从核心概念、指令详解、最佳实践三方面展开说明,帮助你系统掌握Dockerfile的使用逻...

Windows下最简单的ESP8266_ROTS_ESP-IDF环境搭建与腾讯云SDK编译

前言其实也没啥可说的,只是我感觉ESP-IDF对新手来说很不友好,很容易踩坑,尤其是对业余DIY爱好者搭建环境非常困难,即使有官方文档,或者网上的其他文档,但是还是很容易踩坑,多研究,记住两点就行了,...

python虚拟环境迁移(python虚拟环境conda)

主机A的虚拟环境向主机B迁移。前提条件:主机A和主机B已经安装了virtualenv1.主机A操作如下虚拟环境目录:venv进入虚拟环境:sourcevenv/bin/active(1)记录虚拟环...

Python爬虫进阶教程(二):线程、协程

简介线程线程也叫轻量级进程,它是一个基本的CPU执行单元,也是程序执行过程中的最小单元,由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销,提高了操作系统的并发性能...

基于网络安全的Docker逃逸(docker)

如何判断当前机器是否为Docker容器环境Metasploit中的checkcontainer模块、(判断是否为虚拟机,checkvm模块)搭配学习教程1.检查根目录下是否存在.dockerenv文...

Python编程语言被纳入浙江高考,小学生都开始学了

今年9月份开始的新学期,浙江省三到九年级信息技术课将同步替换新教材。其中,新初二将新增Python编程课程内容。新高一信息技术编程语言由VB替换为Python,大数据、人工智能、程序设计与算法按照教材...

CentOS 7下安装Python 3.10的完整过程

1.安装相应的编译工具yum-ygroupinstall"Developmenttools"yum-yinstallzlib-develbzip2-develope...

如何在Ubuntu 20.04上部署Odoo 14

Odoo是世界上最受欢迎的多合一商务软件。它提供了一系列业务应用程序,包括CRM,网站,电子商务,计费,会计,制造,仓库,项目管理,库存等等,所有这些都无缝集成在一起。Odoo可以通过几种不同的方式进...

Ubuntu 系统安装 PyTorch 全流程指南

当前环境:Ubuntu22.04,显卡为GeForceRTX3080Ti1、下载显卡驱动驱动网站:https://www.nvidia.com/en-us/drivers/根据自己的显卡型号和...

spark+python环境搭建(python 环境搭建)

最近项目需要用到spark大数据相关技术,周末有空spark环境搭起来...目标spark,python运行环境部署在linux服务器个人通过vscode开发通过远程python解释器执行代码准备...

centos7.9安装最新python-3.11.1(centos安装python环境)

centos7.9安装最新python-3.11.1centos7.9默认安装的是python-2.7.5版本,安全扫描时会有很多漏洞,比如:Python命令注入漏洞(CVE-2015-2010...

Linux系统下,五大步骤安装Python

一、下载Python包网上教程大多是通过官方地址进行下载Python的,但由于国内网络环境问题,会导致下载很慢,所以这里建议通过国内镜像进行下载例如:淘宝镜像http://npm.taobao.or...

centos7上安装python3(centos7安装python3.7.2一键脚本)

centos7上默认安装的是python2,要使用python3则需要自行下载源码编译安装。1.安装依赖yum-ygroupinstall"Developmenttools"...

利用本地数据通过微调方式训练 本地DeepSeek-R1 蒸馏模型

网络上相应的教程基本都基于LLaMA-Factory进行,本文章主要顺着相应的教程一步步实现大模型的微调和训练。训练环境:可自行定义,mac、linux或者window之类的均可以,本文以ma...

【法器篇】天啦噜,库崩了没备份(天啦噜是什么意思?)

背景数据库没有做备份,一天突然由于断电或其他原因导致无法启动了,且设置了innodb_force_recovery=6都无法启动,里面的数据怎么才能恢复出来?本例采用解析建表语句+表空间传输的方式进行...