百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

雪花算法(Snowflake Algorithm)C# 实现版本

bigegpt 2024-08-19 11:58 2 浏览

雪花算法(Snowflake Algorithm)是一种分布式唯一ID生成算法,由Twitter开发,用于生成唯一的、递增的、时间戳相关的ID。下面是使用C#实现雪花算法的示例代码:

public class Snowflake
{
    private const long Twepoch = 1288834974657L; // 自定义的起始时间戳
    private const int WorkerIdBits = 5; // 工作节点ID的位数
    private const int DatacenterIdBits = 5; // 数据中心ID的位数
    private const int SequenceBits = 12; // 序列号的位数

    private const int WorkerIdShift = SequenceBits;
    private const int DatacenterIdShift = SequenceBits + WorkerIdBits;
    private const int TimestampShift = DatacenterIdShift + DatacenterIdBits;

    private const long WorkerIdMask = ~(-1L << WorkerIdBits);
    private const long DatacenterIdMask = ~(-1L << DatacenterIdBits);
    private const long SequenceMask = ~(-1L << SequenceBits);

    private long workerId; // 工作节点ID
    private long datacenterId; // 数据中心ID
    private long sequence = 0L; // 序列号
    private long lastTimestamp = -1L; // 上一个时间戳

    public Snowflake(long workerId, long datacenterId)
    {
        this.workerId = workerId;
        this.datacenterId = datacenterId;
    }

    public long GetId()
    {
        lock (this)
        {
            long timestamp = GetTimestamp();

            if (timestamp < lastTimestamp)
            {
                throw new Exception("Clock is moving backwards.  Rejecting requests until " + lastTimestamp);
            }

            if (lastTimestamp == timestamp)
            {
                sequence = (sequence + 1) & SequenceMask;
                if (sequence == 0)
                {
                    timestamp = TilNextMillis(lastTimestamp);
                }
            }
            else
            {
                sequence = 0L;
            }

            lastTimestamp = timestamp;

            long id = ((timestamp - Twepoch) << TimestampShift)
                    | (datacenterId << DatacenterIdShift)
                    | (workerId << WorkerIdShift)
                    | sequence;

            return id;
        }
    }

    private long GetTimestamp()
    {
        return (long)(DateTime.UtcNow - new DateTime(1970, 1, 1, 0, 0, 0, DateTimeKind.Utc)).TotalMilliseconds;
    }

    private long TilNextMillis(long lastTimestamp)
    {
        long timestamp = GetTimestamp();
        while (timestamp <= lastTimestamp)
        {
            timestamp = GetTimestamp();
        }
        return timestamp;
    }
}

调用的时候你只要:

Snowflake snowflake = new Snowflake(1, 1); // workerId=1, datacenterId=1
long id = snowflake.GetId(); // 生成唯一的ID

雪花算法(Snowflake Algorithm)是一种分布式唯一ID生成算法,由Twitter开发,用于生成唯一的、递增的、时间戳相关的ID。下面是雪花算法的原理详解:

雪花算法的结构

雪花算法生成的ID是一个64位的Long型数字,结构如下:

  • 高32位:时间戳(timestamp)
  • 中间10位:数据中心ID(datacenterId)和工作节点ID(workerId)
  • 低12位:序列号(sequence)

时间戳(timestamp)

时间戳是雪花算法的核心部分,用于记录生成ID的时间。时间戳是一个41位的数字,精度为毫秒级别。它的计算方式是:

timestamp = (当前时间 - 起始时间)

其中,起始时间是一个固定的时

间戳,通常设置为2014年11月4日00:00:00 GMT(1288834974657L)。

数据中心ID(datacenterId)和工作节点ID(workerId)

数据中心ID和工作节点ID用于标识生成ID的来源。数据中心ID和工作节点ID分别占用5位和5位,总共10位。它们的计算方式是:

datacenterId = 数据中心的唯一ID
workerId = 工作节点的唯一ID

序列号(sequence)

序列号是一个12位的数字,用于记录同一个毫秒内生成的ID的序号。序列号的计算方式是:

sequence = (sequence + 1) % 4096

其中,4096是2^12,表示序列号的最大值。

雪花算法的工作流程

  1. 获取当前时间戳(timestamp)
  2. 如果当前时间戳小于上一个时间戳,抛出异常,因为时间戳不能倒退。
  3. 如果当前时间戳等于上一个时间戳,增加序列号(sequence),如果序列号达到最大值,等待下一个毫秒。
  4. 如果当前时间戳大于上一个时间戳,重置序列号(sequence)为0。
  5. 将时间戳、数据中心ID、工作节点ID和序列号组合成一个64位的Long型数字,即生成的ID。

雪花算法的优点

  1. 唯一性:雪花算法生成的ID是唯一的,因为它基于时间戳和序列号。
  2. 递增性:雪花算法生成的ID是递增的,因为时间戳是递增的。
  3. 高性能:雪花算法可以生成大量的ID,适合高并发的应用场景。

雪花算法的缺点

  1. 依赖时间戳:雪花算法依赖时间戳,需要确保时间戳的准确性和一致性。
  2. 序列号溢出:如果序列号溢出,需要等待下一个毫秒,可能会导致性能下降。

总的来说,雪花算法是一种高效、唯一、递增的ID生成算法,适合分布式系统和高并发应用场景。

那么使用这种算法如何统计所有中心所有节点的数据总量值呢?

使用雪花算法生成的ID,可以通过解析ID的结构来统计所有中心所有节点的数据总量值。下面是一个可能的解决方案:

  1. 将所有中心所有节点的ID收集到一个数据库或缓存中。
  2. 对每个ID,提取高32位的时间戳、中间10位的数据中心ID和工作节点ID、低12位的序列号。
  3. 根据数据中心ID和工作节点ID,统计每个中心每个节点的数据量。
  4. 对所有中心所有节点的数据量进行汇总,得到总的数据总量值。

具体实现可以通过以下步骤:

  1. 创建一个数据库表或缓存,用于存储所有中心所有节点的ID。
  2. 创建一个统计函数或脚本,用于解析ID的结构和统计数据量。
  3. 在统计函数或脚本中,使用以下步骤:
  • 提取高32位的时间戳,用于过滤掉旧的数据。
  • 提取中间10位的数据中心ID和工作节点ID,用于确定数据来自哪个中心哪个节点。
  • 提取低12位的序列号,用于统计每个中心每个节点的数据量。
  • 使用数据中心ID和工作节点ID作为键,统计每个中心每个节点的数据量。
  1. 对所有中心所有节点的数据量进行汇总,得到总的数据总量值。

例如,在MySQL数据库中,可以使用以下SQL语句来统计所有中心所有节点的数据总量值:

CREATE TABLE ids (
  id BIGINT PRIMARY KEY
);

CREATE INDEX idx_id ON ids (id);

DELIMITER //
CREATE FUNCTION get_data_center_id(id BIGINT) RETURNS INT
BEGIN
  RETURN (id >> 22) & 0x3FF;
END//
CREATE FUNCTION get_worker_id(id BIGINT) RETURNS INT
BEGIN
  RETURN (id >> 12) & 0x3FF;
END//
CREATE FUNCTION get_sequence(id BIGINT) RETURNS INT
BEGIN
  RETURN id & 0xFFF;
END//

DELIMITER ;

SELECT 
  data_center_id,
  worker_id,
  COUNT(*) AS data_count
FROM 
  ids
GROUP BY 
  data_center_id,
  worker_id;

SELECT 
  SUM(data_count) AS total_data_count
FROM 
  (
    SELECT 
      data_center_id,
      worker_id,
      COUNT(*) AS data_count
    FROM 
      ids
    GROUP BY 
      data_center_id,
      worker_id
  ) AS subquery;

在上面的示例中,我们首先创建了一个ids表,用于存储所有中心所有节点的ID。然后,我们创建了三个函数,用于提取数据中心ID、工作节点ID和序列号。最后,我们使用这些函数来统计每个中心每个节点的数据量,并对所有中心所有节点的数据量进行汇总。

相关推荐

悠悠万事,吃饭为大(悠悠万事吃饭为大,什么意思)

新媒体编辑:杜岷赵蕾初审:程秀娟审核:汤小俊审签:周星...

高铁扒门事件升级版!婚宴上‘冲喜’老人团:我们抢的是社会资源

凌晨两点改方案时,突然收到婚庆团队发来的视频——胶东某酒店宴会厅,三个穿大红棉袄的中年妇女跟敢死队似的往前冲,眼瞅着就要扑到新娘的高额钻石项链上。要不是门口小伙及时阻拦,这婚礼造型团队熬了三个月的方案...

微服务架构实战:商家管理后台与sso设计,SSO客户端设计

SSO客户端设计下面通过模块merchant-security对SSO客户端安全认证部分的实现进行封装,以便各个接入SSO的客户端应用进行引用。安全认证的项目管理配置SSO客户端安全认证的项目管理使...

还在为 Spring Boot 配置类加载机制困惑?一文为你彻底解惑

在当今微服务架构盛行、项目复杂度不断攀升的开发环境下,SpringBoot作为Java后端开发的主流框架,无疑是我们手中的得力武器。然而,当我们在享受其自动配置带来的便捷时,是否曾被配置类加载...

Seata源码—6.Seata AT模式的数据源代理二

大纲1.Seata的Resource资源接口源码2.Seata数据源连接池代理的实现源码3.Client向Server发起注册RM的源码4.Client向Server注册RM时的交互源码5.数据源连接...

30分钟了解K8S(30分钟了解微积分)

微服务演进方向o面向分布式设计(Distribution):容器、微服务、API驱动的开发;o面向配置设计(Configuration):一个镜像,多个环境配置;o面向韧性设计(Resista...

SpringBoot条件化配置(@Conditional)全面解析与实战指南

一、条件化配置基础概念1.1什么是条件化配置条件化配置是Spring框架提供的一种基于特定条件来决定是否注册Bean或加载配置的机制。在SpringBoot中,这一机制通过@Conditional...

一招解决所有依赖冲突(克服依赖)

背景介绍最近遇到了这样一个问题,我们有一个jar包common-tool,作为基础工具包,被各个项目在引用。突然某一天发现日志很多报错。一看是NoSuchMethodError,意思是Dis...

你读过Mybatis的源码?说说它用到了几种设计模式

学习设计模式时,很多人都有类似的困扰——明明概念背得滚瓜烂熟,一到写代码就完全想不起来怎么用。就像学了一堆游泳技巧,却从没下过水实践,很难真正掌握。其实理解一个知识点,就像看立体模型,单角度观察总...

golang对接阿里云私有Bucket上传图片、授权访问图片

1、为什么要设置私有bucket公共读写:互联网上任何用户都可以对该Bucket内的文件进行访问,并且向该Bucket写入数据。这有可能造成您数据的外泄以及费用激增,若被人恶意写入违法信息还可...

spring中的资源的加载(spring加载原理)

最近在网上看到有人问@ContextConfiguration("classpath:/bean.xml")中除了classpath这种还有其他的写法么,看他的意思是想从本地文件...

Android资源使用(android资源文件)

Android资源管理机制在Android的开发中,需要使用到各式各样的资源,这些资源往往是一些静态资源,比如位图,颜色,布局定义,用户界面使用到的字符串,动画等。这些资源统统放在项目的res/独立子...

如何深度理解mybatis?(如何深度理解康乐服务质量管理的5个维度)

深度自定义mybatis回顾mybatis的操作的核心步骤编写核心类SqlSessionFacotryBuild进行解析配置文件深度分析解析SqlSessionFacotryBuild干的核心工作编写...

@Autowired与@Resource原理知识点详解

springIOCAOP的不多做赘述了,说下IOC:SpringIOC解决的是对象管理和对象依赖的问题,IOC容器可以理解为一个对象工厂,我们都把该对象交给工厂,工厂管理这些对象的创建以及依赖关系...

java的redis连接工具篇(java redis client)

在Java里,有不少用于连接Redis的工具,下面为你介绍一些主流的工具及其特点:JedisJedis是Redis官方推荐的Java连接工具,它提供了全面的Redis命令支持,且...