百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Go 中基于 IP 地址的 HTTP 限流

bigegpt 2024-08-24 23:11 2 浏览

如果你想限制一个正在运行的 HTTP 服务的请求量,你可以使用现有的轮子工具,比如说 https://github.com/didip/tollbooth,但是如果写一些简单的东西,你自己去实现也没有那么难。

我们可以用这个包 x/time/rate 。

在这篇教程中,我们将基于用户的 IP 地址构造一个简单的限流中间件。

Pure HTTP Server

我们来开始构建一个简单的 HTTP 服务,这是一个大流量的服务,这也是我们为什么要在这里加上限制的原因。

package main
import (
    "log"
    "net/http"
)
func main() {
    mux := http.NewServeMux()
    mux.HandleFunc("/", okHandler)
    if err := http.ListenAndServe(":8888", mux); err != nil {
        log.Fatalf("unable to start server: %s", err.Error())
    }
}
func okHandler(w http.ResponseWriter, r *http.Request) {
    // Some very expensive database call
    w.Write([]byte("alles gut"))
}

在 main.go 文件中,我们用 :8888 端口启动了一个仅有单一控制器的服务。

golang.org/x/time/rate

我们将用 x/time/rate 这个包,它提供了一个令牌桶限流算法。rate#Limiter[1] 控制事件允许发生的频率,它实现了一个容量为 b 的“令牌桶”,最初是满的并以每秒 r 个令牌的速度重新填充。在足够的时间间隔里,限流器限制速度为每秒 r 个令牌,最多为桶的最大容量 b 。

因为我们想根据 IP 地址来限流,我们需要维护一个限流器字典。

package main
import (
    "sync"
    "golang.org/x/time/rate"
)
// IPRateLimiter .
type IPRateLimiter struct {
    ips map[string]*rate.Limiter
    mu  *sync.RWMutex
    r   rate.Limit
    b   int
}
// NewIPRateLimiter .
func NewIPRateLimiter(r rate.Limit, b int) *IPRateLimiter {
    i := &IPRateLimiter{
        ips: make(map[string]*rate.Limiter),
        mu:  &sync.RWMutex{},
        r:   r,
        b:   b,
    }
    return i
}
// AddIP creates a new rate limiter and adds it to the ips map,
// using the IP address as the key
func (i *IPRateLimiter) AddIP(ip string) *rate.Limiter {
    i.mu.Lock()
    defer i.mu.Unlock()
    limiter := rate.NewLimiter(i.r, i.b)
    i.ips[ip] = limiter
    return limiter
}
// GetLimiter returns the rate limiter for the provided IP address if it exists.
// Otherwise calls AddIP to add IP address to the map
func (i *IPRateLimiter) GetLimiter(ip string) *rate.Limiter {
    i.mu.Lock()
    limiter, exists := i.ips[ip]
    if !exists {
        i.mu.Unlock()
        return i.AddIP(ip)
    }
    i.mu.Unlock()
    return limiter
}

NewIPRateLimiter 创建了一个 IP 限流器的实例,HTTP 服务将调用这个实例的 GetLimiter 来获取指定的 IP 限流器(从字典里获取或者构造一个新的)。

Middleware

让我们来升级我们的 HTTP Server 并在所有的控制器中添加中间件。所以如果 IP 达到限制将返回 429 表示大量请求,否则,它将继续执行请求。

在 limitMiddleware 方法中,每一次中间件接受一个请求,我们都会调用全局限制器的 Allow() 方法。如果桶里没有令牌了,Allow() 方法将返回 false 并且我们返回给用户 429 。否则,调用 Allow() 将从桶里消耗一个令牌并且我们将控制权传递给下一个处理程序。

package main
import (
    "log"
    "net/http"
)
var limiter = NewIPRateLimiter(1, 5)
func main() {
    mux := http.NewServeMux()
    mux.HandleFunc("/", okHandler)
    if err := http.ListenAndServe(":8888", limitMiddleware(mux)); err != nil {
        log.Fatalf("unable to start server: %s", err.Error())
    }
}
func limitMiddleware(next http.Handler) http.Handler {
    return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        limiter := limiter.GetLimiter(r.RemoteAddr)
        if !limiter.Allow() {
            http.Error(w, http.StatusText(http.StatusTooManyRequests), http.StatusTooManyRequests)
            return
        }
        next.ServeHTTP(w, r)
    })
}
func okHandler(w http.ResponseWriter, r *http.Request) {
    // Some very expensive database call
    w.Write([]byte("alles gut"))
}

Build & Run


go get golang.org/x/time/rate
go build -o server .
./server

Test

vegeta[2](它是用 Go 写的)是一个很不错的工具,我喜欢用它来做 HTTP 负荷测试。

brew install vegeta

我们需要创建一个简单的配置文件说明我们想测试什么请求。

GET http://localhost:8888/

运行 10 秒钟,每个单位时间发 100 个请求 。

vegeta attack -duration=10s -rate=100 -targets=vegeta.conf | vegeta report

结果你将会看到一些请求返回 200 ,但是大部分返回 429 。


via: https://dev.to/plutov/rate-limiting-http-requests-in-go-based-on-ip-address-542g

作者:Alex Pliutau[3]译者:Alihanniba[4]校对:polaris1119[5]

本文由 GCTT[6] 原创编译,Go 中文网[7] 荣誉推出

参考资料

[1]

rate#Limiter: https://godoc.org/golang.org/x/time/rate#Limiter

[2]

vegeta: https://github.com/tsenart/vegeta

[3]

Alex Pliutau: https://dev.to/plutov

[4]

Alihanniba: https://github.com/Alihanniba

[5]

polaris1119: https://github.com/polaris1119

[6]

GCTT: https://github.com/studygolang/GCTT

[7]

Go 中文网: https://studygolang.com/

相关推荐

AI「自我复制」能力曝光,RepliBench警示:大模型正在学会伪造身份

科幻中AI自我复制失控场景,正成为现实世界严肃的研究课题。英国AISI推出RepliBench基准,分解并评估AI自主复制所需的四大核心能力。测试显示,当前AI尚不具备完全自主复制能力,但在获取资源...

【Python第三方库安装】介绍8种情况,这里最全看这里就够了!

**本图文作品主要解决CMD或pycharm终端下载安装第三方库可能出错的问题**本作品介绍了8种安装方法,这里最全的python第三方库安装教程,简单易上手,满满干货!希望大家能愉快地写代码,而不要...

pyvips,一个神奇的 Python 库!(pythonvip视频)

大家好,今天为大家分享一个神奇的Python库-pyvips。在图像处理领域,高效和快速的图像处理工具对于开发者来说至关重要。pyvips是一个强大的Python库,基于libvips...

mac 安装tesseract、pytesseract以及简单使用

一.tesseract-OCR的介绍1.tesseract-OCR是一个开源的OCR引擎,能识别100多种语言,专门用于对图片文字进行识别,并获取文本。但是它的缺点是对手写的识别能力比较差。2.用te...

实测o3/o4-mini:3分钟解决欧拉问题,OpenAI最强模型名副其实!

号称“OpenAI迄今为止最强模型”,o3/o4-mini真实能力究竟如何?就在发布后的几小时内,网友们的第一波实测已新鲜出炉。最强推理模型o3,即使遇上首位全职提示词工程师RileyGoodsid...

使用Python将图片转换为字符画并保存到文件

字符画(ASCIIArt)是将图片转换为由字符组成的艺术作品。利用Python,我们可以轻松实现图片转字符画的功能。本教程将带你一步步实现这个功能,并详细解释每一步的代码和实现原理。环境准备首先,你...

5分钟-python包管理器pip安装(python pip安装包)

pip是一个现代的,通用、普遍的Python包管理工具。提供了对Python包的查找、下载、安装、卸载的功能,是Python开发的基础。第一步:PC端打开网址:选择gz后缀的文件下载第二步:...

网络问题快速排查,你也能当好自己家的网络攻城狮

前面写了一篇关于网络基础和常见故障排查的,只列举了工具。没具体排查方式。这篇重点把几个常用工具的组合讲解一下。先有请今天的主角:nslookup及dig,traceroute,httping,teln...

终于把TCP/IP 协议讲的明明白白了,再也不怕被问三次握手了

文:涤生_Woo下周就开始和大家成体系的讲hadoop了,里面的每一个模块的技术细节我都会涉及到,希望大家会喜欢。当然了你也可以评论或者留言自己喜欢的技术,还是那句话,希望咱们一起进步。今天周五,讲讲...

记一次工控触摸屏故障的处理(工控触摸屏维修)

先说明一下,虽然我是自动化专业毕业,但已经很多年不从事现场一线的工控工作了。但自己在单位做的工作也牵涉到信息化与自动化的整合,所以平时也略有关注。上一周一个朋友接到一个活,一家光伏企业用于启动机组的触...

19、90秒快速“读懂”路由、交换命令行基础

命令行视图VRP分层的命令结构定义了很多命令行视图,每条命令只能在特定的视图中执行。本例介绍了常见的命令行视图。每个命令都注册在一个或多个命令视图下,用户只有先进入这个命令所在的视图,才能运行相应的命...

摄像头没图像的几个检查方法(摄像头没图像怎么修复)

背景描述:安防监控项目上,用户的摄像头运行了一段时间有部分摄像头不能进行预览,需要针对不能预览的摄像头进行排查,下面列出几个常见的排查方法。问题解决:一般情况为网络、供电、设备配置等情况。一,网络检查...

小谈:必需脂肪酸(必需脂肪酸主要包括)

必需脂肪酸是指机体生命活动必不可少,但机体自身又不能合成,必需由食物供给的多不饱和脂肪酸(PUFA)。必需脂肪酸主要包括两种,一种是ω-3系列的α-亚麻酸(18:3),一种是ω-6系列的亚油酸(18:...

期刊推荐:15本sci四区易发表的机械类期刊

  虽然,Sci四区期刊相比收录在sci一区、二区、三区的期刊来说要求不是那么高,投稿起来也相对容易一些。但,sci四区所收录的期刊中每本期刊的投稿难易程度也是不一样的。为方便大家投稿,本文给大家推荐...

be sick of 用法考察(be in lack of的用法)

besick表示病了,做谓语.本身是形容词,有多种意思.最通常的是:生病,恶心,呕吐,不适,晕,厌烦,无法忍受asickchild生病的孩子Hermother'sverysi...