百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

再谈 Go Http 服务的优雅重启

bigegpt 2024-08-24 23:10 2 浏览

Florian von Bock[1] 已将本文中描述的内容实现成了一个名为Endless[2]的 Go 程序包。

对于 Golang HTTP 的服务,我们可能需要重启来升级或者更改某些配置。如果你(像我曾经一样)因为网络服务器对优雅重启很重视就理所当然地认为它(优雅重启)早已实现了,那么这份教程将会对你很有用处。因为在 Golang 中,你需要自己动手来实现。

实际上,这里需要解决两个问题。首先是 UNIX 端的优雅重启,即进程无需关闭监听套接字即可自行重启的机制。第二个问题是确保所有进行中的请求被正确完成或超时。

在不关闭套接字的情况下重启

  • 派生一个继承监听中的套接字的新进程。
  • 新进程执行初始化并开始接受套接字上的连接。
  • 之后,子进程立即向父进程发送信号,使父进程停止接收连接并终止。

派生一个新的进程

有多种使用 Golang 的库去实现派生进程的方法,在本文中的例子中,我们选择用 exec.Command[3]。这是因为此函数返回的 Cmd 结构体[4] 具有 ExtraFiles 成员,该成员可以使打开的文件(除了 stdin/err/out 之外)被新进程继承。

看起来如下所示:

file := netListener.File() // this returns a Dup()
path := "/path/to/executable"
args := []string{
    "-graceful"}
cmd := exec.Command(path, args...)
cmd.Stdout = os.Stdout
cmd.Stderr = os.Stderr
cmd.ExtraFiles = []*os.File{file}
err := cmd.Start()
if err != nil {
    log.Fatalf("gracefulRestart: Failed to launch, error: %v", err)
}

在上面的代码中,netListener 是指向 net.Listener[5] 的指针,net.Listener 用于侦听 HTTP 请求。如果你要升级,则 path 变量应包含新可执行文件的路径(可能与当前正在运行的文件相同)。

上面代码中的关键是 netListener.File() 会返回一个文件描述符 dup(2)[6]。这个文件描述符不会设置 FD_CLOEXEC 标识[7],这会导致文件在子进程中被关闭(不是我们想要的的情况)。

你可能会看到一些示例,通过命令行参数将需要继承的文件描述符传递给子进程,但是 ExtraFiles 实现的方式使这些变得没有必要。文档指出 "如果输入 non-nil,输入的切片索引为 i 则读取的文件描述符为 3 + i。” 这意味着在上述代码段中,子进程中继承的文件描述符将始终为 3,因此无需显式传递它(译者注:这一段有点难以理解,ExtraFiles 可以指定额外的文件句柄传递给子进程,也就是可以通过这个方法将 netListener.File() 传递给子进程,而子进程通过 f := os.NewFile(3, "") 来读取,为什么是 3 呢?因为前面还有几个默认句柄,所以传入额外的句柄需要从 3 开始读取)。

最后,args 数组包含 -graceful 选项:你的程序将需要某种方式来通知子进程这是正常重启的一部分,并且子进程应重新使用套接字,而不是打开新的套接字。还有一种方法是通过环境变量来实现这个功能。

初始化子进程

这是程序启动序列的一部分

server := &http.Server{Addr: "0.0.0.0:8888"}
var gracefulChild bool
var l net.Listever
var err error
flag.BoolVar(&gracefulChild, "graceful", false, "listen on fd open 3 (internal use only)")
if gracefulChild {
    log.Print("main: Listening to existing file descriptor 3.")
    f := os.NewFile(3, "")
    l, err = net.FileListener(f)
} else {
    log.Print("main: Listening on a new file descriptor.")
    l, err = net.Listen("tcp", server.Addr)
}

通知父进程停止

至此,子进程已经准备好接收请求,但是在此之前,需要告诉父进程停止接收请求并退出,这可能是这样的:

if gracefulChild {
    parent := syscall.Getppid()
    log.Printf("main: Killing parent pid: %v", parent)
    syscall.Kill(parent, syscall.SIGTERM)
}
server.Serve(l)

进行中的请求 完成/超时

为此,我们需要使用 sync.WaitGroup[8] 跟踪打开的连接。我们需要给每次新增的连接使用 wg.Add,并在每次关闭连接时使用 wg.Done。

var httpWg sync.WaitGroup

乍一看,Golang 标准的 http 包没有提供任何对 Accept() 或 Close() 操作的钩子,但是使用接口解决了这个问题。(非常感谢 Jeff R. Allen[9]的这篇文章[10])。

这是一个 listener 的示例,它在每个 Accept() 上使用 httpWg.Add(1) 计数。首先,我们对 net.Listener 进行“子类化”(stop 和 stopped 的作用将在下文体现):

type gracefulListener struct {
    net.Listener
    stop    chan error
    stopped bool
}

接下来,我们“覆盖” Accept 方法。(暂时不要考虑 gracefulConn,稍后再介绍)。

func (gl *gracefulListener) Accept() (c net.Conn, err error) {
    c, err = gl.Listener.Accept()
    if err != nil {
        return
    }
    c = gracefulConn{Conn: c}
    httpWg.Add(1)
    return
}

我们还需要一个构造函数:

func newGracefulListener(l net.Listener) (gl *gracefulListener) {
    gl = &gracefulListener{Listener: l, stop: make(chan error)}
    Go func() {
        _ = <-gl.stop
        gl.stopped = true
        gl.stop <- gl.Listener.Close()
    }()
    return
}

上面的函数启动 Goroutine 的原因是因为在上面的 Accept() 中无法完成此操作,因为它会被 gl.Listener.Accept() 阻塞。Goroutine 通过关闭文件描述符来解除阻塞。

我们的 Close() 方法仅将 nil 发送给上述 Goroutine 的 stop channel 即可完成其余工作。

func (gl *gracefulListener) Close() error {
    if gl.stopped {
        return syscall.EINVAL
    }
    gl.stop <- nil
    return <-gl.stop
}

最后,从 net.TCPListener 中提取文件描述符。

func (gl *gracefulListener) File() *os.File {
    tl := gl.Listener.(*net.TCPListener)
    fl, _ := tl.File()
    return fl
}

当然,我们还需要一个嵌入了 net.Conn 的结构体,该结构体会通过 httpWg.Done() 来减少 Close() 上的计数:

type gracefulConn struct {
    net.Conn
}
func (w gracefulConn) Close() error {
    httpWg.Done()
    return w.Conn.Close()
}

如果要使用上述优美版本的 Listener,我们需要将 server.Serve(l) 行替换为:

netListener = newGracefulListener(l)
server.Serve(netListener)

还有一件事。你应避免挂起客户端无意关闭的连接。最好按以下方式创建服务:

server := &http.Server{
        Addr:           "0.0.0.0:8888",
        ReadTimeout:    10 * time.Second,
        WriteTimeout:   10 * time.Second,
        MaxHeaderBytes: 1 << 16}

via: https://grisha.org/blog/2014/06/03/graceful-restart-in-golang/

作者:humblehack[11]译者:咔叽咔叽[12]校对:lxbwolf[13]

本文由 GCTT[14] 原创编译,Go 中文网[15]

参考资料

[1]

Florian von Bock: https://github.com/fvbock

[2]

Endless: https://github.com/fvbock/endless

[3]

exec.Command: https://golang.org/pkg/os/exec/#Command

[4]

Cmd 结构体: https://golang.org/pkg/os/exec/#Cmd

[5]

net.Listener: https://golang.org/pkg/net/#Listener

[6]

dup(2): https://pubs.opengroup.org/onlinepubs/009695399/functions/dup.html

[7]

标识: https://pubs.opengroup.org/onlinepubs/009695399/functions/fcntl.html

[8]

sync.WaitGroup: https://golang.org/pkg/sync/#WaitGroup

[9]

Jeff R. Allen: http://nella.org/jra/

[10]

文章: http://blog.nella.org/zero-downtime-upgrades-of-tcp-servers-in-go/

[11]

humblehack: https://twitter.com/humblehack

[12]

咔叽咔叽: https://github.com/watermelo

[13]

lxbwolf: https://github.com/lxbwolf

[14]

GCTT: https://github.com/studygolang/GCTT

[15]

Go 中文网: https://studygolang.com




喜欢本文的朋友,欢迎关注“Go语言中文网”

相关推荐

AI「自我复制」能力曝光,RepliBench警示:大模型正在学会伪造身份

科幻中AI自我复制失控场景,正成为现实世界严肃的研究课题。英国AISI推出RepliBench基准,分解并评估AI自主复制所需的四大核心能力。测试显示,当前AI尚不具备完全自主复制能力,但在获取资源...

【Python第三方库安装】介绍8种情况,这里最全看这里就够了!

**本图文作品主要解决CMD或pycharm终端下载安装第三方库可能出错的问题**本作品介绍了8种安装方法,这里最全的python第三方库安装教程,简单易上手,满满干货!希望大家能愉快地写代码,而不要...

pyvips,一个神奇的 Python 库!(pythonvip视频)

大家好,今天为大家分享一个神奇的Python库-pyvips。在图像处理领域,高效和快速的图像处理工具对于开发者来说至关重要。pyvips是一个强大的Python库,基于libvips...

mac 安装tesseract、pytesseract以及简单使用

一.tesseract-OCR的介绍1.tesseract-OCR是一个开源的OCR引擎,能识别100多种语言,专门用于对图片文字进行识别,并获取文本。但是它的缺点是对手写的识别能力比较差。2.用te...

实测o3/o4-mini:3分钟解决欧拉问题,OpenAI最强模型名副其实!

号称“OpenAI迄今为止最强模型”,o3/o4-mini真实能力究竟如何?就在发布后的几小时内,网友们的第一波实测已新鲜出炉。最强推理模型o3,即使遇上首位全职提示词工程师RileyGoodsid...

使用Python将图片转换为字符画并保存到文件

字符画(ASCIIArt)是将图片转换为由字符组成的艺术作品。利用Python,我们可以轻松实现图片转字符画的功能。本教程将带你一步步实现这个功能,并详细解释每一步的代码和实现原理。环境准备首先,你...

5分钟-python包管理器pip安装(python pip安装包)

pip是一个现代的,通用、普遍的Python包管理工具。提供了对Python包的查找、下载、安装、卸载的功能,是Python开发的基础。第一步:PC端打开网址:选择gz后缀的文件下载第二步:...

网络问题快速排查,你也能当好自己家的网络攻城狮

前面写了一篇关于网络基础和常见故障排查的,只列举了工具。没具体排查方式。这篇重点把几个常用工具的组合讲解一下。先有请今天的主角:nslookup及dig,traceroute,httping,teln...

终于把TCP/IP 协议讲的明明白白了,再也不怕被问三次握手了

文:涤生_Woo下周就开始和大家成体系的讲hadoop了,里面的每一个模块的技术细节我都会涉及到,希望大家会喜欢。当然了你也可以评论或者留言自己喜欢的技术,还是那句话,希望咱们一起进步。今天周五,讲讲...

记一次工控触摸屏故障的处理(工控触摸屏维修)

先说明一下,虽然我是自动化专业毕业,但已经很多年不从事现场一线的工控工作了。但自己在单位做的工作也牵涉到信息化与自动化的整合,所以平时也略有关注。上一周一个朋友接到一个活,一家光伏企业用于启动机组的触...

19、90秒快速“读懂”路由、交换命令行基础

命令行视图VRP分层的命令结构定义了很多命令行视图,每条命令只能在特定的视图中执行。本例介绍了常见的命令行视图。每个命令都注册在一个或多个命令视图下,用户只有先进入这个命令所在的视图,才能运行相应的命...

摄像头没图像的几个检查方法(摄像头没图像怎么修复)

背景描述:安防监控项目上,用户的摄像头运行了一段时间有部分摄像头不能进行预览,需要针对不能预览的摄像头进行排查,下面列出几个常见的排查方法。问题解决:一般情况为网络、供电、设备配置等情况。一,网络检查...

小谈:必需脂肪酸(必需脂肪酸主要包括)

必需脂肪酸是指机体生命活动必不可少,但机体自身又不能合成,必需由食物供给的多不饱和脂肪酸(PUFA)。必需脂肪酸主要包括两种,一种是ω-3系列的α-亚麻酸(18:3),一种是ω-6系列的亚油酸(18:...

期刊推荐:15本sci四区易发表的机械类期刊

  虽然,Sci四区期刊相比收录在sci一区、二区、三区的期刊来说要求不是那么高,投稿起来也相对容易一些。但,sci四区所收录的期刊中每本期刊的投稿难易程度也是不一样的。为方便大家投稿,本文给大家推荐...

be sick of 用法考察(be in lack of的用法)

besick表示病了,做谓语.本身是形容词,有多种意思.最通常的是:生病,恶心,呕吐,不适,晕,厌烦,无法忍受asickchild生病的孩子Hermother'sverysi...