百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

普元EOS 8网关设计及应用 普元eos开发手册

bigegpt 2024-10-20 04:28 3 浏览

转载本文需注明出处:微信公众号EAWorld,违者必究。

引言:

普元EOS 8 API Gateway作为一个独立模块,可以对API进行创建、发布、维护、监控等全生命周期管理。

目录:

一、为什么引入EOS8网关

二、EOS 8网关的技术框架

三、API接入和监控示例

一、为什么引入EOS8网关

随着微服务的热度不断上升,线上商业的发展和人们需求的扩增,企业中业务服务种类众多,数量巨大,对如此规模的服务做升级、管理和维护,时间和资源成本的开销不言而喻。API Gateway的价值随之彰显出来。与此同时对API Gateway的选择也尤为重要。

统一的API管理、高并发请求全周期异步化、灵活的API适配是EOS 8 API Gateway的优势。

API Gateway 在各个模块间如何运作?

上图展示了EOS 8 API Gateway模块间的进程视图,方便我们理解整个业务执行过程。

首先,需要将网关和后端应用注册到Eureka(如果后端服务不是微服务,可以忽略这一步)。

然后,在governor界面创建需要发布的API,并配置相应的ip认证和流控配置,这些操作都会同步到Gateway Server的缓存。

最后,服务消费者系统需要在Governor订阅API,获得网关颁发给调用方的token凭证(后面的版本会加入IAM授权),消费方系统拿到token凭证访问已发布的API,Gateway Server从Redis读取缓存进行ip和流控校验,从自身缓存中读取token信息(后面版本鉴权由IAM完成)、API配置进行请求和API适配,各个EventHeadler都完成后,由Ribbon路由到Eureka注册的应用(如果后端服务没有注册到Eureka,由异步的NioClient接出)。

二、EOS 8网关的技术框架

EOS8 网关部署拓扑架构

EOS 8 API Gateway 有两种部署模式。

1、EOS 8 API Gateway可以不依赖微服务架构中的注册中心、配置中心进行单独部署。整个生命周期中API鉴权、ip认证、流控、配置管理,协议数据转换和调用日志监控等功能依然具备。但是依赖注册中心的服务路由、配置中心的统一配置API、监控/日志中心的后端服务监控等功能会缺失。

2、EOS 8 API Gateway 作为微服务治理的重要成员,可依赖注册中心、配置中心和监控/日志中心做微服务治理。

a、将API Gateway、后端应用注册到注册中心。当配置需要管理的API时,可选择注册中心的应用,亦可手动输入后端服务地址。

b、在配置中心可以对网关API进行统一配置,譬如:统一配置请求头响应头、统一请求参数响应参数等。

c、监控/日志中心可以监控注册到注册中心的后端服务调用和资源使用情况。

管理门户(Governor)是EOS 8微服务架构中服务治理和资产管理的门户,由管理员页面操作,进行API配置发布、API分组管理、黑白名单配置、流控配置、系统/应用注册、统一配置等操作,不过上述的功能的接口都有详细的swagger文档,可以根据需求自行扩展。

API_Gateway_Monitor是网关自带的日志解析组件。网关现支持Mysql、Oracle、PG数据库,Redis存放流控数据。

EOS8 网关部署拓扑架构主要技术

注册中心使用Spring Cloud Eureka,配置中心使用Ctrip Apollo。

网关主要的技术框架:

  • 网关使用了Oauth2鉴权技术(后续配合IAM做权限校验)。
  • 在java8、Spring4的大环境下,Spring Boot加大了开发效率。
  • 嵌入了Jetty容器让网关更轻,让系统性能维持在一个可接受状态。
  • 使用了基于传输层的Netty框架,提供异步的、事件驱动的网络应用程序框架,为我们核心框架分阶段消息异步处理架构奠定基础。

分阶段消息异步处理

可以将一次请求Api Gateway,并从API Gateway获得响应视为整个流程。

逻辑分段。将整个流程划分成:请求接入/响应接出、代理服务处理、业务服务处理、请求接出/响应接入四个业务Stage。

段之间基于队列/消息通信。每个业务Stage都有自己独立的业务处理Event Handler、Event Queue和线程池,每个阶段之间没有任何依赖,当前的Stage事件处理完成,封装到Message中,然后派发到其他Stage的Event Queue,直到整个Stage处理完成有Nio Client或者Ribbon Client接出。当Event queue吸纳过量的负载,有限的线程池维持并发。

Stage控制器负责资源的分配和调度,控制派发给Event Handler的事件的数量和顺序,Event Handler可能在内部丢弃、过滤、重排序事件。

分阶段消息异步处理架构实现了EOS 8网关高并发请求全周期异步化。

API Gateway 提供了统一的API管理

EOS 8 API Gateway从功能层面提供了统一的API管理。

首先,具有多协议接入和接出,例如HTTP协议、REST协议、WS协议等,发布出来的API可供企业内部系统、第三方应用系统和前端研发人员调用。

其次,在服务接入层,实现了权限认证、IP认证和用户名密码认证,再加上可靠的流控机制保障了通过网关的传输安全。

最后,Api Gateway Server服务引擎有以下几个内容:

a、Api Gateway Server内部实现了协议扩展和消息转换,根据需求在Governor管理页面进行配置。

b、Server端的接出由Ribbon Client实现,可根据Eureka注册的应用进行路由。

c、流控数据皆保存在Redis中,在有限的JVM资源下优先保障传输效率。

d、server附带的普元自主研发的API Gateway Monitor,可以轻松解析千万级并发调用的日志文件,为governor呈现有效的API的调用详情和调用趋势。

e、API Gateway可使用F5或者Nginx进行横向扩展,应对更大调用需求。

f、断路器机制可以有效的保护JVM主线程,为传输安全提供保障。

丰富的服务引擎使API管理更加完善。

三、API接入和监控示例

如何使用EOS 8网关?用EOS 8网关如何注册和发布一个API?服务消费者系统又如何根据token调用已发布的网关?

API注册

  • 创建后端应用

如果需要API Gateway动态路由到后端应用,需要将该应用服务注册到Eureka,然后在Governor注册。为API注册选择后端服务时做好准备。

  • 创建API第一步(配置基本信息)

创建API第一步配置基本信息,对需要注册的API进行定义分组、协议、名称的配置。

  • 创建API第二步(配置API接入【协议/数据转换】)

创建API第二步,配置API接入,当外部系统调用网关发布的API时涉及到的配置。

一共有四个基本配置:

1、“请求Path”是API的URI。

2、“HTTP Method”是http请求的方法。

3、“入参模式”分两种:穿透和转换,穿透与转换的区别是前者网关在服务调用生命周期只做代理转发,后者可以对请求报文进行适配和转换。

4、“报文类型”请求报文的数据类型,默认有:JSON、XML、FORM表单,如有其他需求,可在数据字典扩展。

本次示例是http穿透,路径参数 ”num1“加入了参数列表,参数列表中定义过的参数皆可在后端服务的Path、Header、Body中使用。

在系统对接过程,常见的API适配有json转json、xml转json、json转xml。

在EOS8 API Gateway中,无论请求方的报文是什么格式的,只要能在请求的Path、Header或者Body中提取出后端服务请求所需的报文数据,便可重构后端服务请求报文。

如图所示,在入参定义中,当提取HTTP报文体,”参数路径“是根据报文类型而选择,当请求报文是JSON格式,用“$.*”JSONPath提取参数,当报文是XML格式,就用“/*/*”XPath提取参数。

将请求报文的关键数据都提取出来保存到参数列表中,待后端服务配置使用。

  • 创建API第三步(配置API后端服务)

创建API第三步,配置API后端服务。

一共有6个基本配置:

1、“后端协议”是请求后端服务的网络协议(HTTPS协议将在下个版本加入)。

2、“服务地址”是后端服务的地址,如果部署架构中将网关独立部署,这里可以选择“手动输入”配置后端服务,如果部署EOS8微服务架构,可选择“应用”进行动态路由。

3、“HTTP Method”是请求后端服务的方法。

4、“超时时间”是后端服务响应的熔断时间。

5、“后端请求Path”是后端服务请求的URI。

6、“报文类型”是请求后端服务的请求报文类型。

后端服务参数中,可根据参数位置配置参数路径,如:在“后端请求Path””/json/library/book/{library}”路径中,library可作为参数路径变量,在参数列表中找到对应的参数进行赋值。

对于后端服务报文的重构,根据已知的后端服务请求报文格式,使用了VTL语言重构,使用参数列表中的参数对重构报文的value进行赋值。VTL重构的报文示例:

{
"id":"$ReqBody_Did.asText()",
"name":"$ReqBody_Dname.asText()",
"isbn":"$ReqBody_Disbn.asText()",
"author":"$ReqBody_Dauthor.asText()",
"price":$ReqBody_Dprice.asText()
}

关于VTL脚本语言更多介绍请参考(http://t.cn/EGsgPrP)

  • 创建API第四步(响应结果配置)

创建API第四步,响应结果配置。

  • “返回ContentType”配置后端服务响应的报文类型。
  • “错误码定义”可以自定义后端服务非正常响应。

到这里,一个完整的实现了报文转换的API注册成功,接下来介绍刚注册好的API如何添加策略配置。

API策略配置

  • ip配置

首先创建黑白名单策略,“控制类型”可选择黑名单或者白名单,“IP列表”可用正则表达式定义,然后在刚刚创建好的白名单策略上绑定API,绑定成功则白名单策略生效。

  • 调用数配置

首先创建调用数控制策略,配置单位时间内的API被调用次数和单位时间内调用方的调用次数,然后在刚刚创建好的调用数策略上绑定API,绑定成功则调用数策略生效。

接下来开始介绍如何调用API。

调用API

  • API发布

API处于“已发布”状态才能被调用。

  • 创建调用方系统

首先创建调用方系统。

  • 调用方系统订阅API

然后调用方系统订阅API。

获取网关颁发给调用方系统的凭证token

订阅完成后,网关会颁发一个令牌,调用系统想要调用刚才订阅的API需要传这个令牌做认证。

调用系统调用订阅后的API

请求已发布的API,将刚刚获取的令牌放入“access_token”请求头中,在IP策略和调用数策略允许范围内,调用成功。

多调用几次后,监控调用详情。

  • API调用监控

刚才调用后,API Gateway Server会产生日志文件,API_Gateway_Monitor自动解析完日志后会产生监控数据,如上图展示。

总结:

EOS 8 API Gateway有以上诸多优点,更为关键的是,两种部署模式能够满足广大用户的不同需求。其消息异步处理机制和统一API管理等功能,必将吸引广泛的用户体验并得到他们的青睐。而丰富的服务引擎也将会使API管理更加完善,给用户以最优的开发体验。

关于作者:李铖,普元java开发工程师,负责ESB/BIIP/DSB的维护,参与普元EOS 8网关的开发,现阶段进行ESB 6.7升级的研发工作。

关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享。

相关推荐

Java 泛型大揭秘:类型参数、通配符与最佳实践

引言在编程世界中,代码的可重用性和可维护性是至关重要的。为了实现这些目标,Java5引入了一种名为泛型(Generics)的强大功能。本文将详细介绍Java泛型的概念、优势和局限性,以及如何在...

K8s 的标签与选择器:流畅运维的秘诀

在Kubernetes的世界里,**标签(Label)和选择器(Selector)**并不是最炫酷的技术,但却是贯穿整个集群管理与运维流程的核心机制。正是它们让复杂的资源调度、查询、自动化运维变得...

哈希Hash算法:原理、应用(哈希算法 知乎)

原作者:Linux教程,原文地址:「链接」什么是哈希算法?哈希算法(HashAlgorithm),又称为散列算法或杂凑算法,是一种将任意长度的数据输入转换为固定长度输出值的数学函数。其输出结果通常被...

C#学习:基于LLM的简历评估程序(c# 简历)

前言在pocketflow的例子中看到了一个基于LLM的简历评估程序的例子,感觉还挺好玩的,为了练习一下C#,我最近使用C#重写了一个。准备不同的简历:image-20250528183949844查...

55顺位,砍41+14+3!季后赛也成得分王,难道他也是一名球星?

雷霆队最不可思议的新星:一个55号秀的疯狂逆袭!你是不是也觉得NBA最底层的55号秀,就只能当饮水机管理员?今年的55号秀阿龙·威金斯恐怕要打破你的认知了!常规赛阶段,这位二轮秀就像开了窍的天才,直接...

5分钟读懂C#字典对象(c# 字典获取值)

什么是字典对象在C#中,使用Dictionary类来管理由键值对组成的集合,这类集合被称为字典。字典最大的特点就是能够根据键来快速查找集合中的值,其键的定义不能重复,具有唯一性,相当于数组索引值,字典...

c#窗体传值(c# 跨窗体传递数据)

在WinForm编程中我们经常需要进行俩个窗体间的传值。下面我给出了两种方法,来实现传值一、在输入数据的界面中定义一个属性,供接受数据的窗体使用1、子窗体usingSystem;usingSyst...

C#入门篇章—委托(c#委托的理解)

C#委托1.委托的定义和使用委托的作用:如果要把方法作为函数来进行传递的话,就要用到委托。委托是一个类型,这个类型可以赋值一个方法的引用。C#的委托通过delegate关键字来声明。声明委托的...

C#.NET in、out、ref详解(c#.net framework)

简介在C#中,in、ref和out是用于修改方法参数传递方式的关键字,它们决定了参数是按值传递还是按引用传递,以及参数是否必须在传递前初始化。基本语义对比修饰符传递方式可读写性必须初始化调用...

C#广义表(广义表headtail)

在C#中,广义表(GeneralizedList)是一种特殊的数据结构,它是线性表的推广。广义表可以包含单个元素(称为原子),也可以包含另一个广义表(称为子表)。以下是一个简单的C#广义表示例代...

「C#.NET 拾遗补漏」04:你必须知道的反射

阅读本文大概需要3分钟。通常,反射用于动态获取对象的类型、属性和方法等信息。今天带你玩转反射,来汇总一下反射的各种常见操作,捡漏看看有没有你不知道的。获取类型的成员Type类的GetMembe...

C#启动外部程序的问题(c#怎么启动)

IT&OT的深度融合是智能制造的基石。本公众号将聚焦于PLC编程与上位机开发。除理论知识外,也会结合我们团队在开发过程中遇到的具体问题介绍一些项目经验。在使用C#开发上位机时,有时会需要启动外部的一些...

全网最狠C#面试拷问:这20道题没答出来,别说你懂.NET!

在竞争激烈的C#开发岗位求职过程中,面试是必经的一道关卡。而一场高质量的面试,不仅能筛选出真正掌握C#和.NET技术精髓的人才,也能让求职者对自身技术水平有更清晰的认知。今天,就为大家精心准备了20道...

C#匿名方法(c#匿名方法与匿名类)

C#中的匿名方法是一种没有名称只有主体的方法,它提供了一种传递代码块作为委托参数的技术。以下是关于C#匿名方法的一些重要特点和用法:特点省略参数列表:使用匿名方法可省略参数列表,这意味着匿名方法...

C# Windows窗体(.Net Framework)知识总结

Windows窗体可大致分为Form窗体和MDI窗体,Form窗体没什么好细说的,知识点总结都在思维导图里面了,下文将围绕MDI窗体来讲述。MDI(MultipleDocumentInterfac...