go-kit 微服务 限流 (uber/ratelimit 和 golang/rate 实现)

golang/rate 简介(golang.org/x/time/rate)

  • golang 标准库中就自带的限流算法
  • 该限流器是基于 Token Bucket(令牌桶) 实现的
//第一个参数是 r Limit。代表每秒可以向 Token 桶中产生多少 token
//第二个参数是 b int。b 代表 Token 桶的容量大小
golangLimit := rate.NewLimiter(10, 1)
//golangLimit 其令牌桶大小为 1, 以每秒 10 个 Token 的速率向桶中放置 Token。

  • Wait/WaitN
    • Wait 实际上就是 WaitN(ctx,1)
    • 当使用 Wait 方法时,如果令牌桶内Token(大于or等于 N)直接返回,如果当时令牌桶内 Token 不足(小于 N),那么 Wait 方法将会阻塞,直到能从令牌桶内获得 Token
  • Allow/AllowN
    • Allow 实际上就是 AllowN(time.Now(),1)。
    • 当使用使用 AllowN 方法时,截止到time.Now()这一时刻(time可以自己传入)令牌桶中数目必须(大于or等于 N),满足则返回正确,同时从令牌桶中消费 N 个 Token
    • 应用场景请求速度太快就直接丢掉一些请求
  • Reserve/ReserveN
    • Reserve 相当于 ReserveN(time.Now(), 1)
    • 当使用使用 ReserveN 方法时,不管能不能从令牌桶内获取到Token都会返回一个Reservation对象
    • Reservation对象的 Ok() 方法返回了令牌桶是否可以在最大等待时间内提供请求的令牌数量,如果OK为false,则Delay()返回InfDuration
    • Reservation对象的 Delay() 方法返回了需要等待的时间,如果时间为0则不需要等待
    • 如果不想等待就调用 Reservation对象的 Cancel()

uber/ratelimit 简介(go.uber.org/ratelimit)

  • uber 开源的限流算法,
  • 该组件基于 Leaky Bucket(漏桶) 实现的
//一秒请求一次
uberLimit := ratelimit.New(1)         
//使用方法
uberLimit.Take()        

Endpoint层修改

  • 添加基于golang.org/x/time/rate的限流中间件
func NewGolangRateAllowMiddleware(limit *rate.Limiter) endpoint.Middleware {
	return func(next endpoint.Endpoint) endpoint.Endpoint {
		return func(ctx context.Context, request interface{}) (response interface{}, err error) {
			if !limit.Allow() {
				return "", errors.New("limit req  Allow")
			}
			return next(ctx, request)
		}
	}
}

  • 添加基于go.uber.org/ratelimit的限流中间件
func NewUberRateMiddleware(limit ratelimit.Limiter) endpoint.Middleware {
	return func(next endpoint.Endpoint) endpoint.Endpoint {
		return func(ctx context.Context, request interface{}) (response interface{}, err error) {
			limit.Take()
			return next(ctx, request)
		}
	}
}
  • 对于需要限流的方法添加限流中间件
func NewEndPointServer(svc v4_service.Service, log *zap.Logger, limit *rate.Limiter, limiter ratelimit.Limiter) EndPointServer {
	var addEndPoint endpoint.Endpoint
	{
		addEndPoint = MakeAddEndPoint(svc)
		addEndPoint = LoggingMiddleware(log)(addEndPoint)
		addEndPoint = AuthMiddleware(log)(addEndPoint)
		addEndPoint = NewUberRateMiddleware(limiter)(addEndPoint)
	}
	var loginEndPoint endpoint.Endpoint
	{
		loginEndPoint = MakeLoginEndPoint(svc)
		loginEndPoint = LoggingMiddleware(log)(loginEndPoint)
		loginEndPoint = NewGolangRateAllowMiddleware(limit)(loginEndPoint)
	}
	return EndPointServer{AddEndPoint: addEndPoint, LoginEndPoint: loginEndPoint}
}

激动人心的时刻来了,修改main方法

utils.NewLoggerServer()
golangLimit := rate.NewLimiter(10, 1) //每秒产生10个令牌,令牌桶的可以装1个令牌
uberLimit := ratelimit.New(1)         //一秒请求一次
server := v4_service.NewService(utils.GetLogger())
endpoints := v4_endpoint.NewEndPointServer(server, utils.GetLogger(), golangLimit, uberLimit)
httpHandler := v4_transport.NewHttpHandler(endpoints, utils.GetLogger())
utils.GetLogger().Info("server run 0.0.0.0:8888")
_ = http.ListenAndServe("0.0.0.0:8888", httpHandler))

日志(一秒请求100次接口)

  • 日志比较多这里我减少了一些日志以便于观看

  • go.uber.org/ratelimit的限流中间件

2020-01-03 09:46:30     DEBUG   v4_transport/transport.go:70    5fd6eae3-32ea-5a24-9507-ed3c865f2e50    {" 开始解析请求数据": {"a":1,"b":1}}
2020-01-03 09:46:31     DEBUG   v4_transport/transport.go:70    ca39186b-c4e1-5976-bb02-f5e484aeca48    {" 开始解析请求数据": {"a":1,"b":1}}
2020-01-03 09:46:32     DEBUG   v4_transport/transport.go:70    691bfdf1-6701-553f-ae78-d443eff6fb6b    {" 开始解析请求数据": {"a":1,"b":1}}
......
可以看到请求是按照我们控制的一秒一秒请求的
  • golang.org/x/time/rate的限流中间件
2020-01-03 09:42:17     DEBUG   v4_transport/transport.go:75    cc74b82d-4fa9-558c-acd3-ad2ea292dfdd    {"请求结束封装返回值":"token"}}
2020-01-03 09:42:17     WARN    v4_transport/transport.go:20    c1a00c56-edad-55b0-b546-076a0d070086    {"error": "limit req  Allow"}
2020-01-03 09:42:17     DEBUG   v4_transport/transport.go:75    2c8ab986-c300-5df1-99fc-0d88c8db8c40    {"请求结束封装返回值":"token"}}
2020-01-03 09:42:17     WARN    v4_transport/transport.go:20    8e5dc5d4-e048-56c7-9a42-33863843cd67    {"error": "limit req  Allow"}
......

结语

  • 在请求数量过多且我们的服务处理不完时,添加限流能保证我们服务的健康状态
  • 在文章中我只展示了下限流在go-kit里面的简单使用
  • 欢迎添加QQ一起讨论

完整代码地址

联系 QQ: 3355168235