引言
因为不同的业务场景，异构的业务系统十分常见。异构服务之间的同步通信方式的选择不外乎 HTTP 和 RPC 两种。RPC 方式可以像调用本地方法一样调用远程服务提供的方法，对客户端来说具体实现完全是透明的，服务之间的通信会变得更容易。 对于 RPC 框架的选择，gRPC 当前已经是首选。
gRPC 简介
gRPC是一个高性能、通用的开源RPC框架，其由Google主要面向移动应用开发并基于HTTP/2协议标准而设计，基于ProtoBuf(Protocol Buffers)序列化协议开发，且支持众多开发语言。
gRPC具有以下重要特征：
- 强大的IDL特性
RPC使用ProtoBuf来定义服务，ProtoBuf是由Google开发的一种数据序列化协议，性能出众，得到了广泛的应用。 - 支持多种语言
支持 C++、Java、Go、Python、Ruby、C#、Node.js、Android Java、Objective-C、PHP等编程语言。 - 基于 HTTP/2 标准设计
下面这张图来自于官方网站清晰的给我们展示了使用 gRPC 服务之间的交互流程:
gRPC使用流程
- 定义标准的proto文件
- 生成标准代码
- 服务端使用生成的代码提供服务
- 客户端使用生成的代码调用服务
在这里我们以我们实际业务场景 Python 服务和 Go 服务之间的交互来介绍一下 gRPC 的使用。
Python gRPC
python 环境
这里可以使用 virtualenv 来初始化一个干净的 Python 环境
pip3 install virtualenv
# 使用 python3.7 创建虚拟环境
virtualenv --python=python3.7 venv
source venv/bin/activate
gRPC 依赖
# grpcio 是启动 gRPC 服务的项目依赖
pip install grpcio
# gPRC tools 包含 protocol buffer 编译器和用于从 .proto 文件生成服务端和客户端代码的插件
pip install grpcio-tools
定义 proto 文件
在目录下新建api.proto文件；
//声明proto的版本 只有 proto3 才支持 gRPC
syntax = "proto3";
// 将编译后文件输出在 github.com/lixd/grpc-go-example/helloworld/helloworld 目录
option go_package = "./";
// 指定当前proto文件属于helloworld包
import "google/protobuf/empty.proto";
// service 关键字定义提供的服务
service MyService {
// 定义一个探活方法
rpc Health (.google.protobuf.Empty) returns (.google.protobuf.Empty){
}
// 定义一个批量查询 user 的方法
rpc User (UserReq) returns (UserReply){
}
}
// message 关键字定义交互的数据结构
message UserReq {
repeated int32 userIDs= 1;
}
message UserReply {
string message = 1;
// repeated 定义一个数组
repeated User data = 2;
}
message User {
string name = 1;
int32 age = 2;
string email = 3;
}
生成代码
# 使用 protoc 和相应的插件可以编译生成对应语言的代码
# -I 指定 import 路径，可以指定多个 -I 参数，编译时按顺序查找，不指定默认当前目录
python -m grpc_tools.protoc -I ./ --python_out=. --grpc_python_out=. ./api.proto
经过上述步骤，我们生成了这样两个文件api_pb2.py 此文件包含每个 message 生成一个含有静态描述符的模块，，该模块与一个元类（metaclass）在运行时（runtime）被用来创建所需的Python数据访问类api_pb2_grpc.py 此文件包含生成的 客户端(MyServiceStub)和服务端 (MyServiceServicer)的类。
实现服务端
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import logging
from concurrent import futures
import grpc
import api_pb2_grpc, api_pb2
from api_pb2_grpc import MyServiceServicer
def get_users(user_ids):
users = []
for user_id in user_ids:
# Here you would implement your logic to retrieve the user data based on the user_id
# For this example, we'll just return some dummy data
users.append({'name': f'User {user_id}', 'age': 30, 'email': f'user{user_id}@example.com'})
return users
class Service(MyServiceServicer):
def Health(self, request, context):
return
def User(self, request, context):
print('start to process request...')
res = get_users(request.userIDs)
users = []
for u in res:
users.append(api_pb2.User(name=u['name'], age=u['age'], email=u['email']))
return api_pb2.UserReply(message='success', data=users)
def serve():
print('start grpc server====>')
server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
api_pb2_grpc.add_MyServiceServicer_to_server(Service(), server)
server.add_insecure_port('[::]:50051')
server.start()
server.wait_for_termination()
if __name__ == '__main__':
logging.basicConfig()
serve()
到此，如果我们用 Python 客户端当然也能请求到服务端。因为我们这里介绍的是 Go 和 Python 的交互，这里就不 demo 了。
Go gRPC
我们这里 Go 服务作为客户端调用 Python 服务，同样需要根据 proto 文件生成代码，进而创建客户端发起 RPC。
go gRPC 依赖
参考
$ go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28
$ go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2
生成 Go pb 代码
下载protoc：github.com/protocolbuf…
protoc --go_out=. --go_opt=paths=source_relative --go-grpc_out=. --go-grpc_opt=paths=source_relative api.proto
客户端调用
目录结构如下：
package main
import (
"context"
"fmt"
"log"
"time"
"google.golang.org/grpc"
api "leetcode_test/api"
)
const (
address = "localhost:50051"
defaultName = "world"
)
func main() {
conn, err := grpc.Dial(address, grpc.WithInsecure(), grpc.WithBlock())
if err != nil {
log.Fatalf("did not connect: %v", err)
}
defer conn.Close()
c := api.NewMyServiceClient(conn)
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
defer cancel()
r, err := c.User(ctx, &api.UserReq{UserIDs: []int32{1, 2}})
if err != nil {
log.Fatalf("could not greet: %v", err)
}
fmt.Printf("gprc result: %+v", r.Data)
}
输出示例
Python客户端
from __future__ import print_function
import logging
import grpc
import api_pb2
import api_pb2_grpc
def run():
with grpc.insecure_channel('localhost:50051') as channel:
stub = api_pb2_grpc.MyServiceStub(channel)
response = stub.User(api_pb2.UserReq(userIDs=[1, 2, 3]))
print("Greeter client received: " + response.message)
print(response.data)
if __name__ == '__main__':
logging.basicConfig()
run()
总结
以 Python 服务和 Go 服务之间的 gRPC 通信就说到这里，希望对想使用 gRPC 的同学带来参考和启示。
参考
Go Protobuf 简明教程 geektutu.com/post/quick-…
