トップ ブログ gRPC はじめからていねいに

gRPC はじめからていねいに

本記事は、NRIエンジニアによって2023年12月15日にQiitaに投稿された記事です。

はじめに

現在配属されているプロジェクトで、既存システムのマイクロサービス化対応を行っています。
その中でgRPCも使っているのですが、名前は聞いたことがあって、なんとなくは知っているけど、実際に触ったことがなかったので、これを機に基礎から学んでみようと思いました。
ということで、「完全に理解した」状態を一緒に目指しましょう!

gRPCとは

Googleが開発したRPC(Remote Procedure Call)[1]を実現するためのフレームワークです。

  • Protocol Buffersというバイナリ形式のシリアライズデータを利用し、データをシリアライズして高速な通信を実現します。
    (Protocol Buffersがデファクトスタンダード)
  • protoファイルと呼ばれるIDL(Interface Definition Language)にAPIの仕様を記述し、サーバサイドとクライアントサイドのスタブコードを自動生成できます。
  • 自動生成コードは多言語対応で、サーバサイドとクライアンサイドが異なる言語でも問題ありません。
  • 通信プロトコルにはHTTP/2が使われています。
    (Webで基本的に利用されているHTTP/1.1より通信速度が速い)

特にHTTP/2はHTTP/1.1よりも通信速度が速いことや、ProtoBufはJSONなどと比較するとデータ量が少ないことから、サービス間の効率的かつ高速な通信が可能であり、マイクロサービスアーキテクチャに適しています。

触ってみよう

百聞は一見にしかずということで、実際に簡単な例を用いてgRPCを実装してみましょう。
今回はChatGPTさんに聞いたら、初心者はpythonがおすすめとのことだったので、pythonで実装します。
公式のチュートリアルはGoですが、ChatGPTさんを信じます。笑

※前提:pythonがインストールされていること

0. 実装の大まかな流れ & 最終構成イメージ

  1. .protoファイルを作成する
  2. .protoファイルからスタブを作成する
  3. ClientサービスとServerサービスを作成する(スタブを利用)

Server側でサービスを立ち上げた状態で、Clientからリクエストを投げると、Serverからレスポンスが返ってくる という状態を目指します。

1. gRPCとProtocol Buffersのインストール

gRPCを実装する上で必要なパッケージのインストールをします。

pip install grpcio
pip install grpcio-tools

2. Protocol Buffers定義の作成

.protoファイルでは、gRPCで使用されるProtocol Buffers(ProtoBuf)のインターフェース定義言語(IDL)を使って、サービスのインターフェース(約束事・契約などと呼ばれます)とメッセージ構造を定義しています。

helloworld.proto

syntax = "proto3";

package helloworld;

// The greeting service definition.
service Greeter{
        // Sends a greeting
        rpc SayHello (HelloRequest) returns (HelloReply) {}
}

// The request message containing the user's name.
message HelloRequest{
        string name = 1;
}

// The response message containing the greetings.
message HelloReply{
        string message = 1;
}
コード詳細

3. サーバとクライアントのスタブコード生成

先程作成した、.protoファイルからPythonのサーバとクライアントのスタブコードを生成します。
一番初めにインストールした、grpc_toolsの中のprotocコマンドを用いて、スタブコードを自動生成できます。

python -m grpc_tools.protoc -I. --python_out=. --grpc_python_out=. helloworld.proto
  • -I : .protoファイルが格納されているディレクトリを指定
  • --python_out : 生成されるPythonクラスの出力ディレクトリを指定
  • --grpc_python_out : 生成されるgRPCのサービススタブの出力ディレクトリを指定

生成されるファイルは以下の2つ。

  • helloworld_pb2.py : メッセージ定義ファイル(メッセージクラスの定義を含むファイル)
  • helloworld_pb2_grpc.py : サービス定義ファイル(gRPCサービスのクライアントとサーバーのスタブを含むファイル)
補足

4. サーバの実装

先程生成したスタブコードを用いて、サーバの実装をします。

greeter_server.py

from concurrent import futures
import grpc
import helloworld_pb2
import helloworld_pb2_grpc

class Greeter(helloworld_pb2_grpc.GreeterServicer):

    def SayHello(self, request, context):
        return helloworld_pb2.HelloReply(message='Hello, %s!' % request.name)

def serve():
    server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
    helloworld_pb2_grpc.add_GreeterServicer_to_server(Greeter(), server)
    server.add_insecure_port('[::]:50051')
    server.start()
    server.wait_for_termination()

if __name__ == '__main__':
    serve()
コード詳細
  • 必要なものをインポートします。
  • concurrent import futuresは非同期実行をサポートするためのモジュール
  • grpcは言わずもがな、gRPCのPythonパッケージ
  • 残り2つは先程作成したスタブコード
class Greeter(helloworld_pb2_grpc.GreeterServicer):

    def SayHello(self, request, context):
        return helloworld_pb2.HelloReply(message='Hello, %s!' % request.name)
  • Greeterクラスはスタブ内で定義されているGreeterServicerを継承しており、.protoファイルで定義したGreeterサービスの実装を提供しています。
  • SayHelloメソッドは、クライアントからのHelloRequestリクエストを受け取り、HelloReplyメッセージを返します。このメソッドは、クライアントが送信した名前(request.name)を使ってレスポンスを作成します。

gRPCを実装する上で、(今回でいうと)GreeterServicerを継承したGreeterクラスを定義することは必須であり、その中でSayHelloメソッドを定義することも必須です。
.protoファイルの中でGreeterクラスがあり、SayHelloメソッドを持つと定義したため。)

def serve():
    server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
    helloworld_pb2_grpc.add_GreeterServicer_to_server(Greeter(), server)
    server.add_insecure_port('[::]:50051')
    server.start()
    server.wait_for_termination()
  • gRPCサーバの起動処理が記述されています。
  • add_GreeterServicer_to_serverメソッドは、スタブ内で定義されており、Greeterサービスをサーバに登録します。
  • 50051ポートでリクエストを受け付けます。
  • server.start()でサーバが起動します。
  • server.wait_for_termination()は、サーバが終了するまで現在のスレッドをブロックします。
if __name__ == '__main__':
     serve()
  • スクリプトが直接実行された場合にserve関数を呼び出します。これにより、gRPCサーバが起動し、クライアントからのリクエストを待ち受けます。

5. クライアントの実装

最後に、サーバにリクエストを送信するクライアント側の実装を行います。

greeter_client.py

import grpc
import helloworld_pb2
import helloworld_pb2_grpc

def run():
    with grpc.insecure_channel('localhost:50051') as channel:
        stub = helloworld_pb2_grpc.GreeterStub(channel)
        response = stub.SayHello(helloworld_pb2.HelloRequest(name='you'))
        print("Greeter client received: " + response.message)

if __name__ == '__main__':
      run()
コード詳細
  • grpc.insecure_channel('localhost:50051') : gRPCサーバへの接続を開設します。ここでは、セキュリティがない(非暗号化の)接続を意味するinsecure_channelを使用し、ローカルホスト上の50051ポートに接続します。
  • helloworld_pb2_grpc.GreeterStub(channel) : サーバのGreeterサービスにアクセスするためのスタブ(クライアントサイドのプロキシ)を生成します。このスタブを使ってサーバのメソッドを呼び出します。
  • stub.SayHello(helloworld_pb2.HelloRequest(name='you')) : SayHelloメソッドをリモート呼び出しします。リクエストにはHelloRequestメッセージを使用し、name='you'というパラメータを設定します。
  • print("Greeter client received: " + response.message) : サーバからのレスポンス(HelloReplyメッセージ)を受け取り、そのmessageフィールドの内容をコンソールに出力します。

他の要素はサーバの実装と同等なため、説明は省きます。

6. 稼働確認

一通り実装が完了したので、稼働確認をしましょう。
まずは、ターミナルを2つ(サーバ用とクライント用)立ち上げます。

サーバ側で以下のコマンドを叩き、サーバを起動します。

python greeter_server.py

サーバ側が待機状態になったら以下のコマンドをクライアント側で叩いて、リクエストを送信します。

python greeter_client.py

以下のようにクライアント側に返ってきたら成功です!!
お疲れさまでした!

Greeter client received: Hello, you!

せっかくなので、もう少し踏み込んでみる

もう少し実務に近い実装をしてみたいと思います。以下の簡単なシナリオを想定して、実装してみましょう。

  • ユーザ情報を管理するマイクロサービス(UserService)と、ユーザの注文を処理する別のマイクロサービス(OrderService)を作成します。
  • UserServiceはユーザの詳細を返し、OrderServiceはそのユーザの注文情報を返します。

※今回は各コードの説明は省きます。

0. 実装イメージ

  • UserService : ユーザ情報を取得するサービス。
  • OrderService : 特定のユーザの注文情報を取得するサービス。
  • API Gateway : クライアントのリクエストを適切なサービスにルーティングする。

最終的には、2つのサービスを起動した状態でAPIGatewayを起動し、ユーザIDを入力すると、そのIDに対応する「ユーザ情報」と「注文情報」が表示されます。

1. .protoファイルの作成・コンパイル

user_service.proto

syntax = "proto3";

package user;

service UserService {
    rpc GetUser (UserRequest) returns (UserResponse) {}
}

message UserRequest {
    string user_id = 1;
}

message UserResponse {
    string user_id = 1;
    string name = 2;
    string email = 3;
}

order_service.proto

syntax = "proto3";

package order;

service OrderService {
    rpc GetOrder (OrderRequest) returns (OrderResponse) {}
}

message OrderRequest {
    string user_id = 1;
}

message OrderResponse {
    string order_id = 1;
    string user_id = 2;
    string product_name = 3;
    int32 quantity = 4;
}

2. サーバの実装

UserServiceサーバは50051ポートで、OrderServiceサーバは50052ポートで受け付けます。

user_service.py

from concurrent import futures
import grpc
import user_service_pb2
import user_service_pb2_grpc

class UserService(user_service_pb2_grpc.UserServiceServicer):
    def GetUser(self, request, context):
        # ビジネスロジックの例: ユーザIDに基づいてユーザ情報を検索
        if request.user_id == "123":
            # 特定のユーザIDに対するレスポンス
            return user_service_pb2.UserResponse(user_id=request.user_id, name="Alice", email="alice@example.com")
        else:
            # ユーザが見つからない場合のレスポンス
            return user_service_pb2.UserResponse(user_id=request.user_id, name="Unknown", email="")

def serve():
    # サーバー設定
    server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
    user_service_pb2_grpc.add_UserServiceServicer_to_server(UserService(), server)
    server.add_insecure_port('[::]:50051')
    server.start()
    server.wait_for_termination()

if __name__ == '__main__':
    serve()

order_service.py

from concurrent import futures
import grpc
import order_service_pb2
import order_service_pb2_grpc

class OrderService(order_service_pb2_grpc.OrderServiceServicer):
    def GetOrder(self, request, context):
        # ビジネスロジックの例: ユーザIDに基づいて注文情報を取得
        if request.user_id == "123":
            # 特定のユーザIDに対する注文情報のレスポンス
            return order_service_pb2.OrderResponse(order_id="order123", user_id=request.user_id, product_name="Book", quantity=1)
        else:
            # 注文が見つからない場合のレスポンス
            return order_service_pb2.OrderResponse(order_id="", user_id=request.user_id, product_name="", quantity=0)

def serve():
    # サーバー設定
    server = grpc.server(futures.ThreadPoolExecutor(max_workers=10))
    order_service_pb2_grpc.add_OrderServiceServicer_to_server(OrderService(), server)
    server.add_insecure_port('[::]:50052')
    server.start()
    server.wait_for_termination()

if __name__ == '__main__':
    serve()

3. クライアントの実装

api_gateway.py

import grpc
import user_service_pb2
import user_service_pb2_grpc
import order_service_pb2
import order_service_pb2_grpc

def get_user_info(user_id):
    with grpc.insecure_channel('localhost:50051') as channel:
        stub = user_service_pb2_grpc.UserServiceStub(channel)
        response = stub.GetUser(user_service_pb2.UserRequest(user_id=user_id))
        return response

def get_order_info(user_id):
    with grpc.insecure_channel('localhost:50052') as channel:
        stub = order_service_pb2_grpc.OrderServiceStub(channel)
        response = stub.GetOrder(order_service_pb2.OrderRequest(user_id=user_id))
        return response

def run():
    user_id = input("Enter user ID: ")  # ユーザの入力を受け取る
    user_info = get_user_info(user_id)
    order_info = get_order_info(user_id)

    print("User Info:", user_info)
    print("Order Info:", order_info)

if __name__ == '__main__':
    run()

4. 稼働確認

サーバが先程から1つ増えたので、ターミナルを3つ立ち上げます。UserService用のターミナル

UserService用のターミナル

python user_service.py

OrderService用のターミナル

python order_service.py

サーバを立ち上げた状態で、APIGateway用のターミナルで以下コマンドを叩くと、IDの入力を促されるので、「123」と入力します。

python api_gateway.py
Enter user ID: 123

すると、以下のようにレスポンスが返ってくるはずです。

User Info: user_id: "123"
name: "Alice"
email: "alice@example.com"

Order Info: order_id: "order123"
user_id: "123"
product_name: "Book"
quantity: 1

試しに、IDを「111」と入力すると、以下のように返ってきます。

User Info: user_id: "111"
name: "Unknown"

Order Info: user_id: "111"

これでおしまいです!!
お疲れさまでした!!

おわりに

ここまで読んでいただいた方ありがとうございました!!

今回はgRPCの概要説明からはじめて、2つの例を用いてハンズオンを行いました。
名前だけ聞いたことがあったgRPCですが、たぶんこれで完全に理解しました。笑

いずれはk8sと組み合わせて、実務に近い実装ができたらいいなあなんて思ったり…


[1] RPC : 別のコンピュータ上にあるプログラムを、自分のプログラム内から呼び出すための技術

関連OSS

  • gRPC
    サポート対象

    gRPC

    ジーアールピーシー。Googleが2015年に開発したオープンソースのRPCです。

お気軽にお問い合わせください
オープンソースに関するさまざまな課題、OpenStandiaがまるごと解決します。
下記コンテンツも
あわせてご確認ください。