MLflow とは？動作確認や機能、特徴などを解説| OSSサポートのOpenStandia™【NRI】

MLflow

NRIのOpenStandiaが提供するMLflow最新情報

MLflowバージョンアップ情報

更新日：2022-09-27

MLflowの概要

MLflowは、実験、再現、デプロイ、モデルの保存など、機械学習のライフサイクルを管理するためのオープンソースプラットフォームです。MLflowを使用すると、機械学習の実験結果を追跡して整理し、他の機械学習エンジニアに説明したり、機械学習モデルをパッケージ化し、デプロイしたりすることができます。大規模な組織での利用が可能になるようにスケーラビリティを考慮した設計がされていますが、個人のユーザーにも最適なOSSです。

MLflowの機能

現在、MLflowは次の4つのコンポーネントを提供しています。

MLflow Tracking
実験（コード、データ、設定、結果）の記録と検索を行う
MLflow Projects
任意のプラットフォームでコードの実行を再現できる形式でパッケージ化する
MLflow Models
多様なサービス環境に機械学習モデルをデプロイする
MLflow Registry
セントラルリポジトリでモデルを保存、アノテーション付け、検出、および管理を行う

それぞれについてもう少し詳しく紹介します。

MLflow Tracking

MLflow Trackingにより、実験の記録と検索が可能です。コードのバージョンや使用したハイパーパラメータ、実行結果などの情報をファイルやRDBMSに保存し、GUIで解析することができます。

以下の例のように、リモートMLflow Tracking Server、
バックエンドエンティティストレージ用のPostgreSQL、およびアーティファクトストレージ用のS3バケットを備えた分散アーキテクチャもサポートします。

(出典:https://mlflow.org/docs/latest/tracking.html)

MLflow Projects

MLflow Projectsは、他者のコードの再利用と実行結果の再現ができるようにするためのパッケージングを行います。以下のようなYAML形式のテキストファイルをプロジェクトのルートディレクトリに追加することで、MLflowプロジェクトを制御します。


name: My Project

conda_env: my_env.yaml
# Can have a docker_env instead of a conda_env, e.g.
# docker_env:
#    image:  mlflow-docker-example

entry_points:
  main:
    parameters:
      data_file: path
      regularization: {type: float, default: 0.1}
    command: "python train.py -r {regularization} {data_file}"
  validate:
    parameters:
      data_file: path
    command: "python validate.py {data_file}"

MLflow Models

学習したモデルを決められたフォーマットでパッケージングしたり、デプロイする機能です。学習済みのモデルを利用するために必要なCondaやDockerの環境を構築したり、学習済みのモデルで推論を行うREST APIサーバーを起動することが、以下のようにコマンド1つでできます。


$ mlflow models serve --model-uri my_model

MLflow Registry

MLflow Registryは、MLflowモデルのライフサイクル全体を共同で管理するための、一元化されたモデルストア、APIのセット、およびUIです。提供される機能は、モデルの系統（モデルが作成されたMLflowの実験と実行）のバージョンの管理、ステージの移行（ステージングから本番への移行など）、およびアノテーションなどです。