バージョンアップ情報
LiteLLM情報
LiteLLMとは
LiteLLMは複数のLLM（大規模言語モデル）APIへのアクセスを統一的かつシンプルなインターフェースで提供するPythonライブラリです。これにより、OpenAI、Anthropic、Cohere、Azure OpenAI、Google Vertex AI など、様々なサービスのLLMをコード変更なく切り替えて使うことができます。
主な特徴
LiteLLMにはLiteLLM Python SDKとLiteLLM Proxy Serverという2通りの利用方法があり、それぞれ以下のような特徴があります。
|
特徴 |
説明 |
|---|---|
|
統一されたインターフェース |
(Python SDK/Proxy Server共通) |
|
複数のモデルに対応 |
(Python SDK/Proxy Server共通) |
|
ルーティングとフォールバック |
(Python SDK/Proxy Server共通) |
|
メトリクスやレート制限 |
(Proxy Serverのみ) |
|
拡張性 |
(Proxy Serverのみ) |
|
エンタープライズ版機能 |
(Proxy Serverのみ) |
LiteLLM Python SDKとLiteLLM Proxy Serverでは対応するユースケースが異なります。想定されるユースケースに合わせて、どちらを利用するかを選択することになります。
LiteLLM Python SDK
|
ユースケース例 |
説明 |
|---|---|
|
個人や少人数でのAI開発・実験 |
Pythonスクリプト/ノートブック等ですぐにLLMを呼び出したい場合 |
|
アプリケーション組み込み |
Webアプリやバッチ処理などで直接LLM APIコールを組み込みたい場合 |
|
カスタム処理を含むLLMを利用したワークフロー |
独自の前処理や後処理をPythonコード上で柔軟に書きたい場合 |
|
複数プロバイダのAPI連携ロジックを自作したい場合 |
異なるLLM/APIの切り替えをプログラム内で統一して扱いたい場合 |
|
軽量・高速なプロトタイピング |
サーバーやミドルウェア不要ですぐに開発/動作確認できる |
優れている点
- 使い方がシンプル：インストール後すぐにPythonからLLMを利用可能
- 細かなカスタム処理：前後処理や分岐ロジックを自分で自由に作れる
- 依存が小さい＆高速：サーバー構築せず、即座にコード実行可能
- 個別プロジェクト向き：自分の開発環境やニーズに合わせてアレンジしやすい
LiteLLM Proxy Server
|
ユースケース例 |
説明 |
|---|---|
|
企業・組織・チームでAIサービスを共通運用したい |
複数部門が共通API経由でLLMを利用・統括管理 |
|
セキュリティ管理・監査・アクセス制御が必要な場合 |
ガードレール（フィルタ・監査）やAPIキー・権限管理が求められる場合 |
|
外部アプリ・サービスからOpenAI API互換エンドポイント提供 |
利用ログ・集計・ダッシュボード連携など管理機能が必要な場合 |
|
システム横断的な連携・拡張 |
ミドルウェア・プラグイン組み込みによる全社的な機能拡張 |
優れている点
-
社内・組織運営向け：複数ユーザー・部署でセキュアなLLM運用が可能
- 一括管理・監査・統制：APIキー/認証や利用ログを一元管理、ガードレール/フィルタもシステム全体に適用可能
-
OpenAI互換APIエンドポイント：社内外のアプリが一律でLLMを利用可能
- 高い拡張性・連携機能：ミドルウェア、外部監査、SSO、ダッシュボード連携等が容易
メリット・デメリット
メリット・必要性
-
LLM APIの切り替えや拡張が容易
- 異なるプロバイダのモデルを共通的なコードで利用可能
- 障害時の回避やコスト最適化など、運用面も柔軟
デメリット・注意点・課題
-
外部ライブラリとの依存関係によりアップデート時の互換性の問題が起きる可能性がある
- 特定プロバイダの独自機能（細かいオプション等）は一部未対応の場合あり
- 連携先である各LLMプロバイダのAPI制限や課金体系の制約を受ける
類似プロダクト
LiteLLMに類似するプロダクトとして下記のものがあります。
-
LangChain
- LLMStack
- OpenRouter
動作環境
- Python: 3.7以降
- OS: Mac, Linux, Windows いずれも対応
- クラウド/オンプレどちらでも利用可能
- 対応する各LLMベンダのAPIキーが必要
LiteLLMのライセンス
LiteLLM の本体（通常利用部分）のライセンスはMITライセンスです。ただし、リポジトリ内の enterprise ディレクトリに対してはBerriAI Enterprise licenseという独自ライセンスが適用されます。
(参考) https://github.com/BerriAI/litellm/tree/main/enterprise
このBerriAI Enterprise licenseはMITライセンスよりも制限が厳しく、主に以下のような特徴があります。
-
本番環境での利用にはエンタープライズライセンス（ライセンスキー）が必要
- エンタープライズライセンスがない状態でのソースコードの修正、複製、統合、公開、再配布は禁止(開発およびテスト環境ではライセンス不要)
このため、LiteLLMを利用する際は自分が利用する機能がどのディレクトリに含まれるかについて確認が必要であり、高機能なルーティング、管理系、監査系機能などのenterprise機能を利用する場合はライセンス内容に沿った対応が求められます(個別の確認が必要な場合はBerriAI社に直接お問い合わせください)。
参考情報
オープンソース年間サポートサービス
OpenStandiaではOSSを安心してご利用いただけるように、オープンソース年間サポートサービスをご提供しております。
サポートしているOSSは下記ページをご参照ください。
関連OSS
-
dify
Dify（ディフィ）は、既存の大規模言語モデルに基づいたオープンソースのAIアプリ開発プラットフォームです。