バージョンアップ情報
Midscene情報
Midsceneとは
MidsceneはVision-drivenのアプローチを採用したオープンソースGUIエージェントおよび、UI自動化・E2Eテストフレームワークです。
ByteDanceのWebインフラチームによって開発・公開されました。
従来のSeleniumやCypressといったUI自動化ツールはHTMLのDOM構造やソースコードを解析して要素を特定しました。
しかし、Midsceneはそれらに依存せず、マルチモーダルAIの推論能力を活用し、人間が画面を「見て」操作するのと同じようにスクリーンショットの視覚情報からボタンやテキストフィールドを特定して操作を決定します。
これにより、従来のテスト自動化が抱えていた「UIの構造変化に弱い」という根本的な課題を解決するテストフレームワークとして注目を集めています。
主な特徴
Midsceneは最新のAI技術と既存の自動化ツールをシームレスに統合するための強力な機能を備えています。
-
視覚ベースのUI認識
ソースコード上のIDやクラス名、CSSセレクタを一切使用しません。
「画面右上にある青いログインボタン」や「カートアイコン」といった見た目と配置から、AIがピクセル単位の座標を割り出して直接クリックや入力を行います。 -
強力なクロスプラットフォーム対応
Webブラウザにとどまらず、Android、iOS、HarmonyOSといったモバイルOS、さらにはWindows、macOS、Linuxといったデスクトップ環境のネイティブアプリ操作まで、単一の統一されたAPIで横断的に自動化をサポートします。 -
用途に合わせた柔軟なインターフェース
以下のラインアップを備えており、ユーザーのスキルレベルや目的に応じた複数のアプローチを提供します。
・環境構築不要ですぐにブラウザ上で試せるChrome拡張機能
・非エンジニアでも宣言的にシナリオを記述できるYAMLスクリプト
・JestやVitestなどの既存テストフレームワークに高度な制御を組み込めるJavaScript/TypeScript SDK
-
デバッグを容易にする視覚的なレポート生成
テスト実行時には、AIの思考プロセス、クリックやスワイプを行った正確な座標位置、各ステップのスクリーンショットを時系列で記録したインタラクティブなHTMLレポートを自動生成します。
これによりテストが失敗した際の原因究明が一目でわかります。 -
多様なＡＩモデルのサポート
OpenAIのGPTやGoogleのGeminiといった強力な商用クラウドAPIはもちろん、Qwen-VLやUI-TARSなど、ローカルでホスト可能なオープンソースモデルにも幅広く対応する設計になっています。
メリット・デメリット
メリット・必要性
-
堅牢性の高いテストの実現
従来のE２EテストはReactやVueなどのコンポーネント改修によってDOM構造やクラス名が変わるだけで失敗していました。
これに対してMidsceneは「見た目」で判断するため、内部コードがリファクタリングされても、ユーザーから見たUIデザインが同じであればテストスクリプトを修正する必要がありません。 -
自然言語による直感的なスクリプト記述
自然言語で操作を指示できるので、エンジニアだけでなく、プロジェクトマネージャやデザイナーも自動化シナリオの作成やレビューに参加できるようになります。
-
DOMツリーに依存しない複雑なUIの操作
Canvas要素でレンダリングされた複雑なグラフ、クロスオリジン制約のあるiframe、リモートデスクトップのストリーミング画面など、これまでのツールではDOM要素の取得が困難であった対象であっても、画面表示されている限り操作可能です。 -
高度で柔軟なアサーション
特定のテキストが存在するかどうかだけでなく、「レイアウトが崩れていないか」や「グラフが右肩上がりになっているか」など、視覚的、意味的な文脈を含んだ高度な検証をAIに任せることができます。
デメリット・注意点・課題
-
API実行コストの肥大化
Midscene自体の利用は無料ですが、アクションを実行するたびにスクリーンショット画像をAIモデルに送信するため、トークンを大量に消費します。
CI/CDパイプラインで数百のテストケースを毎日実行する場合、商用APIの利用料金が高額になる可能性があります。 -
実行速度の大幅な低下
ローカルで完結する従来のDOM操作とは異なり、「スクリーンショットの取得→巨大な画像のネットワーク送信→AIモデルによる推論処理→座標の返却」というステップを踏むため、1クリックあたり数秒のタイムラグが発生します。
したがって高速な大量実行が求められるパフォーマンステストなどには不向きです。
-
AI特有のハルシネーションと非決定性
AIの性質上、認識ブレによる非決定性を完全にゼロにすることは困難です。
画面内に類似したボタンが複数ある場合や、情報が密集した複雑なダッシュボード画面などでは、AIが誤った要素をクリックしてしまう可能性があります。
類似プロダクト
MidSceneの類似プロダクトとして以下が挙げられます。
|
プロダクト名 |
プロダクト概要 |
|---|---|
|
browser-use |
ユーザーが抽象的で高次元なゴールを与えると、自律的に計画を立ててブラウザを操作し続けるAIエージェントフレームワーク。 |
|
Skyvern |
主にWebスクレイピングやワークフロー自動化に特化したLLMベースのOSS。 |
|
UI-TARS |
UI-TARS自体はテストフレームワークではなく、GUI操作の自動化に特化してファインチューニングされた「次世代の視覚言語モデル」。 |
ユースケース
-
Webブラウザとデスクトップ、モバイルアプリのテスト
複雑なDOM構造を持つWebアプリのテストにおけるXPathやCSSセレクタに依存しない強固なテスト環境の構築、およびElectron、Qt、WPF、その他デスクトップアプリの機能検証、また@midscene/androidおよび@midscene/iosスキルを使用した実際のデバイスやシミュレータ上でのモバイルアプリテストが可能
-
リモートコンピュータ制御
リモートデスクトップ接続を介してリモートマシン上のアプリケーションを操作し、リモート操作やデバッグを実施 -
アプリ間ワークフロー
複数のアプリ間で操作を連鎖、「ブラウザからデータ取得」→「Excelに貼り付け」→「スクリーンショットを撮ってSlackに送信」など
-
CI/CD統合
Linux CI上でXvfbを介してヘッドレスモードでデスクトップ自動化を実行、物理ディスプレイは不要 -
日常業務の自動化
一括フォーム入力、スケジュールされたスクリーンショット監視、自動ファイル整理など
動作環境
対応プラットフォーム
- Android
- iOS
- HarmonyOS
- Windows
- macOS
対応ベンダー・AIモデル
- OpenAI GPT
- Google Gemini
- Qwen
- DeepSeek
- Doubao Seed
- Moonshot Kimi
- Xiaomi MiMo
- Zhipu GLM-V
Midsceneのライセンス
MidsceneはMIT Licenseのもとで公開されています。 MITライセンスは、X Window System (X11)などのソフトウェアに適用されていることから、X11ライセンス、またはXライセンスとも表記されます。
MITライセンスは、数あるソフトウェアライセンスの中で最も制約が少なく、ソースコードの無償の使用のほか、改変、再配布することも認められています。
参考情報
オープンソース年間サポートサービス
OpenStandiaではOSSを安心してご利用いただけるように、オープンソース年間サポートサービスをご提供しております。
サポートしているOSSは下記ページをご参照ください。
