Warning
プロンプト フロー機能の開発は、2026 年 4 月 20 日に終了しました。 この機能は、2027 年 4 月 20 日に完全に廃止されます。 提供終了日に、プロンプト フローは読み取り専用モードになります。 既存のフローは、その日付まで動作し続けます。
Recommended action: 2027 年 4 月 20 日より前に、プロンプト フローワークロードを Microsoft Agent Framework に移行します。
Open Model LLM ツールを使用すると、Falcon や Llama 2 など、さまざまなオープン モデルと基本モデルAzure Machine Learningプロンプト フローでの自然言語処理を利用できます。
Caution
Deprecation notice: Open Model LLM ツールは、LLM ツールを優先して非推奨となりました。これにより、Azure AI モデル推論 API でサポートされているすべてのモデルがサポートされます。そのため、プロバイダーの柔軟性が向上します。
Visual Studio Code プロンプト フロー拡張機能での動作を次に示します。 この例では、このツールを使用して LlaMa-2 チャット エンドポイントを呼び出し、"CI とは何か" を確認しています。
このプロンプト フロー ツールでは、次の 2 種類の LLM API がサポートされています。
- チャット: 前の例に示されています。 チャット API の種類は、テキストベースの入力と応答を使用した対話型の会話を容易にします。
- 入力候補: 入力候補 API の種類は、指定されたプロンプト入力に基づいて単一の応答テキスト補完を生成するために使用されます。
クイック概要: Open Model LLM ツールを使用する方法
- Azure Machine Learning モデル カタログからモデルを選択し、デプロイします。
- モデルデプロイに接続します。
- オープン モデル LLM ツールの設定を構成します。
- プロンプトを準備します。
- フローを実行します。
前提条件: モデルのデプロイ
- シナリオに一致したモデルを Azure Machine Learning モデル カタログから選択します。
-
Deploy ボタンを使用して、モデルをAzure Machine Learningオンライン推論エンドポイントにデプロイします。
- 標準の展開オプションのいずれかを使用します。
詳細については、「 推論のために基礎モデルをエンドポイントにデプロイする」を参照してください。
前提条件: モデルに接続する
デプロイされたモデルをプロンプト フローで使用するには、それに接続する必要があります。 接続する方法は 2 つあります。
Endpoint connections
フローがAzure Machine Learningまたは Foundry ワークスペースMicrosoft関連付けられると、Open Model LLM ツールはそのワークスペース上のエンドポイントを使用できます。
Azure Machine Learningワークスペースまたは Foundry ワークスペースの使用: いずれかの Web ページ ベースのブラウザー ワークスペースでプロンプト フローを使用している場合は、そのワークスペースで自動的に起動するオンライン エンドポイントを使用できます。
VS Code またはコードを最初に使用する: VS Code またはいずれかの Code First オファリングでプロンプト フローを使用している場合は、ワークスペースに接続する必要があります。 Open Model LLM ツールは、承認に azure.identity DefaultAzureCredential クライアントを使用します。 1 つの方法は、 環境の資格情報の値を設定することです。
Custom connections
Open Model LLM ツールは CustomConnection を使用します。 プロンプト フローでは、次の 2 種類の接続がサポートされます。
Workspace 接続 - Azure Machine Learning ワークスペースにシークレットとして格納される接続。 これらの接続は多くの場所で使用できますが、一般的に Studio UI で作成および管理されます。 Studio UI でカスタム接続を作成する方法については、 カスタム接続を作成する方法を参照してください。
ローカル接続 - コンピューターにローカルに格納されている接続。 これらの接続は Studio UX では使用できませんが、VS Code 拡張機能で使用できます。 ローカルカスタム接続を作成する方法については、ローカル 接続を作成する方法を参照してください。
設定する必要があるキーは次のとおりです。
-
endpoint_url
- この値は、以前に作成した推論エンドポイントにあります。
-
endpoint_api_key
- シークレット値として設定してください。
- この値は、以前に作成した推論エンドポイントにあります。
-
model_family
- サポートされる値: LLAMA、DOLLY、GPT2、または FALCON
- この値は、対象とするデプロイの種類によって異なります。
ツールの実行: 入力
Open Model LLM ツールには多くのパラメーターがあり、その一部が必要です。 詳細については、次の表を参照してください。これらのパラメーターを前のスクリーンショットと照合して、視覚的にわかりやすくすることができます。
| Name | タイプ | Description | Required |
|---|---|---|---|
| api | 文字列 | 使用されるモデルと選択したシナリオに依存する API モード。 サポートされている値: (完了 |チャット) | Yes |
| endpoint_name | 文字列 | サポートされているモデルがデプロイされているオンライン推論エンドポイントの名前。 接続よりも優先されます。 | Yes |
| temperature | float | 生成されたテキストのランダム性。 既定値は 1 です。 | No |
| max_new_tokens | 整数 | 完了時に生成するトークンの最大数。 既定値は 500 です。 | No |
| top_p | float | 生成されたトークンから上位の選択肢を使用する確率。 既定値は 1 です。 | No |
| model_kwargs | 辞書 | この入力は、使用されるモデルに固有の構成を提供するために使用されます。 たとえば、Llama-02 モデルでは {"temperature":0.4} を使用できます。 既定： {} | No |
| deployment_name | 文字列 | オンライン推論エンドポイントのターゲットとなるデプロイの名前。 値が渡されない場合は、推論ロード バランサーのトラフィック設定が使用されます。 | No |
| ダイアログを表示する | 文字列 | 言語モデルが応答を生成するために使用するテキスト プロンプト。 | Yes |
Outputs
| API | Return Type | Description |
|---|---|---|
| Completion | 文字列 | 1 つの予測完了のテキスト |
| Chat | 文字列 | 会話に含まれる 1 つの応答のテキスト |
オンライン エンドポイントへのデプロイ
Open Model LLM ツールを含むフローをオンライン エンドポイントにデプロイする場合は、アクセス許可を設定するための追加の手順があります。 Web ページを介したデプロイ中に、システム割り当て ID の種類とユーザー割り当て ID の種類を選択できます。 どちらの方法でも、Azure ポータル (または同様の機能) を使用して、エンドポイントをホストしている Azure Machine Learning ワークスペースまたは Ai Studio プロジェクトの ID に "閲覧者" ジョブ関数ロールを追加します。 プロンプト フローのデプロイを更新する必要がある場合があります。