Simular la API de Azure OpenAI

De un vistazo
Objetivo: Simulación de Azure OpenAI mediante LLM local
Tiempo: 15 minutos
Plugins:OpenAIMockResponsePlugin
Requisitos previos:Configuración del proxy de desarrollo, modelo de lenguaje local

Al compilar aplicaciones conectadas a Azure OpenAI, a menudo, solo una parte de la aplicación interactúa con la API de Azure OpenAI. Cuando trabajes en las partes de la aplicación que no requieran respuestas reales de la API de Azure OpenAI, puedes simular las respuestas mediante Dev Proxy. El uso de respuestas simuladas permite evitar incurrir en costos innecesarios. El OpenAIMockResponsePlugin utiliza un modelo de lenguaje local que se ejecuta en tu equipo para simular las respuestas de la API de Azure OpenAI.

Antes de comenzar

Para simular las respuestas de la API de Azure OpenAI mediante Dev Proxy, necesita un cliente de modelo de lenguaje compatible instalado en el equipo.

De forma predeterminada, Dev Proxy usa el modelo de lenguaje llama3.2 que se ejecuta en Ollama. Para usar un cliente o modelo diferente, actualice la configuración del modelo de lenguaje en el archivo de configuración de Dev Proxy.

Configurar Dev Proxy para simular respuestas de la API de Azure OpenAI

Sugerencia

Los pasos descritos en este tutorial están disponibles en un valor preestablecido de Proxy de desarrollo listo para usar. Para utilizar la configuración preestablecida, en la línea de comandos, ejecuta devproxy config get simulate-azure-openai y sigue las instrucciones.

Para simular las respuestas de la API de Azure OpenAI mediante el Proxy de desarrollo, debe habilitar el OpenAIMockResponsePlugin en el archivo devproxyrc.json.

Archivo:devproxyrc.json

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v4.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

A continuación, configure el proxy de desarrollo para interceptar las solicitudes a la API de Azure OpenAI. Para simplificar, use caracteres comodín para interceptar las solicitudes a todos los despliegues.

Archivo: devproxyrc.json

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Por último, configura Dev Proxy para que utilice un modelo de lenguaje local.

Archivo: devproxyrc.json

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

El archivo de configuración completo tiene este aspecto.

Archivo: devproxyrc.json

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v4.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simular respuestas de la API de Azure OpenAI

Suponiendo la configuración predeterminada, inicie Ollama con el modelo de lenguaje llama3.2. En la línea de comandos, ejecute ollama run llama3.2.

A continuación, inicie el Proxy de desarrollo. Si usa el valor preestablecido, ejecute devproxy --config-file "~dataFolder/configs/simulate-azure-openai/.devproxy/devproxyrc.json". Si usa un archivo de configuración personalizado denominado devproxyrc.json, almacenado en el directorio de trabajo actual, ejecute devproxy. Dev Proxy comprueba que puede acceder al modelo de lenguaje en Ollama y confirma que está listo para simular las respuestas de la API de Azure OpenAI.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Dev Proxy (Kestrel engine) listening on 127.0.0.1:8000

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Ejecute la aplicación y realice solicitudes a la API de Azure OpenAI. Dev Proxy intercepta las solicitudes y simula las respuestas mediante el modelo de lenguaje local.

Recorte de pantalla de un símbolo del sistema con Proxy de desarrollo simulando la respuesta para una solicitud a la API de Azure OpenAI.

Paso siguiente

Más información sobre OpenAIMockResponsePlugin.

Muestras

Vea también los ejemplos relacionados de Dev Proxy: