Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
De un vistazo
Objetivo: Simulación de Azure OpenAI mediante LLM local
Tiempo: 15 minutos
Plugins:OpenAIMockResponsePlugin
Requisitos previos:Configuración del proxy de desarrollo, modelo de lenguaje local
Al compilar aplicaciones conectadas a Azure OpenAI, a menudo, solo una parte de la aplicación interactúa con la API de Azure OpenAI. Cuando trabajes en las partes de la aplicación que no requieran respuestas reales de la API de Azure OpenAI, puedes simular las respuestas mediante Dev Proxy. El uso de respuestas simuladas permite evitar incurrir en costos innecesarios. El OpenAIMockResponsePlugin utiliza un modelo de lenguaje local que se ejecuta en tu equipo para simular las respuestas de la API de Azure OpenAI.
Antes de comenzar
Para simular las respuestas de la API de Azure OpenAI mediante Dev Proxy, necesita un cliente de modelo de lenguaje compatible instalado en el equipo.
De forma predeterminada, Dev Proxy usa el modelo de lenguaje llama3.2 que se ejecuta en Ollama. Para usar un cliente o modelo diferente, actualice la configuración del modelo de lenguaje en el archivo de configuración de Dev Proxy.
Configurar Dev Proxy para simular respuestas de la API de Azure OpenAI
Sugerencia
Los pasos descritos en este tutorial están disponibles en un valor preestablecido de Proxy de desarrollo listo para usar. Para utilizar la configuración preestablecida, en la línea de comandos, ejecuta devproxy config get simulate-azure-openai y sigue las instrucciones.
Para simular las respuestas de la API de Azure OpenAI mediante el Proxy de desarrollo, debe habilitar el OpenAIMockResponsePlugin en el archivo devproxyrc.json.
Archivo:devproxyrc.json
{
"$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v4.0.0/rc.schema.json",
"plugins": [
{
"name": "OpenAIMockResponsePlugin",
"enabled": true,
"pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}
]
}
A continuación, configure el proxy de desarrollo para interceptar las solicitudes a la API de Azure OpenAI. Para simplificar, use caracteres comodín para interceptar las solicitudes a todos los despliegues.
Archivo: devproxyrc.json
{
// [...] trimmed for brevity
"urlsToWatch": [
"https://*.openai.azure.com/openai/deployments/*/completions*"
]
}
Por último, configura Dev Proxy para que utilice un modelo de lenguaje local.
Archivo: devproxyrc.json
{
// [...] trimmed for brevity
"languageModel": {
"enabled": true
}
}
El archivo de configuración completo tiene este aspecto.
Archivo: devproxyrc.json
{
"$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v4.0.0/rc.schema.json",
"plugins": [
{
"name": "OpenAIMockResponsePlugin",
"enabled": true,
"pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
}
],
"urlsToWatch": [
"https://*.openai.azure.com/openai/deployments/*/completions*"
],
"languageModel": {
"enabled": true
}
}
Simular respuestas de la API de Azure OpenAI
Suponiendo la configuración predeterminada, inicie Ollama con el modelo de lenguaje llama3.2. En la línea de comandos, ejecute ollama run llama3.2.
A continuación, inicie el Proxy de desarrollo. Si usa el valor preestablecido, ejecute devproxy --config-file "~dataFolder/configs/simulate-azure-openai/.devproxy/devproxyrc.json". Si usa un archivo de configuración personalizado denominado devproxyrc.json, almacenado en el directorio de trabajo actual, ejecute devproxy. Dev Proxy comprueba que puede acceder al modelo de lenguaje en Ollama y confirma que está listo para simular las respuestas de la API de Azure OpenAI.
info OpenAIMockResponsePlugin: Checking language model availability...
info Dev Proxy (Kestrel engine) listening on 127.0.0.1:8000
Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy
Ejecute la aplicación y realice solicitudes a la API de Azure OpenAI. Dev Proxy intercepta las solicitudes y simula las respuestas mediante el modelo de lenguaje local.
Paso siguiente
Más información sobre OpenAIMockResponsePlugin.
Muestras
Vea también los ejemplos relacionados de Dev Proxy: