Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
La API Prompt es una API web experimental que permite solicitar un modelo de lenguaje pequeño (SLM) integrado en Microsoft Edge, desde el código JavaScript de su sitio web o extensión del explorador. Utilice la API Prompt para generar y analizar texto o crear lógica de aplicación basada en la entrada del usuario, y descubrir formas innovadoras de integrar las capacidades SLM en su aplicación web.
Contenido detallado:
- Disponibilidad de la API Prompt
- Alternativas y ventajas de la API Prompt
- El modelo de instrucción de Aion
- Habilitación de la API de indicación
- Vea un ejemplo práctico
-
Uso de la API Prompt
- Compruebe si la API está habilitada
- Compruebe si el modelo se puede utilizar
- Crear una sesión nueva
- Clone una sesión para volver a iniciar la conversación con las mismas opciones
- Solicitar al modelo
- Dejar de generar texto
- Destruir una sesión
- Responsable de la marca de agua de contenido generada por IA
- Enviar comentarios
- Ver también
Disponibilidad de la API Prompt
La API Prompt está disponible como versión preliminar para desarrolladores en Microsoft Edge. Puede probar la API Prompt de cualquiera de las siguientes maneras:
- Localmente en Microsoft Edge, solo en su dispositivo.
- En tu sitio web de producción, registrándote para una prueba de origen.
Consulte Habilitación de la API de indicaciones a continuación.
La API Prompt está pensada para ayudar a descubrir casos de uso y comprender los desafíos de los SLM integrados. La API Prompt proporciona capacidades de solicitud de propósito general, mientras que las API experimentales relacionadas están diseñadas para tareas específicas con tecnología de IA, como resumen, asistencia para escribir, toma de decisiones y traducción. Para obtener más información sobre estas API, consulte:
- Resumir, escribir y reescribir texto con las API de asistencia de escritura
- Clasificar texto con la API de decisiones
- Corregir errores gramaticales, ortográficos y de puntuación en texto con la API Proofreader
- Detectar idiomas con la API de detección de idioma
- Traducir texto con la API de Translator
Alternativas y ventajas de la API Prompt
Para aprovechar las capacidades de IA en sitios web y extensiones de explorador, también puede usar los métodos siguientes:
Envíe solicitudes de red a servicios de inteligencia artificial basados en la nube, como las soluciones de IA de Azure.
Ejecute modelos de IA locales mediante la API de red neuronal web (WebNN) o el tiempo de ejecución para web de ONNX.
La API Prompt usa un SLM que se ejecuta en el mismo dispositivo donde se usan las entradas y salidas del modelo (es decir, localmente). Esto tiene las siguientes ventajas en comparación con las soluciones basadas en la nube:
Costo reducido: No hay ningún costo asociado con el uso de un servicio de IA en la nube.
Independencia de la red: Más allá de la descarga inicial del modelo, no hay latencia de red cuando se le solicita el modelo y también se puede usar cuando el dispositivo está sin conexión.
Privacidad mejorada: La entrada de datos al modelo nunca abandona el dispositivo y no se recopila para entrenar modelos de inteligencia artificial.
La API Prompt usa un modelo de lenguaje proporcionado por Microsoft Edge e integrado en el explorador, lo que ofrece ventajas adicionales sobre las soluciones locales personalizadas, como las basadas en WebGPU, WebNN o WebAssembly:
Costo pago único compartido: El modelo proporcionado por el explorador se descarga la primera vez que se llama a la API y se comparte en todos los sitios web que se ejecutan en el explorador, lo que reduce los costos de red para desarrolladores y usuarios.
Uso simplificado para desarrolladores web: El modelo integrado se puede ejecutar mediante el uso de API web sencillas y no requiere conocimientos de IA/ML ni el uso de marcos de terceros.
El modelo de instrucción de Aion
En Microsoft Edge, la API Prompt usa el modelo Aion Instruct, que está integrado en el explorador. Aion Instruct es un modelo de lenguaje pequeño de 2,3 mil millones de parámetros que sobresale en tareas basadas en texto. Para obtener más información sobre el modelo, consulte la tarjeta de modelo microsoft/Aion-1.0-Instruct-2.3B, en Hugging Face.
Aviso de declinación de responsabilidades
Al igual que otros modelos de lenguaje de este tamaño, Aion Instruct puede comportarse de manera poco fiable, inexacta, injusta u ofensiva. Debe tener en cuenta los riesgos de pasar contenido que no es de confianza al modelo y validar el origen y la integridad del contenido antes de usar el contenido como entrada del modelo. Para obtener más información, consulte Bias, Risks, and Limitations, en microsoft/Aion-1.0-Instruct-2.3B, en Hugging Face.
Requisitos de hardware
La versión preliminar para desarrolladores de la API Prompt está pensada para funcionar en dispositivos con capacidades de hardware que generan salidas SLM con una calidad y latencia predecibles. Actualmente, la API de indicación está limitada a:
Sistemas operativos:
- Windows 10 u 11.
- macOS 13.3 o posterior.
- Linux de 64 bits (x64) con controladores de GPU Vulkan y Microsoft Edge 159 o posterior.
Almacenamiento: Al menos 20 GB disponibles en el volumen que contiene el perfil de Edge. Si el almacenamiento disponible cae por debajo de 5 GB, el modelo se eliminará para garantizar que otras características del explorador tengan suficiente espacio para funcionar.
GPU: 3 GB de VRAM o más.
Red: Plan de datos ilimitado o conexión no medida. El modelo no se descarga si se usa una conexión de uso medido.
Para comprobar si el dispositivo es compatible con la versión preliminar para desarrolladores de la API de solicitudes, consulte Habilitar la API de solicitud a continuación y comprobar la clase de rendimiento del dispositivo.
Debido a la naturaleza experimental de la API Prompt, es posible que observe problemas en configuraciones de hardware específicas. Si ve problemas en configuraciones de hardware específicas, envíe comentarios abriendo un nuevo problema en el repositorio de MSEdgeExplainers.
Disponibilidad del modelo de instrucción de Aion
Se requiere una descarga inicial del modelo de instrucción de Aion la primera vez que un sitio web llama a una API que requiere un modelo en el dispositivo. Para supervisar la descarga del modelo, use la monitor opción al crear una nueva sesión de Prompt API. Para obtener más información, consulte Supervisar el progreso de la descarga del modelo, a continuación.
El modelo no está disponible en las siguientes condiciones:
- Si la opción IA en el dispositivo está deshabilitada, en Configuración>,Copilot e IA.
- Si las directivas empresariales GenAILocalFoundationalModelSettings o ComponentUpdatesEnabled están configuradas para bloquear la descarga del modelo.
- Si el dispositivo no cumple los requisitos de hardware, espacio en disco o red.
Consideración para Edge Canary, Dev y Beta
En Microsoft Edge Canary, Dev y Beta, la opción de IA en el dispositivo está deshabilitada de forma predeterminada en Configuración>Copilot e IA, para evitar descargar el modelo por separado para cada canal.
Si habilita la marca Prompt API en edge://flags, la opción de IA en el dispositivo se habilita automáticamente en Canary, Dev y Beta. Consulte Probar la API de aviso localmente a continuación.
Si las pruebas se usan mediante un token de prueba de origen en Canary, Dev o Beta, sin la marca habilitada, habilita manualmente la opción de IA en el dispositivo en Configuración>de Copilot e IA para descargar el modelo. Consulte Habilitación de la API de Prompt para los usuarios mediante el registro en una prueba de origen, a continuación.
Habilitación de la API de indicación
Para usar la API Prompt en Microsoft Edge, puede probarla localmente o registrarse para obtener una prueba de origen para habilitarla en el sitio web de producción. Las secciones siguientes proporcionan instrucciones para ambos enfoques.
Pruebe la API Prompt localmente
Para probar la API Prompt solo en el dispositivo:
Asegúrese de que usa Microsoft Edge versión 158 o posterior.
En Microsoft Edge, abra una nueva pestaña o ventana y, a continuación, vaya a
edge://flags.En el cuadro de búsqueda, en la parte superior de la página, escriba Prompt API.
La página se filtra para mostrar la bandera coincidente.
En API de indicaciones, seleccione Habilitado:
Opcionalmente, para registrar localmente la información que puede ser útil para la depuración de problemas, habilite también la marca Habilitar registros de depuración del modelo de IA en el dispositivo .
Reinicie Edge.
Para comprobar si el dispositivo cumple los requisitos de hardware para la versión preliminar para desarrolladores de la API de solicitudes, abra una nueva pestaña, vaya a
edge://on-device-internalsy compruebe el valor de clase de rendimiento del dispositivo .Si la clase de rendimiento del dispositivo es Media o superior, se debería admitir la API de Prompt en el dispositivo.
Si observa problemas con estos modelos, cree un nuevo problema en el repositorio MSEdgeExplainers.
Habilite la API de Prompt para los usuarios registrándose para una prueba de origen
Puede probar la API Prompt en su propio sitio en vivo durante un período de tiempo limitado mediante una prueba de origen. Al usar la versión de prueba de origen de la API Prompt, los usuarios de Microsoft Edge que visitan el sitio pueden ejecutar código que use la API Prompt.
Para obtener más información sobre las pruebas de origen en Microsoft Edge, consulta Prueba de características y API experimentales mediante pruebas de origen.
Para registrarse en la prueba de origen de la API de solicitud, siga los pasos descritos en Registro para una prueba de origen y seleccione la prueba de origen de la API de solicitud.
Vea un ejemplo práctico
Para ver la API de aviso en acción y revisar el código existente que usa la API:
Habilite la API Prompt, como se describe anteriormente.
En Edge, abra una pestaña o ventana y vaya al área de juegos de la API de solicitud.
En la navegación de Áreas de juegos de IA integrada de la izquierda, se selecciona Preguntar .
En el banner de información en la parte superior, verifique el estado: inicialmente dice Descarga de modelos, espere:
Una vez descargado el modelo, el banner informativo indica API y modelo listos, lo que indica que se pueden usar la API y el modelo:
Si la descarga del modelo no comienza, reinicia Microsoft Edge y vuelve a intentarlo.
La API Prompt solo se admite en dispositivos que cumplan determinados requisitos de hardware. Para obtener más información, consulta Requisitos de hardware más arriba.
Opcionalmente, puede cambiar los valores de la configuración de indicaciones, como:
- Solicitud de usuario
- Solicitud del sistema
- Esquema de restricción de respuesta
- Más opciones de configuración>Instrucciones de solicitud de disparo N
Haga clic en el botón Preguntar , en la parte inferior de la página.
La respuesta se genera en la sección de respuestas de la página:
Para dejar de generar la respuesta, en cualquier momento, haga clic en el botón Detener .
Vea también:
- /built-in-ai/ : código fuente y léame de áreas de juego de IA integradas, incluido el área de juegos de la API de indicaciones.
Uso de la API Prompt
Compruebe si la API está habilitada
Antes de usar la API en el código de tu sitio web o extensión, comprueba que la API está habilitada probando la LanguageModel presencia del objeto:
if (!LanguageModel) {
// The Prompt API is not available.
} else {
// The Prompt API is available.
}
Compruebe si el modelo se puede utilizar
La API Prompt solo se puede usar si el dispositivo admite la ejecución del modelo y una vez que Microsoft Edge haya descargado el modelo de lenguaje y el tiempo de ejecución del modelo.
Para comprobar si se puede usar la API, use el LanguageModel.availability() método:
const availability = await LanguageModel.availability();
if (availability == "unavailable") {
// The model is not available.
}
if (availability == "downloadable" || availability == "downloading") {
// The model can be used, but it needs to be downloaded first.
}
if (availability == "available") {
// The model is available and can be used.
}
Crear una sesión nueva
Al crear una sesión, se indica al explorador que cargue el modelo de lenguaje en la memoria para que se pueda usar. Antes de que pueda solicitar el modelo de lenguaje, cree una nueva sesión mediante el create() método:
// Create a LanguageModel session.
const session = await LanguageModel.create();
Para personalizar la sesión del modelo, puede pasar opciones al create() método:
// Create a LanguageModel session with options.
const session = await LanguageModel.create(options);
Las opciones disponibles son:
monitor, para seguir el progreso de la descarga del modelo.initialPrompts, para proporcionar al modelo contexto sobre las indicaciones que se enviarán al modelo y para establecer un patrón de interacciones usuario/asistente que el modelo debe seguir para futuras indicaciones.
Estas opciones se documentan a continuación.
Supervisar el progreso de la descarga del modelo
Para seguir el progreso de la descarga del modelo, use la monitor opción. Esto es útil cuando el modelo aún no se ha descargado completamente en el dispositivo en el que se utilizará el modelo, para informar a los usuarios de su sitio web que deben esperar.
// Create a LanguageModel session with the monitor option to monitor the model
// download.
const session = await LanguageModel.create({
monitor: m => {
// Use the monitor object argument to add an listener for the
// downloadprogress event.
m.addEventListener("downloadprogress", event => {
// The event is an object with the loaded and total properties.
if (event.loaded == event.total) {
// The model is fully downloaded.
} else {
// The model is still downloading.
const percentageComplete = (event.loaded / event.total) * 100;
}
});
}
});
Proporcione al modelo una solicitud del sistema
Para definir una consulta del sistema, que es una forma de dar al modelo las instrucciones que se deben usar al generar texto en respuesta a una indicación, use la initialPrompts opción.
La indicación del sistema que proporcionas al crear una nueva sesión se conserva durante toda la existencia de la sesión, incluso si la ventana de contexto se desborda debido a demasiadas indicaciones.
// Create a LanguageModel session with a system prompt.
const session = await LanguageModel.create({
initialPrompts: [{
role: "system",
content: "You are a helpful assistant."
}]
});
Si coloca la { role: "system", content: "You are a helpful assistant." } indicación en initialPrompts cualquier lugar que no sea en la posición 0, rechazará con un TypeError.
Solicitud de N-shot con initialPrompts
La initialPrompts opción también le permite proporcionar ejemplos de interacciones usuario/asistente que desea que el modelo siga usando cuando se le solicite.
Esta técnica también se conoce como solicitud de disparo N y es útil para hacer que las respuestas generadas por el modelo sean más deterministas.
// Create a LanguageModel session with multiple initial prompts, for N-shot
// prompting.
const session = await LanguageModel.create({
initialPrompts: [
{ role: "system", content: "Classify the following product reviews as either OK or Not OK." },
{ role: "user", content: "Great shoes! I was surprised at how comfortable these boots are for the price. They fit well and are very lightweight." },
{ role: "assistant", content: "OK" },
{ role: "user", content: "Terrible product. The manufacturer must be completely incompetent." },
{ role: "assistant", content: "Not OK" },
{ role: "user", content: "Could be better. Nice quality overall, but for the price I was expecting something more waterproof" },
{ role: "assistant", content: "OK" }
]
});
Clone una sesión para volver a iniciar la conversación con las mismas opciones
Clone una sesión existente para solicitar el modelo sin el conocimiento de las interacciones anteriores, pero con las mismas opciones de sesión.
La clonación de una sesión es útil cuando se desean usar las opciones de una sesión anterior pero sin influir en el modelo con respuestas anteriores.
// Create a first LanguageModel session.
const firstSession = await LanguageModel.create({
initialPrompts: [{
role: "system",
content: "You are a helpful assistant."
}]
});
// Later, create a new session by cloning the first session to start a new
// conversation with the model, but preserve the first session's settings.
const secondSession = await firstSession.clone();
Solicitar al modelo
Para solicitar el modelo, después de haber creado una sesión de modelo, use los session.prompt() métodos o session.promptStreaming() .
Espere la respuesta final
El prompt método devuelve una promesa que se resuelve una vez que el modelo ha terminado de generar texto en respuesta a la solicitud:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Prompt the model and wait for the response to be generated.
const result = await session.prompt(promptString);
// Use the generated text.
console.log(result);
Mostrar tokens a medida que se generan
El promptStreaming método devuelve un objeto de secuencia de inmediato. Use la secuencia para mostrar los tokens de respuesta a medida que se generan:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Prompt the model.
const stream = session.promptStreaming(myPromptString);
// Use the stream object to display tokens that are generated by the model, as
// they are being generated.
for await (const chunk of stream) {
console.log(chunk);
}
Puede llamar a los prompt métodos and promptStreaming varias veces dentro del mismo objeto de sesión para seguir generando texto basado en interacciones anteriores con el modelo dentro de esa sesión.
Restrinja la salida del modelo mediante un esquema JSON o una expresión regular
Para que el formato de las respuestas del modelo sea más determinista y fácil de usar en modo programático, use la responseConstraint opción cuando se le solicite al modelo.
La responseConstraint opción acepta un esquema JSON o una expresión regular:
Para que el modelo responda con un objeto JSON stringified que sigue un esquema determinado, establezca
responseConstraintel esquema JSON que quiera usar.Para que el modelo responda con una cadena que coincida con una expresión regular, establezca
responseConstraintesa expresión regular.
En el ejemplo siguiente se muestra cómo hacer que el modelo responda a una solicitud con un objeto JSON que sigue un esquema determinado:
// Create a LanguageModel session, with a system prompt.
const session = await LanguageModel.create({
initialPrompts: [
{
role: "system",
content: "You are an AI model designed to analyze the sentiment of user-provided text. Your goal is to classify the sentiment into predefined categories and provide a confidence score. Follow these guidelines:\n\n- Identify whether the sentiment is positive, negative, or neutral.\n- Provide a confidence score (0-1) reflecting the certainty of the classification.\n- Ensure the sentiment classification is contextually accurate.\n- If the sentiment is unclear or highly ambiguous, default to neutral.\n\nYour responses should be structured and concise, adhering to the defined output schema."
}
]
});
// Define a JSON schema for the Prompt API to constrain the generated response.
const schema = {
"type": "object",
"required": ["sentiment", "confidence"],
"additionalProperties": false,
"properties": {
"sentiment": {
"type": "string",
"enum": ["positive", "negative", "neutral"],
"description": "The sentiment classification of the input text."
},
"confidence": {
"type": "number",
"minimum": 0,
"maximum": 1,
"description": "A confidence score indicating certainty of the sentiment classification."
}
}
}
;
// Prompt the model, by providing the JSON schema in the responseConstraint
// option.
const response = await session.prompt(
"Ordered a Philly cheesesteak, and it was not edible. Their milkshake is just milk with cheap syrup. Horrible place!",
{ responseConstraint: schema }
);
La ejecución del código anterior devuelve una respuesta que contiene un objeto JSON stringificado como:
{"sentiment": "negative", "confidence": 0.95}
A continuación, puede usar la respuesta en la lógica del código analizándola mediante la JSON.parse() función:
// Parse the JSON string generated by the model and extract the sentiment and
// confidence values.
const { sentiment, confidence } = JSON.parse(response);
// Use the values.
console.log(`Sentiment: ${sentiment}`);
console.log(`Confidence: ${confidence}`);
Enviar varios mensajes por indicación
Además de cadenas, los prompt métodos and promptStreaming también aceptan una matriz de objetos que se usa para enviar múltiples mensajes con roles personalizados. Los objetos que envíe deben tener el formato { role, content }, donde role está o assistantuser , y content es el mensaje.
Por ejemplo, para proporcionar varios mensajes de usuario y un mensaje de asistente en el mismo mensaje:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Prompt the model by sending multiple messages at once.
const result = await session.prompt([
{ role: "user", content: "First user message" },
{ role: "user", content: "Second user message" },
{ role: "assistant", content: "The assistant message" }
]);
Dejar de generar texto
Para anular una solicitud antes de que se haya resuelto la promesa devuelta por session.prompt() o antes de que finalice la secuencia devuelta session.promptStreaming() , use una AbortController señal:
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Create an AbortController object.
const abortController = new AbortController();
// Prompt the model by passing the AbortController object by using the signal
// option.
const stream = session.promptStreaming(myPromptString , {
signal: abortController.signal
});
// Later, perhaps when the user presses a "Stop" button, call the abort()
// method on the AbortController object to stop generating text.
abortController.abort();
Destruir una sesión
Destruya la sesión para que el explorador sepa que ya no necesita el modelo de lenguaje, de modo que el modelo se pueda descargar de la memoria.
Puedes destruir una sesión de dos maneras distintas:
- Mediante el
destroy()método. - Al usar un
AbortControllercomando .
Destruir una sesión mediante el método destroy()
// Create a LanguageModel session.
const session = await LanguageModel.create();
// Later, destroy the session by using the destroy method.
session.destroy();
Destruir una sesión con un AbortController
// Create an AbortController object.
const controller = new AbortController();
// Create a LanguageModel session and pass the AbortController object by using
// the signal option.
const session = await LanguageModel.create({ signal: controller.signal });
// Later, perhaps when the user interacts with the UI, destroy the session by
// calling the abort() function of the AbortController object.
controller.abort();
Responsable de la marca de agua de contenido generada por IA
A partir de la versión 158 de Microsoft Edge, el texto generado por la API Prompt incluye una marca de agua invisible, que indica que el texto es generado por IA. Si tu sitio web o extensión procesa el texto generado, asegúrate de que el código tenga en cuenta la marca de agua al representar, analizar o convertir la respuesta.
Para obtener más información sobre el esquema de marca de agua, consulte Esquema de marca de agua en Marca de agua en las API de texto de IA de Windows.
La marca de agua no se aplica a las respuestas que se generan al usar la responseConstraint opción. Consulte Restringir la salida del modelo mediante un esquema JSON o una expresión regular, más arriba.
Antes de quitar la marca de agua insertada automáticamente, tenga en cuenta estos requisitos: Es responsable de asegurarse de que su sitio web o extensión cumpla todos los requisitos aplicables para marcar el contenido generado por IA.
Enviar comentarios
La versión preliminar para desarrolladores de la API Prompt y la versión de prueba de origen están diseñadas para ayudar a descubrir casos de uso para los modelos de lenguaje proporcionados por el explorador.
Nos interesa obtener información sobre:
- La gama de escenarios para los que piensa usar la API Prompt.
- Cualquier problema con la API Prompt.
- Cualquier problema con el modelo de instrucción de Aion.
- ¿Algún problema con la interoperabilidad de la API Prompt en diferentes exploradores y modelos?
- Si serían útiles nuevas API específicas de tareas.
Para enviar comentarios sobre los escenarios y las tareas que desea realizar, agregue un comentario al problema de comentarios de la API de aviso.
Si observa algún problema al usar la API en su lugar, infórmelo en el repositorio.
También puede contribuir a la discusión sobre el diseño de la API Prompt en el repositorio del W3C Web Machine Learning Working Group.
Vea también
- Especificación de borrador de API de solicitud
- webmachinelearning/prompt-api Repositorio de GitHub
- /built-in-ai/ : código fuente y léame de áreas de juego de IA integradas, incluido el área de juegos de la API de indicaciones.
- Resumir, escribir y reescribir texto con las API de asistencia de escritura
- Clasificar texto con la API de decisiones
- Corregir errores gramaticales, ortográficos y de puntuación en texto con la API Proofreader
- Detectar idiomas con la API de detección de idioma
- Traducir texto con la API de Translator