Incorporamenti NVIDIA NIM

Il pacchetto alfa agent-framework-nvidia fornisce incorporamenti di testo tramite NVIDIA NIM. Usare l'endpoint ospitato o impostare un URL di base per un contenitore NIM self-hosted.

Warning

Considera l'output del modello o l'output dell'embedding, e le chiamate agli strumenti generate dal modello quando supportate, come input dell'applicazione non attendibile. Convalidarli prima che il codice esegua effetti collaterali o il rendering del contenuto. Se si configura un endpoint personalizzato, verificare di considerare attendibile l'URL e l'operatore.

L'integrazione agent-framework-nvidia documentata in questa pagina è disponibile per Python. Usare un altro generatore di embedding .NET per le applicazioni C#.

Installare il pacchetto

pip install agent-framework-nvidia --pre

Configurare il client

Imposta la chiave API e il modello di embedding:

NVIDIA_API_KEY="<api-key>"
NVIDIA_EMBEDDING_MODEL="nvidia/nemotron-3-embed-1b"

NVIDIA_BASE_URL facoltativamente, sostituisce l'endpoint ospitato con un endpoint NIM self-hosted.

Crea NvidiaEmbeddingClient, genera embedding e chiudi il client HTTP creato dall'istanza:

from agent_framework_nvidia import NvidiaEmbeddingClient

client = NvidiaEmbeddingClient()
try:
    embeddings = await client.get_embeddings(
        ["Agent Framework", "NVIDIA NIM"],
    )
    print(embeddings[0].dimensions)
finally:
    await client.close()

Un async_client preconfigurato rimane di proprietà del chiamante e rimane aperto quando NvidiaEmbeddingClient.close() viene eseguito.

Configurare incorporamenti di recupero

I modelli di recupero asimmetrico incorporano documenti archiviati e query di ricerca in modo diverso. Impostare input_type="passage" per il contenuto indicizzato e input_type="query" per il testo di ricerca. Usare truncate per controllare gli input over-long:

await collection.upsert(
    notes,
    embeddings_options={
        "input_type": "passage",
        "truncate": "END",
    },
)

results = await collection.search(
    "How do I call a model hosted on NIM?",
    embeddings_options={"input_type": "query"},
)

input_type accetta "passage" o "query". truncate accetta "NONE", "START"o "END". Passare le stesse opzioni di query a create_vector_search_tool(..., embeddings_options=...) quando un agente esegue la ricerca.

L'endpoint ospitato accetta al massimo 256 input e un corpo della richiesta di 2 MiB. Il client suddivide batch di dimensioni maggiori in richieste consecutive e restituisce vettori nell'ordine originale. La disponibilità del modello dipende dall'account associato alla chiave API.

Per un esempio di recupero completo, vedere l'esempio di embedding NVIDIA.

L'integrazione agent-framework-nvidia documentata in questa pagina è disponibile per Python. Usare un altro generatore di embedding Go per le applicazioni Go.

Passaggi successivi