Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questi esempi eseguono inferenza batch su larga scala su GPU serverless AI Runtime. Coprono una gamma di modalità, come la generazione di testo LLM e il speech-to-text, utilizzando framework come Ray Data, vLLM e Transformers.
| Example | Interface | Description |
|---|---|---|
| Inferenza in batch con Qwen2.5-32B, Ray Data e vLLM | Notebook | Esegui inferenza batch multilingue con otto repliche vLLM persistenti di Qwen2.5-32B-Instruct su 8 GPU H100 e salva i risultati nel Catalogo Unity. |
| Conversione batch da voce a testo con Whisper | Notebook | Trascrivi audio in lotti con OpenAI Whisper large-v3-turbo su GPU serverless, utilizzando librerie preinstallate in AI Runtime. |
| Inferenza batch con Qwen2.5-7B-Instruct e vLLM | CLI | Usa Ray Data e vLLM per generare risposte su un nodo H100 8x e scrivi i risultati in un volume Unity Catalog come Parquet. |
| Trascrizione audio e diarizzazione con Whisper e pyannote | CLI | Usa Ray Data per distribuire la trascrizione vocale e la diarizzazione dei parlanti su un cluster GPU e scrivi i risultati in un volume del Catalogo Unity come Parquet. |
| Embedding proteici con BioNeMo ESM-2 | CLI | Usa Ray Data e BioNeMo ESM-2 per generare embedding delle proteine su un nodo H100 8x, quindi addestra e valuta un classificatore lineare di proteine di membrana. |
| Comprensione batch delle immagini con Qwen3-VL-8B e vLLM | CLI | Usa Ray Data e vLLM per generare didascalie per e classificare le immagini su un nodo H100 8x e scrivere risultati strutturati su Parquet. |