Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questa sezione include esempi che illustrano come eseguire il training di modelli di Machine Learning in Azure Databricks usando molte librerie open source più diffuse.
È anche possibile usare AutoML, che prepara automaticamente un set di dati per il training del modello, esegue un set di versioni di valutazione usando librerie open source come scikit-learn e XGBoost e crea un notebook Python con il codice sorgente per ogni esecuzione di valutazione in modo da poter esaminare, riprodurre e modificare il codice.
Esempi di Machine Learning
| Pacchetto | Notebook | Funzionalità |
|---|---|---|
| scikit-learn | Esercitazione su Machine Learning | Unity Catalog, modello di classificazione, MLflow, ottimizzazione automatizzata degli iperparametri con Hyperopt e MLflow |
| scikit-learn | Esempio completo | Unity Catalog, modello di classificazione, MLflow, ottimizzazione automatizzata degli iperparametri con Hyperopt e MLflow, XGBoost |
| MLlib | Esempi di MLlib | Classificazione binaria, alberi delle decisioni, regressione GBT, Structured Streaming, trasformatore personalizzato |
| xgboost | Esempi di XGBoost | Python, PySpark e Scala, carichi di lavoro a nodo singolo e training distribuito |
Esempi di ottimizzazione degli iperparametri
Per informazioni generali sull'ottimizzazione degli iperparametri in Azure Databricks, vedere Ottimizzazione degli iperparametri.
Annotazioni
La versione open source di Hyperopt non è più gestita.
Hyperopt non è incluso in Databricks Runtime per Machine Learning dopo 16.4 LTS ML. Azure Databricks consiglia di utilizzare Optuna, che può eseguire studi paralleli su Spark, oppure Ray Tune per un'esperienza simile alla funzionalità di ottimizzazione distribuita degli iperparametri Hyperopt, ormai obsoleta. Scopri di più sull'uso di Ray Tune su Azure Databricks.
| Pacchetto | Taccuino | Funzionalità |
|---|---|---|
| Optuna | Introduzione a Optuna | Optuna, Optuna distribuito, scikit-learn, MLflow |
| Hyperopt | Hyperopt distribuito | Hyperopt distribuito, scikit-learn, MLflow |
| Hyperopt | Confrontare i modelli | Usare l'hyperopt distribuito per cercare contemporaneamente spazio degli iperparametri per tipi di modello diversi |
| Hyperopt | Algoritmi di training distribuiti e hyperopt | Hyperopt, MLlib |
| Hyperopt | Procedure consigliate per Hyperopt | Procedure consigliate per set di dati di dimensioni diverse |