Ciao a tutti, Nina qui, di nuovo su agntbox.com! Oggi voglio parlare di qualcosa che sta facendo molto rumore nei miei canali Slack e che mi perseguita durante le mie sessioni di coding a tarda notte: i framework di IA. Più precisamente, desidero esplorare un angolo particolare che è spesso trascurato mentre tutti si affannano a seguire l’ultimo LLM: gli strumenti intorno al fine-tuning e al deployment per modelli più piccoli e specializzati.
Conosciamo tutti i grandi nomi – TensorFlow, PyTorch. Sono i giganti, gli attori consolidati. E con buone ragioni! Sono incredibilmente potenti e versatili. Ma diciamolo chiaramente, a volte non hai bisogno di una portaerei per attraversare uno stagno. A volte hai bisogno di un motoscafo agile, soprattutto quando lavori con una scadenza ravvicinata, su un set di dati specifico e con un obiettivo chiaro in mente. È qui che voglio parlare di qualcosa con cui mi sento abbastanza a mio agio di recente: Hugging Face Optimum per ONNX Runtime.
Ora, prima che i vostri occhi si perdano negli acronimi, lasciate che vi spieghi. Hugging Face, ovviamente, è il preferito del mondo NLP, rendendo i modelli pre-addestrati accessibili a tutti. ONNX (Open Neural Network Exchange) è uno standard aperto per rappresentare i modelli di apprendimento automatico, il che significa fondamentalmente che puoi convertire modelli addestrati in un framework (come PyTorch) ed eseguirli in un altro (come TensorFlow, o nel nostro caso, ONNX Runtime). E ONNX Runtime? È il motore di inferenza ad alte prestazioni di Microsoft.
Quindi, cosa fa Hugging Face Optimum per ONNX Runtime? È essenzialmente un ponte, un ottimizzatore e un assistente di deployment riuniti in uno. Ti aiuta a prendere i tuoi modelli Hugging Face, ad ottimizzarli per l’inferenza ONNX Runtime, e spesso, a ottenere un significativo guadagno di velocità senza sacrificare molto (o nessuna) precisione. E questo, miei amici, vale oro.
Perché sono ossessionata da Optimum ONNX Runtime in questo momento
Il mio percorso con Optimum ONNX Runtime è iniziato, come la maggior parte delle mie ossessioni tecnologiche, con un problema. Stavo lavorando a un progetto per un cliente che comportava il deployment di un modello BERT relativamente piccolo per la classificazione del testo sui ticket di supporto clienti. Il modello era stato addestrato su un set di dati personalizzato, e sebbene funzionasse molto bene, il tempo di inferenza era solo un po’ troppo lento per un’interazione cliente in tempo reale. Si parlava di circa 150-200ms per inferenza su una potente GPU, il che non è terribile, ma per applicazioni ad alto volume e in tempo reale, ogni millisecondo conta.
Ho provato tutti i sospetti abituali: il batching, l’ottimizzazione delle pipeline di input, persino alcune quantificazioni di base. Abbiamo ottenuto alcuni miglioramenti, ma nulla di drammatico. Poi, un collega ha menzionato Optimum, e specificamente, la sua integrazione con ONNX. Ero scettica all’inizio. Un altro livello di astrazione? Più dipendenze? Ma erano tempi di crisi, così ho deciso di provarlo.
Quello che ho scoperto è stato un flusso di lavoro sorprendentemente semplice che produceva risultati. Siamo riusciti a ridurre il nostro tempo di inferenza a circa 50-70ms per inferenza sulla stessa GPU, e abbiamo persino visto prestazioni decenti su una CPU per compiti meno critici. Questo è un guadagno di 2-3 volte, il che nel mondo dell’IA in tempo reale è una grande vittoria. Ciò significava che potevamo scalare il nostro servizio in modo molto più efficiente e fornire risposte più rapide ai clienti, influenzando direttamente la loro esperienza.
Il problema che risolve: Prestazioni e Portabilità
Siamo onesti, il deployment di modelli di IA può essere un vero rompicapo. Alleni un bel modello in PyTorch, poi devi scoprire come farlo funzionare efficacemente in produzione. A volte, sei bloccato con una configurazione hardware specifica, oppure devi implementare su un dispositivo edge con risorse limitate. È qui che entra in gioco ONNX. Fornisce un formato comune, scollegando il tuo modello dal framework di addestramento.
Optimum va ancora oltre. Non si tratta solo di convertire in ONNX; si tratta di ottimizzare quel modello ONNX. Può applicare tecniche come l’ottimizzazione dei grafi, la fusione degli operatori e persino quantificare il tuo modello per ridurne le dimensioni e accelerare l’inferenza, spesso con un impatto minimo sulla precisione. Questo è particolarmente utile per i modelli più piccoli o quando sei limitato dalla memoria o dalla potenza di calcolo sul tuo target di deployment.
Il caso d’uso del mio cliente era un perfetto esempio. Avevamo un modello PyTorch, ma volevamo deployarlo su un’istanza cloud con GPU NVIDIA, e avevamo bisogno di un throughput massimo. Optimum ONNX Runtime ci ha consentito di esportare il modello, applicare ottimizzazioni specifiche per il nostro hardware target e farlo funzionare senza problemi.
Iniziare con Optimum ONNX Runtime: Un Esempio Pratico
Esaminiamo un esempio base di come potresti utilizzare Optimum per esportare e ottimizzare un modello Hugging Face per ONNX Runtime. Per questo, utilizzeremo un modello semplice di analisi del sentimento.
Innanzitutto, avrai bisogno di installare le librerie necessarie:
pip install transformers optimum[onnxruntime] onnx
Ora, scriviamo un po’ di codice Python per esportare un modello pre-addestrato di analisi del sentimento.
Esempio 1: Esportazione di un Modello di Analisi del Sentimento
Qui, prendiamo un modello standard `distilbert-base-uncased-finetuned-sst-2-english` e lo esportiamo nel formato ONNX utilizzando Optimum.
from transformers import pipeline
from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer
model_id = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(model_id)
# Esportare il modello nel formato ONNX
# Il `save_directory` è dove il tuo modello ONNX e il tuo tokenizer saranno salvati.
# `opset` specifica la versione dell'insieme di operatori ONNX.
# `input_names` sono importanti per definire gli input del tuo grafo ONNX.
onnx_path = "./onnx_sentiment_model/"
ort_model = ORTModelForSequenceClassification.from_pretrained(model_id, from_transformers=True)
ort_model.save_pretrained(onnx_path)
tokenizer.save_pretrained(onnx_path)
print(f"Modello e tokenizer esportati in {onnx_path}")
Dopo aver eseguito questo, avrai una cartella chiamata `onnx_sentiment_model` che contiene il tuo file `model.onnx` e i file del tokenizer. Questo file `model.onnx` è la versione ottimizzata pronta per ONNX Runtime.
Esempio 2: Esecuzione di Inferenze con il Modello ONNX
Ora, carichiamo questo modello esportato ed eseguiamo alcune inferenze. Nota come carichiamo `ORTModelForSequenceClassification` direttamente dal `onnx_path` dove lo abbiamo salvato.
from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer, pipeline
import time
onnx_path = "./onnx_sentiment_model/"
# Caricare il modello ONNX e il tokenizer
ort_model = ORTModelForSequenceClassification.from_pretrained(onnx_path)
tokenizer = AutoTokenizer.from_pretrained(onnx_path)
# Creare un pipeline per un'inferenza semplice
onnx_pipeline = pipeline(
"sentiment-analysis",
model=ort_model,
tokenizer=tokenizer,
accelerator="ort" # Questo indica al pipeline di usare ONNX Runtime
)
text_samples = [
"Adoro questo prodotto, è incredibile!",
"Questo film era solo corretto, un po' noioso.",
"Odio assolutamente aspettare in lunghe file.",
"Il servizio era incredibilmente veloce ed efficiente."
]
print("\n--- Esecuzione di Inferenza con il Modello ONNX ---")
start_time = time.time()
results = onnx_pipeline(text_samples)
end_time = time.time()
for i, res in enumerate(results):
print(f"Testo: '{text_samples[i]}' -> Etichetta: {res['label']}, Punteggio: {res['score']:.4f}")
print(f"Tempo di inferenza per {len(text_samples)} campioni: {(end_time - start_time):.4f} secondi")
Quando esegui questo, vedrai le previsioni di sentiment. Ancora più importante, se dovessi confrontare il tempo di inferenza con il modello PyTorch originale sulla stessa macchina, probabilmente otterresti un guadagno di velocità notevole, soprattutto per batch più grandi o modelli più complessi. Il parametro `accelerator=”ort”` nel pipeline è un piccolo ma potente indicatore che dice a Hugging Face di utilizzare ONNX Runtime per l’inferenza, è lì che avviene la magia.
Esempio 3: Controllare le Funzionalità di Ottimizzazione (Opzionale ma Potente)
Optimum consente un controllo fine sul processo di ottimizzazione. Ad esempio, puoi specificare il livello di ottimizzazione o persino scegliere ottimizzazioni grafiche specifiche. Questo può essere cruciale quando cerchi di ottenere ogni ultimo scossone di prestazione dal tuo modello o quando devi fare compromessi tra velocità e precisione (ad esempio, con la quantificazione).
from optimum.onnxruntime import ORTModelForSequenceClassification, ORTConfig
from transformers import AutoTokenizer
from optimum.exporters.tasks import TasksManager
from optimum.onnxruntime.configuration import AutoOptimizationConfig
model_id = "distilbert-base-uncased-finetuned-sst-2-english"
tokenizer = AutoTokenizer.from_pretrained(model_id)
# Definire la configurazione di ottimizzazione
# Qui utilizziamo l'ottimizzazione predefinita ma puoi personalizzare ulteriormente
# Ad esempio, per applicare la quantizzazione: `optimization_config = AutoOptimizationConfig.O2()`
optimization_config = AutoOptimizationConfig.O1() # O1 per l'ottimizzazione di base, O2 per maggiore aggressività, O3 per completo
# Esportare il modello con la configurazione di ottimizzazione esplicita
onnx_path_optimized = "./onnx_sentiment_model_optimized/"
task = TasksManager.get_task_from_model_or_model_name(model_id)
# Potrebbe essere necessario regolare il parametro `feature` in base al compito del tuo modello
# Per la classificazione delle sequenze, è spesso 'sequence-classification'
ORTModelForSequenceClassification.from_pretrained(
model_id,
from_transformers=True,
export_feature=task.feature,
optimization_config=optimization_config,
).save_pretrained(onnx_path_optimized)
tokenizer.save_pretrained(onnx_path_optimized)
print(f"Modello ottimizzato e tokenizer esportati in {onnx_path_optimized}")
Il `AutoOptimizationConfig` è il tuo amico qui. `O1` fornisce ottimizzazioni grafiche di base, `O2` aggiunge una fusione più aggressiva e delle eliminazioni di nodi, e `O3` include tutte le ottimizzazioni disponibili, compresa la quantizzazione se applicabile. Scegliere il giusto livello dipende dalle tue specifiche esigenze e dall’hardware che stai mirando. Per il mio cliente, abbiamo sperimentato tra `O1` e `O2` per trovare il miglior compromesso, orientandoci verso `O2` per il miglior equilibrio tra velocità e precisione.
I Miei Feedback e Cosa Segue
La mia esperienza con Hugging Face Optimum per ONNX Runtime è stata estremamente positiva. Non è una soluzione miracolosa per ogni deployment di IA, ma risponde a un bisogno molto comune e critico: far funzionare i tuoi modelli più velocemente ed efficientemente in produzione, soprattutto quando lavori con modelli Hugging Face.
- Miglioramento delle prestazioni: Il principale vantaggio è la riduzione significativa del tempo di inferenza. Per le applicazioni in tempo reale, questo può portare a un cambiamento significativo, migliorando l’esperienza dell’utente e riducendo i costi di infrastruttura.
- Portabilità: Convertendo in ONNX, i tuoi modelli diventano più portabili, eseguibili su diversi hardware e sistemi operativi senza essere vincolati a un framework di deep learning specifico.
- Facilità d’uso: L’integrazione con la libreria `transformers` di Hugging Face è notevolmente fluida. Se sei già familiare con Hugging Face, la curva di apprendimento per Optimum è piuttosto dolce.
- Efficienza delle risorse: I modelli ottimizzati richiedono spesso meno memoria e cicli CPU/GPU, il che è cruciale per i deployment sul campo o in ambienti cloud sensibili ai costi.
Una cosa che ho imparato è che vale la pena sperimentare con diversi livelli e configurazioni di ottimizzazione. Non accontentarti delle impostazioni predefinite. Prova `O1`, `O2`, e anche `O3` (con quantizzazione se il tuo caso d’uso lo consente) e valuta i risultati sul tuo hardware di destinazione reale. I guadagni possono essere sorprendenti!
Guardando al futuro, credo che strumenti come Hugging Face Optimum diventeranno ancora più essenziali. Mentre i modelli di IA proliferano e si integrano in ambienti di deployment più diversificati, la capacità di ottimizzare e razionalizzare la loro inferenza sarà fondamentale. Sono particolarmente curioso di vedere come Optimum si evolverà con nuovi acceleratori hardware e tecniche di quantizzazione più avanzate.
Consigli pratici per il tuo prossimo progetto di IA:
- Valuta le tue esigenze di inferenza: Prima di esplorare l’ottimizzazione, definisci chiaramente le tue esigenze di prestazioni. Qual è una latenza accettabile? Qual è il tuo obiettivo di throughput?
- Considera ONNX presto: Se stai utilizzando modelli Hugging Face e le prestazioni sono una preoccupazione, inizia a pensare all’esportazione e all’ottimizzazione ONNX durante il tuo ciclo di sviluppo, non solo al momento del deployment.
- Valuta, Valuta, Valuta: Misura sempre il miglioramento (o il deterioramento) reale delle prestazioni dopo aver applicato ottimizzazioni. Non fidarti dei guadagni teorici. Utilizza dati reali e hardware reale.
- Sperimenta con i livelli di ottimizzazione: Non accontentarti delle impostazioni predefinite. Gioca con `AutoOptimizationConfig.O1()`, `O2()`, e `O3()` per trovare il miglior equilibrio per il tuo modello e il tuo caso d’uso.
- Rimani informato: La libreria Hugging Face Optimum è in sviluppo attivo. Tieni d’occhio le loro pubblicazioni e la loro documentazione per nuove funzionalità e miglioramenti delle prestazioni.
Questo è tutto per me questa settimana! Se hai difficoltà con le prestazioni di deployment dei modelli, prova Hugging Face Optimum per ONNX Runtime. Potrebbe essere la soluzione veloce di cui hai bisogno. Fammi sapere nei commenti se l’hai utilizzato o se hai altri strumenti preferiti per l’ottimizzazione dei modelli. Buona inferenza!
🕒 Published: