Wie man ein LLM feinabstimmt: Ein praktischer Leitfaden zur Modellanpassung

Das Feintuning eines großen Sprachmodells ermöglicht es Ihnen, dessen Verhalten für Ihren spezifischen Anwendungsfall anzupassen. Egal, ob Sie ein Modell möchten, das in Ihrer Markenstimme schreibt, Ihre Fachterminologie versteht oder spezifische Ausgabeformate einhält, Feintuning ist die Lösung.

Was Feintuning ist

Feintuning nimmt ein vortrainiertes Modell und schult es weiter mit Ihren spezifischen Daten. Das Modell behält seine allgemeinen Fähigkeiten bei, während es die Muster, den Stil und das Wissen in Ihren Trainingsdaten erlernt.

Stellen Sie sich das so vor: Ein vortrainiertes Modell ist wie ein Hochschulabsolvent mit breitem Wissen. Feintuning ist wie eine spezialisierte Einarbeitung für Ihre spezifische Rolle.

Wann man feintunen sollte (und wann nicht)

Feintune, wenn:
– Sie konsistente Ausgabeformate benötigen, die durch Prompting nicht erreicht werden können
– Sie möchten, dass das Modell einen bestimmten Schreibstil oder eine bestimmte Stimme annimmt
– Sie über fachspezifische Terminologie oder Wissen verfügen
– Sie den Tokenverbrauch reduzieren müssen (feinjustierte Modelle benötigen kürzere Prompts)
– RAG allein nicht die gewünschte Qualität liefert

Feintune nicht, wenn:
– Prompt Engineering oder RAG Ihr Problem lösen (versuchen Sie zuerst diese — sie sind billiger und schneller)
– Sie nicht genügend qualitativ hochwertige Trainingsdaten haben (mindestens ~100 Beispiele, idealerweise 1000+)
– Ihre Anforderungen sich häufig ändern (erneutes Feintuning ist kostspielig)
– Sie das Modell benötigen, um auf Echtzeitinformationen zuzugreifen (verwenden Sie stattdessen RAG)

Feintuning-Optionen

OpenAI Feintuning. Feintune GPT-4o-mini oder GPT-4o über die API von OpenAI. Laden Sie eine JSONL-Datei mit Beispielkonversationen hoch, und OpenAI kümmert sich um das Training.
Vorteile: Einfach, keine Infrastruktur erforderlich, gute Dokumentation.
Nachteile: Teuer bei großen Datensätzen, beschränkt auf OpenAI-Modelle.

Hugging Face + PEFT. Feintune Open-Source-Modelle (Llama, Mistral usw.) mithilfe von parameter-effizienten Feintuning-Techniken wie LoRA.
Vorteile: Vollständige Kontrolle, Open-Source, kosteneffizient im großen Maßstab.
Nachteile: Erfordert GPU-Infrastruktur und ML-Expertise.

Together AI. Feintune Open-Source-Modelle über eine verwaltete API. Ähnliche Einfachheit wie bei OpenAI, jedoch mit Open-Source-Modellen.
Vorteile: Einfache API, Open-Source-Modelle, wettbewerbsfähige Preise.
Nachteile: Weniger Kontrolle als beim selbstgehosteten Feintuning.

Anyscale / Fireworks. Verwaltete Feintuning-Plattformen für Open-Source-Modelle mit Produktionsbereitstellung.
Vorteile: End-to-End-Management, gute Leistung.
Nachteile: Plattformbindung.

So feintunet man (praktische Schritte)

Schritt 1: Bereiten Sie Ihre Daten vor. Erstellen Sie einen Datensatz mit Beispiel-ingaben und gewünschten Ausgaben. Formatieren Sie diesen als Konversationen (Systemnachricht, Benutzernachricht, Antwort des Assistenten). Qualität ist wichtiger als Quantität — 500 hervorragende Beispiele sind besser als 5000 mittelmäßige.

Schritt 2: Bereinigen und validieren. Entfernen Sie Duplikate, beheben Sie Fehler, stellen Sie Konsistenz sicher. Ihr Modell wird aus jedem Beispiel lernen, einschließlich der schlechten.

Schritt 3: Teilen Sie Ihre Daten. Trainingssatz (80-90%) und Validierungssatz (10-20%). Der Validierungssatz misst, ob das Modell lernt oder nur auswendig lernt.

Schritt 4: Trainieren. Laden Sie Ihre Daten hoch und starten Sie das Training. Überwachen Sie den Trainingsverlust und den Validierungsverlust. Wenn der Validierungsverlust zu steigen beginnt, während der Trainingsverlust sinkt, überanpasst das Modell.

Schritt 5: Bewerten. Testen Sie das feingetunte Modell an Beispielen, die es noch nicht gesehen hat. Vergleichen Sie die Ergebnisse mit Ihrem Basiswert (dem nicht feingetunten Modell mit guten Prompts). Das Feintuning sollte die Qualität eindeutig verbessern.

Schritt 6: Iterieren. Feintuning ist selten beim ersten Versuch perfekt. Analysieren Sie die Fehlermeldungen, fügen Sie mehr Trainingsbeispiele für schwache Bereiche hinzu und trainieren Sie neu.

LoRA: Die praktische Wahl

LoRA (Low-Rank Adaptation) ist die beliebteste Feintuning-Technik für Open-Source-Modelle:

Wie es funktioniert. Anstatt alle Modellparameter zu aktualisieren, fügt LoRA kleine trainierbare Matrizen zu spezifischen Schichten hinzu. Dies reduziert den Speicherbedarf um das 10- bis 100-fache.

Warum es wichtig ist. Sie können ein 70B-Parameter-Modell auf einem einzigen GPU mit LoRA feintunen. Ohne LoRA bräuchten Sie einen Cluster von GPUs.

QLoRA. Kombiniert LoRA mit 4-Bit-Quantisierung für noch geringere Speicheranforderungen. Feintunen Sie große Modelle auf Consumer-GPUs.

Meine Meinung

Feintuning ist mächtig, aber oft unnötig. Beginnen Sie mit Prompt Engineering und RAG — sie lösen 80% der Anwendungsfälle ohne die Kosten und die Komplexität des Feintunings.

Wenn Sie feintunen, investieren Sie stark in die Datenqualität. Das Modell ist nur so gut wie seine Trainingsdaten. Beginnen Sie mit einem kleinen, qualitativ hochwertigen Datensatz, anstatt mit einem großen, verrauschten.

Für die meisten Teams bietet die Feintuning-API von OpenAI oder Together AI die beste Balance zwischen Einfachheit und Leistungsfähigkeit. Selbstgehostetes Feintuning mit LoRA ist der richtige Weg, wenn Sie vollständige Kontrolle benötigen oder Open-Source-Modelle verwenden möchten.

🕒 Published: March 27, 2026