Letzten Monat habe ich 400 $ für OpenAI API-Aufrufe ausgegeben. Dann habe ich drei meiner Workloads auf Llama 3.1 umgeschaltet, das auf einer GPU-Instanz für 20 $/Monat läuft. Gleiche Qualität, 95 % Kostenreduktion. Das ist die Open-Source-AI-Geschichte in aller Kürze.
Die Kluft zwischen Open-Source- und proprietären KI-Modellen ist dramatisch geschrumpft. Für viele Aufgaben sind Open-Source-Modelle nicht nur „gut genug“ – sie sind die smartere Wahl. Lassen Sie mich Ihnen die Modelle vorstellen, die tatsächlich Ihre Zeit wert sind.
Die Modelle, die ich tatsächlich genutzt habe
Llama 3.1 von Meta ist das Modell, nach dem alle zuerst greifen, und das aus gutem Grund. Die 405B-Version schlägt sich in den meisten Benchmarks mit GPT-4. Die 70B-Version bewältigt 90 % der realen Aufgaben. Und die 8B-Version? Perfekt für Prototyping, wenn man nicht warten möchte.
Eine Sache, die mich überrascht hat: Das 128K Kontextfenster von Llama ist tatsächlich nutzbar, nicht nur eine Marketingzahl. Ich habe ganze Codebasen gefüttert und konsistente Analysen zurückbekommen.
Mixtral von Mistral AI verfolgt einen anderen Ansatz. Ihre Mischung-aus-Experten-Architektur bedeutet, dass Sie nahezu 70B Leistung zu einem Bruchteil der Rechenkosten erhalten. Wenn Sie Inferenz auf Ihrer eigenen Hardware durchführen und auf die Stromrechnung achten, ist Mixtral Ihr Freund. Außerdem ist es Apache 2.0 – tun Sie damit, was Sie möchten.
DeepSeek V3 kam aus dem Nichts und hat alle überrascht. Ein chinesisches Forschungslabor hat ein Modell in Grenzqualität zu einem Bruchteil der Kosten trainiert, die Meta und Google ausgegeben haben. Die Effizienzgewinne hier sind nicht inkrementell – sie sind architektonisch. DeepSeek hat bewiesen, dass man kein milliardenschweres Trainingsbudget benötigt, um wettbewerbsfähig zu sein.
Qwen 2.5 von Alibaba verdient mehr Aufmerksamkeit, als es in der englischsprachigen Welt erhält. Die 72B-Version ist wettbewerbsfähig mit allem, was es gibt, und die Leistung auf Chinesisch ist unvergleichlich. Wenn Sie etwas Mehrsprachiges entwickeln, insbesondere mit Bezug auf Chinesisch, sollte Qwen auf Ihrer Shortlist stehen.
Gemma 2 von Google übertrifft seine Gewichtsklasse bei weitem. Die 27B-Version übertrifft Modelle, die doppelt so groß sind, in mehreren Benchmarks. Google hat clearly ihre Forschungskompetenz investiert, um ein kleines Modell zu erstellen, das sich nicht klein anfühlt.
Phi-3 von Microsoft ist das „Wirklich?“-Modell. Mit nur 3,8B Parametern bewältigt es Aufgaben, mit denen Modelle des 10-fachen Umfangs kämpfen. Microsoft hat dies erreicht, indem es sich auf die Qualität der Trainingsdaten konzentriert hat, anstatt einfach nur zu skalieren. Dort liegt eine Lektion.
Warum ich gewechselt habe (und Sie vielleicht auch wollen)
Das Geldproblem ist real. API-Kosten summieren sich schnell, wenn Sie täglich tausende von Dokumenten verarbeiten. Nach dem Wechsel zu selbstgehostetem Llama sind meine Inferenzkosten von „besorgniserregend“ auf „Rundungsfehler“ gesunken. Die anfängliche Arbeit, die Infrastruktur einzurichten, hat sich in zwei Wochen bezahlt gemacht.
Datenschutz ist kein Kopfzerbrechen mehr. Ich arbeite mit Kunden im Gesundheitswesen und in der Rechtsbranche. Es war immer ein unangenehmes Gespräch zu erklären, dass ihre sensiblen Dokumente an die Server von OpenAI gesendet werden. Mit selbstgehosteten Modellen passiert dieses Gespräch nicht. Daten bleiben auf unserer Infrastruktur. Fertig.
Keine unangekündigten API-Änderungen mehr. OpenAI hat ein Modell, von dem ich abhängig war, mit einer Vorankündigung von 30 Tagen eingestellt. Mein Produktionssystem benötigte eine Notfall-Umstrukturierung. Mit Open-Source funktioniert mein Modell heute genauso wie nächstes Jahr. Ich kontrolliere den Zeitrahmen.
Feinabstimmung funktioniert tatsächlich. Ich habe Llama auf 500 Beispielen unseres internen Dokumentationsstils feinabgestimmt. Die Verbesserung war dramatisch – das Modell ging von „generischer hilfreicher Assistent“ zu etwas, das wirklich so klang, als hätte unser Team es geschrieben. Das kann man nicht mit einem Prompt erreichen.
Wann Proprietär immer noch gewinnt
Ich werde nicht so tun, als wäre Open-Source überall auf dem gleichen Stand. Bei komplexen mehrstufigen Denkprozessen – bei denen Sie die KI dazu bringen müssen, zehn Einschränkungen im Kopf zu behalten, während sie ein Puzzle löst – haben Claude und GPT-4o immer noch einen Vorteil. Diese Kluft wird kleiner, aber sie ist noch da.
Multimodale Fähigkeiten (Vision + Text + Audio) sind eine weitere Kluft. Open-Source-Modelle holen auf, aber die besten multimodalen Erfahrungen sind immer noch proprietär.
Und wenn Sie niemanden im Team haben, der GPU-Infrastruktur verwalten kann, ist die Einfachheit eines API-Aufrufs den Aufpreis wert.
Wie man anfängt
Ollama ist der erste Ort, an den ich alle sende. Installieren Sie es, führen Sie ollama run llama3.1 aus, und Sie chatten innerhalb einer Minute mit einem 8B-Modell. Keine GPU-Konfiguration, keine Docker-Kopfschmerzen. Funktioniert einfach.
vLLM ist das, was ich in der Produktion verwende. Der Durchsatz ist außergewöhnlich – kontinuierliches Batchen bedeutet, dass Sie Hunderte gleichzeitiger Anfragen bedienen können, ohne dass die Antwortzeit leidet.
Für Apple Silicon-Nutzer läuft llama.cpp Modelle überraschend gut auf M-Serie Macs. Ich führe regelmäßig 13B-Modelle auf meinem M2 MacBook für Entwicklungszwecke aus. Nicht so schnell wie eine richtige GPU, aber völlig nutzbar.
Das Fazit
Vor einem Jahr fühlte es sich an, als würde ich Open-Source-KI-Modelle empfehlen, so wie man Linux auf dem Desktop empfehlen würde – technisch korrekt, aber praktisch schmerzhaft. Das hat sich geändert. Die Modelle sind gut, die Werkzeuge sind ausgereift, und die Wirtschaftlichkeit ist überzeugend.
Starten Sie mit Ollama und Llama 3.1. Führen Sie es eine Woche lang neben Ihrer aktuellen API-basierten Lösung aus. Vergleichen Sie die Ausgaben. Ich denke, Sie werden überrascht sein, wie oft Sie den Unterschied nicht erkennen können – und wie viel Geld Sie sparen, wenn Sie umsteigen.
🕒 Published: