Kurz gesagt: Ein lokales Modell ist ein KI-Modell, das auf Ihrem eigenen Computer oder Server läuft statt bei einem Anbieter in der Cloud. Was Sie eintippen, bleibt dann in Ihrer eigenen Umgebung. Dafür brauchen Sie ein Modell mit offenen Gewichten und genug Speicher, um es zu laden.
Offene und geschlossene Modelle
Ein Modell besteht aus einer riesigen Menge von Zahlen, den Gewichten. Sie werden während des Trainings festgelegt.
- Bei einem geschlossenen Modell behält der Hersteller diese Gewichte für sich. Sie nutzen das Modell über eine App oder API dieses Herstellers.
- Bei einem Modell mit offenen Gewichten können Sie die Gewichte herunterladen und das Modell selbst betreiben.
Beispiele für Hersteller, die offene Gewichte veröffentlichen: Meta (Llama, herunterladbar nach Annahme der Lizenz), Mistral AI (ein Teil der Modelle, manche unter der Apache-2.0-Lizenz), Moonshot AI (ein Teil der Kimi-Modelle) und xAI, das 2024 die Gewichte des ersten Grok-Modells freigegeben hat.
Warum lokal betreiben?
- Ihre Daten bleiben im Haus. Ollama, ein verbreitetes Programm zum lokalen Betrieb von Modellen, schreibt, dass es Ihre Fragen und Daten nicht sieht, wenn Sie lokal arbeiten.
- Keine Abhängigkeit von einem einzelnen Anbieter und dessen Preisen oder Bedingungen.
Dem steht gegenüber, dass die leistungsfähigsten Modelle oft geschlossen sind oder so groß, dass sie nicht auf einen gewöhnlichen Computer passen. Außerdem sind Sie selbst für Installation, Sicherheit und Updates verantwortlich.
Welche Hardware brauchen Sie?
Die Faustregel: Das Modell muss in den Speicher passen. Ollama erklärt, dass ein Modell in den normalen Arbeitsspeicher (RAM) geladen wird, wenn es auf dem Prozessor läuft, oder in den Speicher der Grafikkarte (VRAM), wenn es auf der GPU läuft. Eine GPU (Grafikkarte) rechnet viel schneller, solange das Modell komplett hineinpasst. Passt es nicht, verteilt Ollama das Modell auf mehrere Karten oder auf GPU und Prozessor.
Wie viel Speicher Sie genau brauchen, hängt vom Modell ab, von der Länge des Gesprächs (dem Kontext) und davon, wie viele Personen es gleichzeitig nutzen. Die größten offenen Modelle verlangen Serverhardware: Kimi K3 hat laut Moonshot zum Beispiel 2,8 Billionen Parameter.
Was ist Ollama?
Ollama ist Open-Source-Software für macOS, Windows und Linux, mit der Sie offene Modelle herunterladen und betreiben. Es gibt viele Apps, die daran andocken, etwa Chatprogramme und Entwicklerwerkzeuge.
Dürfen Sie offene Modelle geschäftlich nutzen?
Das hängt von der Lizenz ab. Apache 2.0 ist großzügig. Andere Modelle haben eine eigene Lizenz mit Bedingungen, etwa Llama und Kimi. Lesen Sie immer die Lizenz, bevor Sie ein Modell in Ihrem Unternehmen einsetzen.
Stand: Oktober 2026. Modelle und Lizenzen ändern sich schnell; prüfen Sie den aktuellen Stand bei der Quelle.
Quellen
- Ollama FAQ (Datenschutz, Speicher, GPU und CPU)
- Ollama: Hardware support
- Ollama auf GitHub (Installation für macOS, Windows und Linux)
- Meta: Getting the models (Llama)
- Mistral AI: Models overview
- Hugging Face: Modellkarte Kimi K3 (Lizenz)
- xAI: Company (Zeitleiste, offene Veröffentlichung von Grok-1)
Abgerufen am 21. Oktober 2026.