5 kostenlose Repos: deine KI läuft auf deinem Rechner

Nicht jede Frage gehört in die Cloud. Verträge, Kundendaten, Zahlen: Dafür gibt es KI, die komplett auf deinem eigenen Rechner läuft. Einmal eingerichtet, geht keine Anfrage mehr ins Internet. Bei mir laufen interne Unterlagen genau so über ein lokales Modell.

Lokal heißt: kleiner, aber deins.

1. Ollama: ChatGPT, aber offline

Ein Befehl lädt ein Sprachmodell auf deinen Rechner, ein zweiter startet es. Zur Auswahl stehen offene Modelle wie Qwen, Gemma, DeepSeek oder gpt-oss. Viele andere Programme können Ollama als Motor nutzen.

Repo: ollama/ollama, rund 184.800 Sterne, Lizenz MIT.

2. llama.cpp: der Motor unter allem

Darauf bauen viele lokale KI-Programme auf. Läuft auch ohne große Grafikkarte, sogar auf einem normalen Laptop. Eher für Bastler, wer es einfach will, nimmt Ollama oder AnythingLLM.

Repo: ggml-org/llama.cpp, rund 132.400 Sterne, Lizenz MIT.

3. AnythingLLM: frag deine eigenen Unterlagen

Verträge, Handbücher, Angebote reinziehen und Fragen stellen. Gibt es als Programm zum Installieren, ohne Kommandozeile. Als Modell nimmst du zum Beispiel eins aus Ollama. Der leichteste Einstieg.

Repo: Mintplex-Labs/anything-llm, rund 67.600 Sterne, Lizenz MIT.

4. PrivateGPT: die KI, die dichthält

Gebaut für Unterlagen, die das Haus nicht verlassen dürfen: fragen, suchen und zusammenfassen, alles auf deinem Server. Eher für den Büro-Server als für den Laptop.

Repo: zylon-ai/private-gpt, rund 57.600 Sterne, Lizenz Apache-2.0.

5. LocalAI: Text, Bild und Ton lokal

Ein Programm für Texte, Bilder und Sprache, auch ohne Grafikkarte. Andere Werkzeuge sprechen es an, als wäre es die OpenAI-Schnittstelle. Gut, wenn ein Programm OpenAI erwartet und du lokal bleiben willst.

Repo: mudler/LocalAI, rund 50.000 Sterne, Lizenz MIT.

Der Haken, ehrlich

• Lokale Modelle sind kleiner als die großen in der Cloud. Für Entwürfe, Zusammenfassungen und Fragen an eigene Dokumente reicht das oft, für schwierige Aufgaben nicht immer.
• Dein Rechner braucht Speicher. Je mehr Arbeitsspeicher, desto größere Modelle laufen flüssig.
• Updates machst du selbst. Neue Modelle kommen ständig.
• Lokal heißt nicht automatisch sicher: Wer an deinen Rechner kommt, kommt auch an die Daten. Zugang und Sicherung gehören dazu.

Einstieg in zehn Minuten

1. 1AnythingLLM als Programm installieren.
2. 2Beim ersten Start ein kleines lokales Modell auswählen und herunterladen lassen.
3. 3Ein unkritisches Dokument hineinziehen, etwa eine Bedienungsanleitung, und drei Fragen stellen.
4. 4Erst wenn das gut klappt: echte Unterlagen und ein größeres Modell. Für mehrere Nutzer später auf einen Büro-Server umziehen.

Ein eigenes ChatGPT fürs ganze Team mit Open WebUI steht im Guide 6 kostenlose GitHub-Repos, die deine Abos ersetzen.