KI & Lokale Modelle – Ratgeber & Tipps
Lokale KI-Modelle, Ollama und KI-Hardware
Open WebUI mit Ollama einrichten: Docker-Installation, Modelle, Dokumente, Benutzerverwaltung, Zugriff im Heimnetz und Sicherheit für die lokale KI.
Ryzen AI Halo mit 128 GB gemeinsamem Speicher: Was bekannt ist, für wen sich der KI-Mini-PC lohnt und warum er kein Gaming-Rechner ist.
Was Q4_K_M, Q5 und Q8 bedeuten, wie viel Speicher ein Modell braucht und welche Stufe zu deiner Grafikkarte passt.
KI-Hilfe beim Programmieren ohne Cloud: So richtest du VS Code, Ollama und Continue ein, welche Hardware nötig ist und wo die Grenzen liegen.
PDFs und Notizen lokal per KI befragen: So funktioniert RAG mit Ollama und AnythingLLM, was die Hardware braucht und wo die Grenzen liegen.
Ollama oder LM Studio? Einsteiger-Anleitung für lokale KI-Chatbots unter Windows: Unterschiede, Hardware, erste Schritte und Grenzen im Überblick.
KI-Bilder auf dem eigenen PC erzeugen: ComfyUI einrichten, passende Modelle wählen und wissen, wie viel VRAM, RAM und Speicher du dafür brauchst.
Whisper auf dem eigenen PC: Aufnahmen lokal in Text umwandeln. Hardware, Modellgrößen, Ablauf mit Faster-Whisper und Grenzen für Einsteiger erklärt.
Was eine NPU ist, was TOPS bedeuten, was Copilot+ verlangt und warum die NPU im Desktop-PC bisher kaum Nutzen hat. Mit Kaufhinweisen und Entscheidungshilfe.
Wie viel Grafikspeicher lokale Sprachmodelle brauchen, was Quantisierung und Kontext kosten und welche Grafikkarten-Klasse für welches Modell reicht.