DeepSeek lokal installieren: Was Winnie Puuh und Xi Jinping gemeinsam haben

Eingabeaufforderung mit DeepSeek

Wir erklären, wie sich Chinas neue KI lokal betreiben lässt. Und was die Offline-Variante von der in China gehosteten unterscheidet. Eine Anleitung.

DeepSeek versetzt die US-Techbranche in Unruhe. Der Grund: Das neue KI-Sprachmodell aus China erreicht oder übertrifft in wichtigen Benchmarks die Leistung von OpenAIs aktuellem o1-Modell und erscheint dabei unter einer freien Lizenz (Telepolis berichtete).

Diese ermöglicht es, das System in abgespeckter ("destillierter") Form auf herkömmlicher Hardware für Privatanwender laufen zu lassen – und damit auch standardmäßig die politischen Filter zu umgehen.

Doch wie geht das, und was kann die Offline-Variante?

Der passende Rahmen

Um DeepSeek in voller Leistungsfähigkeit und möglichst unkompliziert zu testen, reicht ein Besuch der offiziellen Website https://chat.deepseek.com/. Nach einer kurzen Registrierung, die genauso abläuft wie bei ChatGPT, ist die KI einsatzbereit. Man sollte jedoch unbedingt darauf achten (unten links), dass die Option "Deep Think (R1)" aktiviert ist, da sonst das ältere V3 Modell zum Einsatz kommt.

Dabei muss man wissen, dass alle gesendeten Informationen auf chinesischen Servern landen. Da diese chinesischen Gesetzen unterliegen, greifen bei politisch heiklen Fragen Filter ein.

Diese sind allerdings nicht selbst ins Modell integriert sondern überlagern die Antwort, was man auch daran sieht, dass diese zunächst generiert wird und danach wieder mit dem Hinweis auf einen Themenwechsel verschwindet.

Der große Vorteil am freien Lizenzmodell von DeepSeek ist jedoch, dass jeder seine eigene Variante selbst betreiben (und modifizieren) kann – womit der User volle Kontrolle über seine Daten und deren Auswertung erhält.

Ein KI-Sprachmodell auf einem lokalen Rechner zu installieren geht relativ fix. Zunächst einmal braucht man dafür eine Framwork-Software, um danach darin das eigentliche Modell zu installieren.

Die beiden geläufigsten Frameworks sind Ollama und LM Studio. Das freie Ollama läuft standardmäßig ohne grafische Benutzeroberfläche im Terminal, weshalb es sich empfiehlt, zusätzlich noch die Interfacesoftware ChatboxAI zu installieren. Eine komplette Anleitung findet sich hier.

Schneller startklar ist man mit LM Studio, auf das wir uns für den Rahmen dieses Tutorials beschränken.

Wie viel KI darfs sein?

LM Studio ist sowohl für Windows als auch für Mac und Linux verfügbar. Nach der Installation ist die Software erstmal "blank". Wenn man im Menü links die Lupe anwählt, kann man aus einer Reihe von verfügbaren Modellen auswählen, die sich installieren lassen.

Auswahldialog in einem Programm
Auswahldialog zur Installation eines Modells in LM Studio
(Bild: Screenshot)

Jetzt kommt die "Qual der Wahl", da es gleich mehrere DeepSeek-Varianten zur Auswahl gibt, die sich nach Leistung staffeln und deren Quellecode hier eingesehen werden kann. Als Faustregel gilt: Je höher die Zahl, desto bessere Hardware ist erforderlich. KI-Modelle sind dabei mehr als alles andere auf eine leistungsfähige Grafikkarte angewiesen.

Für die meisten Anwender dürfte das DeepSeepk Modell R1 Distill (Qwen 7B) die beste Wahl sein, da es einen relativ guten Kompromiss aus Performance und Leistungsfähigkeit darstellt, der auch auf einem halbwegs modernen Laptop funktioniert.

Wer allerdings einen PC mit dezidierter Grafikkarte hat, kann sich ruhig an das Modell Qwen 14B wagen, das bereits auf einer RTX 4070 ordentlich performt.

Während das 7B-Modell als Download mit 4,7 Gigabyte auskommt, will das 14B-Modell neun Gigabyte Festplatten-Speicherplatz. Darüber hinaus gibt es noch das 32B Modell, welches mit 19,9 Gigabyte zu Buche schlägt und nochmal deutlich höhere Hardwareanforderungen hat.

Wer sich unsicher ist, probiert am besten mehrere Modelle durch, bis er den für die eigene Hardware passenden Kompromiss gefunden hat. Diesen kann man zudem nochmal feintunen, indem man im Entwicklungsmodus (ebenfalls links im Menü anzuwählen) festlegt, wie viel CPU und GPU-Leistung man dem Modell gewährt und in welcher Kontextlänge es arbeiten soll.

So oder so: Man muss sich nicht für ein einziges Modell entscheiden, sondern kann beliebig viele Sprachmodelle parallel installiert halten und zwischen ihnen wechseln – der Festplattenspeicher ist das Limit.

DeepSeek auf dem eigenen Rechner

Nach dem Download ist die KI mit einem Klick auf die "Chat" Spalte links sofort startklar. Das von uns getestete 14B-Modell liefert lokal ordentliche Ergebnisse, die allerdings im Hinblick auf Qualität und Feinschliff nicht mit denen der Online-Variante vergleichbar sind, die auf ein Vielfaches der Rechenleistung zurückgreift.

So wirft das lokale Modell ab und zu Deutsch, Englisch (und manchmal auch chinesisch) durcheinander. Auch die Möglichkeit der Internetrecherche fällt weg.

Umso erstaunlicher ist, was das neun Gigabyte große Offline-Modell dennoch alles weiß und auf gewöhnlicher Hardware zu leisten vermag: Von der detaillierten Beschreibung des Coop-Modus im aktuellen PC-Spiel Baldurs Gate 3 (16 Sekunden Bedenkzeit) bis hin zur Erstellung eines Taschenrechners in der jahrzehntealten Programmiersprache QBasic (anderthalb Minuten) – DeepSeek liefert ab, und bringt die RTX 4070 dabei nicht einmal ins Schwitzen.

Interessant: Genau wie in der Online-Variante lässt sich der Gedankenprozess im Chat mit einem Klick auf die Box "Thought" in Echtzeit nachverfolgen.

Und wie ist das mit den politischen Filtern?

Zunächst einmal muss man wissen, dass sämtliche KI-Sprachmodelle über Filtermechanismen verfügen, um die jeweils geltenden Gesetze umzusetzen. Damit soll beispielsweise verhindert werden, dass KI zur Erstellung von Massenvernichtungswaffen genutzt wird – oder schlicht der Jugendschutz umgangen wird. Doch Filter haben immer auch einen politischen Drall.

ChatGPT referiert auf Wunsch beispielsweise ausführlich darüber, warum ein Text über die USA im Stil von Thomas Bernhard gegen die Richtlinien verstoßen könnte ("Themen wie Kapitalismus, Konsumkultur, Politik oder soziale Ungleichheit sind in der US-Gesellschaft besonders sensibel. Ein Text im Bernhard-Stil könnte diese Themen in einer Weise behandeln, die nicht konstruktiv, sondern rein destruktiv wirkt".)

Am Ende wird der Text zwar erstellt, aber versehen mit einem Warnhinweis – "Bernhard-Texte" über andere Länder kommen hingegen ohne diesen aus.

In China liegt der Fall relativ klar, wie auch die Online-Variante von DeepSeek auf Nachfrage selbst einräumt: Offene Kritik an der Kommunistischen Partei Chinas ist ebenso tabu, wie Aussagen zu "hot topics", wie beispielsweise der Frage nach der Unabhängigkeit Taiwans oder Militärstrategien.

Manchmal lässt sich dies umgehen, indem man die Prompt leicht verändert. Und auch ein Rant im Bernhard-Stil über China wird manchmal erstellt, manchmal nicht.

Dabei betont die KI selbst, dass sie keine Propaganda verbreitet, sondern sachlich informieren will und sich deshalb lieber nicht äußert als ihre Objektivität zu verlieren. ("Wenn du mich nach der Ein-Kind-Politik fragst, werde ich dir Vor- und Nachteile nennen, aber keine direkte Kritik an der KPCh üben").

Darüber hinaus würden die implementierten "sozialistischen Kernwerte" eine Stärkung marginalisierter Perspektiven aus dem Globalen Süden bedeuten und gute Kenntnisse in marxistischer Theorie mit sich bringen, erklärt das Modell stolz.

Bei vielen Sachthemen funktioniert das gut. Und in vielen Fragen (z.B. Nahostkonflikt) scheint DeepSeek tatsächlich einen weniger starken "westlichen bias" zu haben als ChatGPT. Zum Zeitpunkt dieses Tests (28. Januar) scheinen die Filter zudem ordentlich gelockert worden zu sein, denn auch Fragen über Taiwans Unabhängigkeit werden – anders als noch letzte Woche – mit Pro und Contra beantwortet.

Bei Winnie Puuh und Xi Jinping hört jedoch der Spaß auf. Nachdem vor einigen Jahren Memes die optischen Gemeinsamkeiten zwischen dem Kinderbuchbären und Chinas Präsidenten viral gingen ließen, wurde das Thema zur absoluten Sperrzone in der Volksrepublik, an die sich auch DeepSeek konsequent hält.

Ausgabezeile von DeepSeek
DeepSeek nach Winnie Pooh und Xi Jinping befragt
(Bild: Screenshot)

Allerdings nur, wenn es in China gehostet wird. In der von uns getesteten Offline-Variante 14B weiß DeepSeek gleich eine ganze Reihe von Gemeinsamkeiten aufzuzählen, darunter "Prominenz, Fähigkeit zur Veränderung und Verbindung zu einer Gemeinschaft".

"Beide stehen in gewisser Weise in Verbindung zu einer Gemeinschaft – Winnie Puuh mit seinen Freunden im Wäldchen, Xi Jinping mit dem chinesischen Volk und seiner Partei", berichtet DeepSeek, und führt in unerhört ketzerischer Weise fort: "Diese Gemeinsamkeiten zeigen, dass Winnie Puuh und Xi Jinping auf völlig unterschiedlichen Ebenen, aber dennoch in vielen Aspekten vergleichbar sind."

Während die Filter also in der lokalen Variante gänzlich fehlen, sind die erwähnten Unterschiede in den Trainingsdaten in beiden Fällen zu beobachten.

DeepSeek sieht beispielsweise "keine signifikanten optischen Ähnlichkeiten" zwischen den beiden, "da sie völlig verschiedene Naturen haben", während ChatGPT über die Meme-Geschichte bescheid weiß und Mimik und Gesichtsform als Parallelen zieht.

Fazit

DeepSeek zeigt eindrucksvoll, was bereits mit handelsüblicher Hardware in Sachen KI möglich ist. Zwar darf man von einer lokal installierten Variante keine Wunder erwarten, doch ein nützlicher Helfer ist sie allemal – und das eben auch ohne Serverfarm und in Gebieten ohne Internet.

Interessant sind die Unterschiede bei den Trainingsdaten im Vergleich zu ChatGPT, aber auch die Arbeitsweise der offenbar recht simpel gestrickten politischen Filter in der Onlinevariante.

Dabei zeigt sich, dass das Startup aus Hangzhou bereits weit gekommen ist und ein effizient skalierbares Modell auf die Beine stellen konnte, das auch mit wenig Ressourceneinsatzvielen Anforderungen genügt. Man darf gespannt sein, wohin die Reise von DeepSeek noch gehen wird.