ChatGPT-Klon mit Datenschutz und Sicherheit ohne Internetzwang GPT4All – KI ohne Internet nutzen

Anbieter zum Thema

FTAPI Software GmbH

Cohesity GmbH

Mit GPT4All steht ein kostenloser Chatdienst zur Verfügung, der sich im lokalen Netzwerk betreiben lässt. Der Dienst benötigt weder eine Internetverbindung noch eine besonders schnelle GPU. Das ist für Unternehmen auch bezüglich des Datenschutzes interessant.

GPT4All ist ein kostenloser Open-Source-ChatGPT-Klon auf Basis von Python. Der Code steht auf GitHub zur Verfügung. Der Dienst kann Problemlos auf Windows, macOS und Linux installiert werden. Für den Betrieb ist keine Internetverbindung notwendig und auch keine besonders ausgestattete Hardware. Natürlich ist es sinnvoll, möglichst schnelle Hardware zu nutzen, da alle Anfragen lokal verarbeitet werden. Das ist für Unternehmen interessant, die den Datenschutz im Auge behalten müssen und die sicherstellen wollen, dass Anfragen an die KI im lokalen Rechenzentrum verbleiben.

GPT4All kann für verschiedene Einsatzgebiete genutzt werden. Neben der Verwendung als eigener Chatbot kann die kostenlose KI-Lösung auch Texte erstellen oder als Sprachassistent zum Einsatz kommen. Zusammen mit dem passenden Modell ist es darüber hinaus auch möglich, GPT4All als Lernhilfe zu nutze. Im Gegensatz zu ChatGPT und vielen anderen Diensten ist GPT4All kein cloudbasierter Dienst, sonst läuft komplett lokal. Für die Installation ist eine Internetverbindung notwendig, ebenso für die Integration von neuen Modellen. Sobald ein Modell aber lokal zur Verfügung steht, braucht GPT4All keine Internetverbindung und auch keine Konten im Internet mehr.

Bildergalerie

GPT4All bietet verschiedene KI-Sprachmodelle im lokalen Netzwerk

Nach der Installation von GPT4All stehen die verschiedenen ML-Sprachmodelle zur Verfügung, die sich für GPT4All aktivieren lassen. Auch hier kommen vor allem Sprachmodelle zum Einsatz, die kostenlos und als Open Source bereitstehen. Die Qualität schwankt dabei natürlich und es sind oft nicht die Ergebnisse zu erwarten, die ChatGPT oder andere professionelle Dienste bieten. Dafür ist die Verwendung aber kostenlos und lokal möglich. Sobald die DSGVO ins Spiel kommt, ist die Verwendung von ChatGPT für personenbezogene Daten kaum möglich. Installieren lässt sich GPT4All auf Windows, Linux und macOS. Interessant dabei ist, dass für die Inbetriebnahme nur der Installer gestartet werden muss, es ist keine komplexe „Einrichtungsorgie“ notwendig.

Schnelle Inbetriebnahme von GPT4All

Ob GPT4All in der eigenen Umgebung sinnvoll ist, lässt sich schnell und einfach testen. Die Installationsdateien stehen für Windows, Linux und macOS auf der Webseite des Projektes verfügbar. Weder für Download noch für Installation der Umgebung sind Registrierungen notwendig. Wer sich einen ersten Überblick verschaffen will, kann GPT4All auch in einer Windows-Sandbox oder einer VM installieren. Für einen produktiven Betrieb sollte die Installation auf einem leistungsstarken PC erfolgen, da sonst die Antworten von GPT4All sehr langsam sind.

Für die Installation ist eine Internetverbindung notwendig, da der Installer noch einige Daten nachladen muss. Das stellt sicher, dass die implementierten Sprachmodelle so aktuell wie möglich sind. Nach dem Start können Anwender noch auswählen, ob sie anonymisierte Daten an die Entwickler senden wollen, um an der Verbesserung des Tools mitzuarbeiten. Danach ist noch der Download der gewünschten Sprachmodelle notwendig.

Abhängig von den verwendeten Modellen, kann es sich hier um Downloads von weit über 20 Gigabyte handeln. Das liegt daran, dass GPT4All später alle Anfragen/Prompts lokal verarbeitet. Für jedes der eingesetzten Sprachmodell steht ein „Download“-Button zur Verfügung, der die Dateien für das Modell herunterlädt.

Auto-GPT und GPT4All

So lassen sich Aufgaben mit KI automatisieren

Sobald das Modell heruntergeladen und installiert ist, kann der Anwender in der Oberfläche Prompts genauso eingeben, wie bei ChatGPT. Die Oberfläche ist dabei sehr benutzerfreundlich gehalten, sodass der Einstieg sehr einfach ist.

GPT4All kann auch GPT 3.5 und GPT 4 – aber nur mit OpenAI-API-Key

Nach dem Download des ersten Sprachmodells steht GPT4All bereits zur Verfügung. Es gibt bei der Auswahl der Sprachmodelle auch die Möglichkeit GPT 3.5 oder GPT 4 auszuwählen. In diesem Fall nutzt GPT4All allerdings den OpenAI-API-Key und sendet die Anfrage über das Internet an ChatGPT. Daher sollte bei der Auswahl des gewünschten Sprachmodells darauf geachtet werden, dass auch wirklich nur die Sprachmodelle installiert werden, die eine lokale Verarbeitung ermöglichen.

Mit „Show more Models“ zeigt GPT4All alle kompatiblen Modelle an, die an das System angebunden werden können. Die Qualität der Antworten von GPT4All hängt natürlich vom verwendeten Sprachmodell ab. Hier sind unter Umständen Tests notwendig, da die Qualität auch von den eigenen Ansprüchen und Einsatzszenarien abhängt. GPT4All empfiehlt normalerweise ein Modell.

Sobald das Modell heruntergeladen ist und zur Verfügung steht, lässt es sich beim Starten von Anfragen auswählen. Es ist daher problemlos möglich auch mehrere Sprachmodelle herunterzuladen und für verschiedene Anfragen unterschiedliche Modelle zu nutzen.

GPT4All an die eigenen Anforderungen anpassen

Über das Zahnradsymbol oben rechts lassen sich die lokalen Einstellungen für GPT4All anpassen. Zunächst lässt sich an dieser Stelle das gewünschte Sprachmodell auswählen. Über „Models“ ist es an dieser Stelle auch möglich das Aussehen der Prompts zu definieren. Bei „Application“ stehen Optionen für das Standard-Sprachmodell, der Download-Pfad und die maximalen CPU-Threads zur Verfügung.

Für den Einsatz auf Macs ist die Option „Force Metal (macos+arm)“ zur Verfügung. Das kann die Verwendung von GPT4All auf macOS beschleunigen. Über Plug-ins lässt sich noch einstellen, wie Plug-ins zum Einsatz komme können. Das ist sinnvoll um lokale Dokumente zu durchsuchen.

(ID:50024772)