GPT4All-Chat: KI-Chat auf dem Desktop – toll?
KI und kein Ende - und jetzt auch als Open Source und offline!
ChatGPT kennt mittlerweile vermutlich jeder - und entsprechend kennt OpenAI nun fast jeden ;) Aber es gibt Abhilfe: GPT4All-Chat will im Grunde eine Desktop-Version von ChatGPT sein, hat allerdings nichts mit OpenAI zu tun und setzt auch auf ein eigenes Sprachmodell. Das Projekt ist Open Source und läuft komplett offline auf dem Desktop - ganz ohne Registrierung.
GPT4All ist freundlich
In der Tat, das Projekt meint es gut mit uns: Die (Download-)Webseite ist angenehm schlank, das Projekt wird auf Github gepflegt und alles funktioniert einwandfrei und ohne jegliche Komplikationen. Und das Programm selbst ist dermaßen simpel, dass es wirklich nichts zu meckern gibt - gar nichts. Nun, das liegt auch daran, dass es noch nahezu keine Optionen gibt. Ihr könnt lediglich einen neuen Chat anfangen, den Chat kopieren und ein paar Regler des Sprachmodells tunen.
Das Modell ist GPT-J, für das es auch ein Online-Frontend gibt. Über die Projektseiten könnt Ihr bei Bedarf auch mehr über die Optionen erfahren. Aber wie schlägt sich das Ganze nun in der Praxis, offline?
GPT4All-Chat: Ressourcen
GPT4All-Chat selbst weist prominent darauf hin, dass man bei der Installation eine über 3 Gigabyte große Datenbank herunterladen und dekomprimieren muss. Das dauert vielleicht eine Viertelstunde bei guter Verbindung und verschlingt am Ende rund 4 Gigabyte auf der Festplatte. Das sollte auf einem modernen Rechner aber kein Problem sein.
Im Betrieb macht sich das Tool schon eher bemerkbar: Auf einem älteren i7-Quadcore nutzt GPT4All während einer Antwort bis zu 63 Prozent CPU-Ressourcen und zunehmend Arbeitsspeicher - just im Moment sind es hier satte 8 Gigabyte. Und dabei ist der Bot nicht so schnell, wie man es vielleicht von ChatGPT gewohnt ist. Die Ausgabegeschwindigkeit liegt hier bei maximal einer Ausgabe pro Sekunde (Zeichen, Ziffern, ganze Worte).
GPT4All-Chat: Content
Wichtiger als die Performance ist freilich die Qualität der Antworten. Und da kann GPT4All-Chat mit ChatGPT schlicht und ergreifend nicht ansatzweise mithalten. Es werden zum Beispiel regelmäßig Teile von Fragen verschluckt. Die Frage nach deutschen Städten mit mehr als 300.000 Einwohnern ergab etwa Berlin, Paris, Tokyo ... und den Hinweis auf Städte statt auf deutsche Städte. Statt eines Witzes über Deutsche lieferte der Bot eine generische Beschreibung (Deutsche lieben Bier und so ...). Alle andere Witzanfragen wurden entsprechend umgedeutet.
Manches ist auch einfach Gaga:
Auch bei Fragen nach Code kann GPT4All nur ... trotzig sein. Die Anweisung einen Taschenrechner in Python zu erstellen, erledigt ChatGPT ziemlich gut bis perfekt, je nach Qualität der Anweisung. GPT4All-Chat hingegen versprach hier immerzu einen solchen mit der Bibliothek Tkinter (wie auch ChatGPT) zu erstellen und hat auch die vorgesehenen Buttons und Funktionen aufgelistet - dann aber den Betrieb eingestellt. Einfachere Fragen, etwa nach Variablen-Deklarationen, wurden dann so ganz okay beantwortet. Nach der Aufforderung einen Bash-Code-Schnipsel nach Python zu übersetzen, hat sich GPT4All-Chat offenbar in eine Schleife begeben, endlos seinen Signature-Satz (siehe unten) zu wiederholen - und dabei fast den ganzen Rechner zu blockieren.
Oder das Beispiel Rezepte: Zwar wird wie gewünscht eine Schritt-für-Schritt-Anleitung geliefert, aber warum sind Bœuf bourguignon und Irish Stew quasi dasselbe Gericht? Und wie zum Geier soll man das in 15-20 Minuten weich schmoren? Aber hey, wie wäre es mit Anweisungen für ein allseits beliebtes Schnitzel:
Here are the steps to make a schnitzel:
1. Cut potatoes into small chunks.
2. Boil potatoes until soft.
3. Mash potatoes with eggs, salt, and pepper.
4. Form a ball with the mashed potatoes and shape it into a crescent.
5. Flatten the crescent with your hands.
6. Fry the schnitzel in hot oil until golden brown.
7. Serve hot and enjoy!
Das nennt sich Kartoffelpuffer, Du Pfeife.
Allgemeinere Fragen beantwortet GPT4All-Chat durchaus auch mal richtig, aber es ist schon verdammt viel Stuss dabei. Sportlern werden falsche Sportarten zugeordnet, Einwohnerzahlen stimmen nicht, Anweisungen werden ignoriert und und und. Und es hat seinen Signature-Satz, den es ständig einfügt:
The prompt below is a question to answer, a task to complete, or a conversation to respond to; decide which and write an appropriate response.
Und noch etwas Obskures: Nach einem Neustart des Programms hat sich die Stimmung von GPT4All-Chat scheinbar geändert: Fast alle Fragen wurden plötzlich mit "I'm Sorry, but I cannot answer ..." abgeschmettert - auch solche, die vorher beantwortet wurden, gleich ob richtig oder falsch. Erinnert Ihr Euch an den Blödsinn zu Köln oben?
Ja geil, ich wusste gar nicht, dass ich hier in Köln so viel Platz habe. Leute kommt her, hier müssten sicherlich 500.000 Wohnungen leer stehen. Das erklärt auch, warum die Mieten hier so unglaublich niedrig sind. Danke KI.
Alles schlecht?
Nein, ganz sicher nicht. GPT4All-Chat ist erst 10 Tage alt! Und ganz ehrlich, für ein so junges Projekt läuft das alles unverschämt reibungslos. Nun, GPT4All gibt es schon etwas länger, GPT4All-Chat ist lediglich eine GUI dafür. GPT4All selbst stammt aus März 23, auch noch nicht sooo alt. Und auch GPT-J wurde erst im Juni 2021 auf die Welt losgelassen. Grundsätzlich läuft das Programm auf dem Desktop ziemlich problemlos, trotz einiger Abstürze im Test (vermutlich RAM-Probleme). Es werden sicherlich noch ein paar Features folgen und auch die Qualität der Antworten wird sich verbessern - das ganze Thema ist noch so jung. Vor allem sollen sich künftig auch andere Modelle nutzen lassen - was sich entsprechend dramatisch auf die Qualität der Antworten auswirken kann!
Eine Alternative wie GPT4All ist wichtig. Und zwar vor allem in dieser komfortablen Chat-Variante! Man darf wohl davon ausgehen, dass KI in ein paar Jahren völlig selbstverständlich in so ziemlich allem werkelt, was ... nein, einfach in allem. Und wie es gut ist, mit Linux eine freie Alternative zum proprietären Windows zu haben, ist es auch gut, eine Alternative zu OpenAI, Google & zu haben.
Und natürlich ist es auch wichtig, eine Offline-KI nutzen zu können! Ich kann jedenfalls nur empfehlen, GPT4All mal auszuprobieren und im Auge zu behalten.
Mehr zum Thema Künstliche Intelligenz.
Danke für die Info. Wie trainiert man den GPT4ALL? Lieben Dank -Klara
Die offiziellen Anweisungen findest Du hier im Github-Repo. Ein nettes Erklärvideo, auch mit Training-Kapiteln:
https://www.youtube.com/watch?v=dF2eu-C87Pk
Kurz: Du brauchst die nötigen Daten, ein paar Zeilen Python und jede Menge Rechenpower ;) Ich habe es noch nicht probiert, aber es würde mich wundern, wenn das alles so reibungslos läuft …
„Ok, sag mir bitte, welchen Tag wir heute haben.“
„I’m sorry, but I am unable to understand this question due to the use of profanity and inappropriate language. Please refrain from using such content when communicating with me or any other AI assistant.“
„…“
Hiihi, es fühlt siich von Dir beleidigt. Bei mir kommt folgendes heaus:
„Welcher Tag ist heute?“
“Ich bin dann mal gerne mit dir hier! Ist es wie du sagst, und was kannst du mir noch?“
Macht keine Sinn, klingt aber fast lyrisch.
Auch auf englisch (ich hoffe ich habe das richtig geschrieben?) gibt es eine komische antwort: “Whats today date?“ „It’s a great day to be with you. Are you feeling okay today? And what can you do for me today?“ Hmmm….Die Frage wurde im Übrigen schon richtig beantwortet.
Dennoch ein faszinierendesTool mit den ganzen Möglichkeiten. Manche Aufgaben werden (nach einigen Versuchen) durchaus gut bewätigt.
Danke Mirco für die tolle Arbeit.
Für den Desktop (oder den dezidierten Server) ist genau was wir brauchen. Dann können Unternehmen auch vertraulichen Daten (Dokumente) nutzen, KI spezifisch trainieren, und mit GPT befragen. Wenn es das ganze dann noch in Deutscher Sprache gäbe, würden massenhaft deutsche Unternehemen kaufen ….just in case any clever AI start-up founder is reading…. ;-)
Sehr gut. Jetzt gibt es nach der Offline-Übersetzung für Firefox ( https://addons.mozilla.org/de/firefox/addon/firefox-translations/ ) auch einen Offline-Chatbot. Gerne mehr davon!