link to top

GPT-3: Was kann die KI aus Kalifornien?

 Jobst Landgrebe |   19.08.2020

Von null auf hundert in wenigen Tagen: Quasi über Nacht ist das KI-Werkzeug GPT-3 (Generative Pretrained Transformer 3) zum Star in den Google Suchtrends aufgestiegen. Doch was ist dran, am neuen Wunderkind der KI-Gemeinde? Cognotekt Geschäftsführer Dr. Jobst Landgrebe ordnet den Hype ein.

GPT-3 synthetisiert Text

GPT-3 ist das dritte Release einer Künstlichen Intelligenz, die das US-Technologieunternehmen OpenAI entwickelt. Im Kern funktioniert das Werkzeug simpel: Es nimmt Sätze oder Wörter entgegen und formt daraus neue Sätze bzw. Wortfolgen. Ein Textgenerator, der beispielsweise den Satzteil “Hänschen Klein ging allein” um die bekannte Weiterführung “in die weite Welt hinein” ergänzen kann. GPT-3 gilt als das bisher leistungsfähigste Release, sein Algorithmus wurde mit rund einer Billion Wörtern trainiert.

Beeindruckende Anwendungen möglich

Mitte Juli wurde das Release der Entwickler-Community zur Verfügung gestellt. Seither hat diese eine Reihe beeindruckender Anwendungen entwickelt. GPT-3 hat beispielsweise einen Kurzkrimi im Stile Raymond Chandlers geschrieben, einen Dialog zwischen Fachleuten erzeugt oder einen fundierten Artikel über sich selbst verfasst. Publiziert wurden die ersten Anwendungen via Twitter. Von dort sprangen zunächst Fach- und dann große Publikumsmedien auf das Thema auf – ein Trend war geboren. “Ich habe das Gefühl, die Zukunft gesehen zu haben”, zitiert Spektrum der Wissenschaft einen kalifornischen Tech-Unternehmer.

Kritik von den Entwicklern

Bei so viel Begeisterung war nicht zu erwarten, dass die Entwickler selbst sich kritisch zu Wort melden würden. Doch genau das ist der Fall: “For all these reasons, scaling pure self-supervised prediction is likely to hit limits, and augmentation with a different approach is likely to be necessary” kritisieren die Entwickler ihr stochastisches Modell fundamental in einem wissenschaftlichem Paper.

Eine Kritik, die man nur teilen kann, wenn man das GPT-3 zugrundeliegende Sprachmodell kennt: Sein Machine-Learning-Algorithmus betrachtet Sprache als reine Abfolge von Symbolen; die Wahrscheinlichkeit des Auftretens eines Symbols wird aus den Symbolen berechnet, die im Satz bereits vorgekommen sind. Das Ergebnis ist ein Computer-Abbild der Textgestalt, von echtem Textverständnis – und somit von künstlicher “Intelligenz” und sinnhafter Sprachverarbeitung – keine Spur.

Textverständnis als limitierender Faktor

GPT-3 kann gewinnbringend überall dort eingesetzt werden, wo Texte nur ungefähr fortgeschrieben werden sollen. Beispielsweise zur Erzeugung von kurzen Nachrichtenmeldungen, Produkttexten oder unkritischen Übersetzungen. Für Aufgaben, zu deren Lösung “echtes” Textverständnis erforderlich ist, bei denen harte, geschäftskritische Daten gewonnen werden sollen, ist es hingegen ungeeignet – und wird es auch immer bleiben. Neben den bekannten Hindernissen für stochastische KI, natürliche Sprache zu verarbeiten (Black-Box-Problematik, unzureichende Mengen an Trainingsdaten, approximative Ergebnisse) verhindert besonders der nicht-ergodische Charakter natürlicher Sprache den Erfolg. Kurz gesagt handelt es sich dabei um die mathematische Unmöglichkeit, aus natürlicher Sprache repräsentative Stichproben für das Training der Modelle zu erzeugen. Dieses Hindernis ist generisch und kann mit auf Wahrscheinlichkeitstheorie beruhenden Machine-Learning-Ansätzen nicht überwunden werden.

Alternatives Konzept bei Wernicke®

Mit der Wernicke® Technologie hat Cognotekt einen alternativen Lösungsansatz entwickelt, der Sprache nicht stochastisch, sondern mathematisch-logisch analysiert. Im Unterschied zu Machine-Learning-Algorithmen erkennt Wernicke linguistische Formen und den Kontext des Gesagten (bzw. Geschriebenen). Auch Wernicke® denkt nicht im menschlichen Sinne, aber es versteht und erzeugt somit präzisen Output, der für geschäftskritische Anwendungen nutzbar ist.


Alle Artikel