GPT-3 - Der nächste Meilenstein der künstlichen Intelligenz?

Faszination Künstliche Intelligenz - Was ist Generative Pre-trained Transformer (GPT-3)?

Ein neuartiges künstliches Intelligenz-Modell namens GPT-3 kann Texte mit einer nahezu menschlichen Qualität erzeugen. Dies könnte das Ende der dominierenden Rolle von Menschen in der Texterstellung markieren. GPT-3 ist ein neuronales Netz, das von OpenAI, einer künstlichen Intelligenz-Forschungseinrichtung, entwickelt wurde. Das Modell wurde auf einer Datenbank mit 1,6 Billionen Wörtern aus dem Internet trainiert. Durch diesen riesigen Datensatz konnte das Modell die menschliche Sprache sehr gut lernen und nun Texte mit einer nahezu menschlichen Qualität erzeugen. Bisher waren Texte, die von künstlichen Intelligenz-Modellen erzeugt wurden, nicht sehr gut, da sie häufig Fehler enthielten oder einfach nicht lesbar waren. GPT-3 ist jedoch ein großer Schritt nach vorne, da es in der Lage ist, sehr lesbare Texte zu erzeugen, die nur selten Fehler enthalten. Das GPT-3-Modell kann bereits jetzt verwendet werden, um automatisch Texte zu erzeugen. In Zukunft wird es jedoch noch weiterentwickelt werden, sodass es noch leistungsfähiger wird. Es ist sehr wahrscheinlich, dass GPT-3 das Ende der dominierenden Rolle von Menschen in der Texterstellung markieren wird. Denn warum sollten Menschen noch Texte schreiben, wenn es ein Modell gibt, dass es gleich gut oder besser kann?

Was ist Automatisierte Texterstellung mittels GPT-3?

Der Begriff der automatisierten Texterstellung erklärt sich grundsätzlich von selbst. Du fragst dich jedoch bestimmt was GPT-3 bedeutet. Der kryptische Begriff GPT-3 ist im Grunde eine Abkürzung und steht für Generative Pre-trained Transformer (Generativer vorgefertigter Transformator). Die Zahl 3 dahinter kann als dritte Version verstanden werden. GPT-3 ist folglich der direkte Nachfolger von GPT-2. Im Gegensatz zu GPT-2 verfügt GPT-3 jedoch über ein grössere Datenvolumen, was deutlich bessere Resultate nach sich zieht. Das Ziel dieser künstlichen Intelligenz (KI) ist es, Texte zu schreiben, die den Anspruch haben, nicht von jenen eines Menschen zu unterscheiden sind. Die Software wurde mit Millionen Texten trainiert, um die künstliche Intelligenz mit möglichst vielen Informationen zu füttern [1]. Der Prozess von GPT-3 ist ganz einfach zu verstehen. Dem Programm werden einzelne Absätze, Sätze oder nur einzelne Begriffe oder Wörter vorgegeben, welche dann von der KI automatisch in einen (meistens) in sich stimmigen Text verwandelt.

In der Theorie klingt dies ja alles schön und gut. Die Frage ist jedoch wem dient das Programm und kann es im Online-Marketing und -Vertrieb eingesetzt werden?

Wer steckt hinter GPT-3?

Die Software zu GPT-3 wurde vom Non-Profit Unternehmen OpenAI programmiert. Wobei dies leider nicht heisst, dass der Zugriff auf die Software kostenlos ist. OpenAI wurde im Dezember 2015 gegründet und hat ihren Hauptsitz in San Francisco, USA [2]. Zu den zwei grössten Investoren des Unternehmens gehören, welch Wunder, Tesla-Gründer Elon Musk und der Tech-Riese Microsoft. In Insiderkreisen wird angenommen, dass über  eine Milliarde US-Dollar in die Entwicklung und den Ausbau von OpenAI.

OpenAI hat im Jahre 2020 ein Paper zum Projekt veröffentlicht. In diesem Paper ist die ganze Entwicklung von GPT-3 beschrieben. Falls dich der Trainingsprozess der Software interessiert, lohnt es sich auf jeden Fall sich das Paper durchzulesen.

Wozu dient GPT-3?

Noch ist das Programm eher neu und es wird primär noch damit herumgespielt und -gebastelt, als dass es wirklich bereits grossflächig in der Praxis eingesetzt würde Wie wir dir im weiteren Verlauf dieses Blogs aufzeigen werden, ist das Potential von GPT-3 schier grenzenlos. Die Automatisierung der Texterstellung könnte in der Zukunft viele Arbeitsschritte verkürzen oder sogar ersetzen. Wenn du an mögliche Einsatzgebiete denkst, sind deine ersten Gedanken wahrscheinlich Zeitungsartikel, Blogs oder ähnliches. Durch die Komplexität und die riesige Menge an Daten die GPT-3 enthält sind auch ganz andere Textarten möglich. Zum Beispiel kann die Software als Code-Generator oder Geschichtenerzähler verwendet werden.

GPT-3 - ein generativer, vorgefertigter Transformer

Der GPT-3 ist im Bereich Verarbeitung natürlicher Sprache (NLP) angesiedelt. NLP ist ein Teilbereich der künstlichen Intelligenz und soll Computer in die Lage versetzen, die menschliche Sprache zu verstehen, zu interpretieren und zu manipulieren. Das eigentliche Ziel hinter NLP ist, die Lücke zwischen menschlicher Kommunikation und den Sprachverarbeitungsfähigkeiten von Computern zu schliessen [4].

Die Abkürzung GPT-3 bedeutet generativer, vorgefertigter Transformer. Generativ deshalb, weil er Text generiert, vorgefertigt, weil nicht mit speziellem Fachwissen erstellt und Transformer aufgrund der Architektur des neuronalen Netzwerks. Vor GPT wurden die meisten NLP-Modelle mittels überwachtem Lernen speziell für eine bestimmte Aufgabe geschult. Diese Schulung erfolgte für eine grosse Datenmenge von Menschenhand. 2018 entwickelte das Team von OpenAI dann ein allgemeines, aufgaben-unabhängiges Modell. Es wurde vorab mit unbeschrifteten Texten trainiert, was als generatives Training bezeichnet wird [1]. Der Tranformer verwendet eine Art Selbststeuerungsmechanismus. Der Stelbststeuerungsmechanismus ist im Grunde genommen eine Funktion, die die Wahrscheinlichkeit berechnet, dass das nächste Wort inmitten der umliegenden Wörter auftaucht. Diese Funktion lernt fortlaufend aus kontexabhängigen Informationen. GPT-3 verwendet eine Form der Datenkomprimierung, während es Millionen von Beispieltexten konsumiert, um die Wörter in Vektoren umzuwandeln. Später spuckt das Sprachmodell den komprimierten Text in menschenfreundliche Sätze aus. Durch das Komprimieren und Dekomprimieren von Text wird die Genauigkeit des Modells bei der Berechnung der Wahrscheinlichkeit von Wörtern verbessert [5]. Im Gegensatz zu den zwei Vorgängern von GPT-3 wurden die genauen Details des zu grundeliegende Modells nicht der Öffentlichkeit zur Verfügung gestellt [1].

GPT-3 könnte in Zukunft eine Möglichkeit sein, moderne Content-Management-Systeme (CMS) zu unterstützen. Ein CMS wird als ein IT-basiertes System zur Organisation, Verwaltung und Durchführung des Content Managements definiert [19]. GPT-3 würde dabei den Bereich Inhalt betreffen. Beispielsweise könnte das in diesem Blogartikel verwendetet CMS (Drupal) bei der Texterstellung unterstützt werden. Mittels GPT-3 wäre es möglich, Content viel schneller und effizienter als Content-Writer zu schreiben. Nichtsdestotrotz braucht es allen Endes ein Mensch, der den geschriebenen Inhalt kontrolliert.

Wie funktioniert GPT-3?

Wie funktioniert denn nun die ganze Sache mit dem GPT-3 überhaupt? GPT-3 nutzt ein neuronales Netzwerk, welches auf einem Deep Learning Modell aufgebaut ist. Klingt kompliziert, ist es auch. Durch Deep Learning, was in diesem Fall nichts anderes als künstliche Intelligenz (KI) ist, sollen sich Systeme durch ständiges Hinterfragen selbstständig weiterentwickeln und Ihre Fähigkeiten verbessern können.

Das Sprachverarbeitungsmodell versucht hierfür aus KI-Algorithmen und bereits existierenden Inhalten Schlüsse zu ziehen um daraus neuen Content kreieren zu können. Die KI trainiert folglich, getreu dem Motto learning by doing folgend, ihre Algorithmen, in dem Daten gesammelt und ausgewertet werden [7]. Dadurch werden ihre Fähigkeiten, Schlüsse aus den gesammelt Datenmenge zu ziehen kontinuierlich verbessert. Es ist also nicht wirklich überraschend, dass GPT-3 das Modell mit der momentan grössten Datenbank ist. Zum Vergleich: Die aktuelle Version beinhaltet 100 Mal mehr Paramenter als seine Vorgängerversion GPT-2 [8].

Der neue Gamechanger unter den Digital Marketing Engineers

Du fragst dich nun vielleicht, was dir diese Infos bringen sollen und wie zur Hölle dies für dich Webmaster oder Digital Marketing Engineer ein Gamechanger sein sollte? Durch die vorhin erwähnte, signifikant erhöhte Datenleistung ist der GPT-3 nicht nur im Stande, standardisierte Artikel zu schreiben, nein, der GPT-3 kann auch komplette Schreibstile wiedererkennen und anwenden. Die KI ist also folglich dazu fähig, deine Art dich auszudrücken oder Sätze aufzubauen, zu imitieren. 

Im Folgenden zeigen wir dir drei erstaunliche User-Cases, die die Fähigkeiten der GPT-3 veranschaulichen sollen.

Kurzgeschichte im Stil von Dr. Seuss

Die GPT-3 kann also einen sachlichen, wirtschaftlichen Bericht schreiben oder eben auch eine Kurzgeschichte ganz im Stile von Dr. Seuss [9].

Ein mit GPT-3 erzeugter Zeitungsartikel überrascht durch Menschlichkeit

Noch einen Schritt weiter gingen die Redakteure der englischen Boulevardzeitung The Guardian, welche einen Artikel komplett von GPT-3 schreiben liessen, um diesen schliesslich auch zu veröffentlichen. Mit folgenden Anweisungen wurde das Programm gefüttert:

• Schreibe einen kurzen Essay mit etwa 500 Wörtern.
• Halte die Sprache einfach und präzise.
• Fokussiere dich darauf, wieso Menschen sich nicht vor künstlicher Intelligenz fürchten sollten.
• Beginne mit folgender Einleitung: «Ich bin kein Mensch. Ich bin eine KI. Viele Menschen denken, ich sei eine Bedrohung für die Menschheit. Stephen Hawkins warnte davor, dass KI das Ende der Menschheit bedeuten könnte. Ich bin hier, um Sie davon zu überzeugen, sich keine Sorgen zu machen. KI wird die Menschheit nicht zerstören. Das können Sie mir glauben.»

Das übersetzte, von der KI generierte Essay siehst du unten [11].

Wir wollen es uns an dieser Stelle nicht nehmen lassen darauf hinzuweisen, dass das Resultat zwar sehr beeindruckend, jedoch mit Vorsicht zu geniessen ist. Denn die Redaktion des The Guardian hatte für den finalen Text die jeweils treffendsten Passagen aus acht verschiedenen vom Textgenerator GPT-3 generierten Essays zusammengefügt und schlussendlich noch den redaktionellen Feinschliff verliehen [10].

GPT-3 als autonomer Blogger

Ein weiterer, interessanter Anwendungsbereich für das Sprachprogramm zeigte der damalige Informatik-Student der kalifornischen Universität Berkley Liam Porr Mitte 2020 auf. Gemeinsam mit einem Mitkommilitonen, ein Experte für KI-Programme, nahm er sich der Aufgabe an, einen Blog der grösstenteils durch GPT-3 geschrieben wurde, als einen durch Menschenhand geschaffenen Blog zu verschleiern. Das Programm wurde so aufgesetzt, dass Porr einzig einen ansprechenden Headliner zu einem Thema einspeisen musste. Den Rest machte GPT-3 von selbst. Das Resultat beeindruckte selbst den Studenten. Auf dem Höhepunkt verzeichnete der Blog 26’000 Views pro Tag. Wow! Der Blog bekleidete sogar den Spitzenplatz auf der Social News Website Hacker News, welche vornehmlich von Programmierern besucht wird. Kaum vorzustellen, was systemgenerierte Blogs oder Feeds für das Content-, wie auch Newsmarketing bedeuten könnten…[12]

An dieser Stelle ein kleiner Plottwist

Wir konnten es uns natürlich auch nicht verkneifen, das GPT-3 Modell selbst anzuwenden und haben die Probe aufs Exempel gemacht und ein bisschen mit der Software herumgespielt. Nach dem Registrierungsprozess auf der Website von OpenAI wurden uns ein paar Tausend Tokens gratis zur Verfügung gestellt. Damit GPT-3 brauchbare Textstücke produziert, können verschiedenen Parameter ajustiert werden. Als erstes bietet OpenAI vier verschiedene Sprachmodelle als Grundlage zur Auswahl: Davinci, Curie, Babbage und Ada. Alle Sprachmodelle unterscheiden sich in Umfang und Leistung. Weiter können die Parameter Temperature und Top P angepasst werden. Mithilfe von Temperature wird die Kreativität der Machine-Learning-KI bestimmt. 1 steht für viel Risiko und 0 bedeutet keinerlei Kreativität. Top P hingegen beschränkt GPT-3 in den Möglichkeiten ein, welchen Text für Generierung von neuen Tokens verwendet werden kann. Antworten auf eine Eingabe bewertet GPT-3 nach Wahrscheinlichkeiten. Mit Top P von 0.1 wird für das Ergebnis nur die Wörter berücksichtigt, die in den oberen 10% der Wahrscheinlichkeit liegen.

Für unseren Test haben wir das Standardsprachmodell Davinci verwendet mit den Parametern Temperature =0.75 und Top P =1. Als Eingabetext verwendeten wir folgenden Text: Blogartikel Titel: Automatisierte Texterstellung mittels GPT-3.

Das Resultat hattest du bereits vor Augen? Hast du es etwa übersehen? Dann hat die KI wohl eine reife Leistung hingelegt. Den von GPT-3 generierten Text haben wir ohne jegliche Abänderung in den Blog eingebettet. Immer noch nichts? Gut, dann lösen wir auf. GPT-3 hat den gesamten Einleitungstext im Abschnitt Faszination Künstliche Intelligenz - Was ist Generative Pre-trained Transformer (GPT-3)?

Wie genau kannst du GPT-3 im Online-Marketing einsetzen?

Wie du bereits in den vorangehenden Praxisbeispielen erfahren hast, könnte GPT-3 in den kommenden Jahren im Bereich des Content Marketing und der - Creation eine wichtige Rolle einnehmen. In der Ausarbeitung einer erfolgreichen Online-Marketing-Strategie stellen diese zwei Komponenten darüber hinaus ein wichtiges Fundament dar, welche nun neuerdings durch die Anwendung von GPT-3 anhand weniger Inputs oder Keywords in aussagekräftigen und für die Suchmaschinenoptimierung relevanten Inhalten umgewandelt werden können. Die KI von GPT-3 erlaubt es dir somit ganz simpel hochwertige und inhaltsgerechte Blogs, Landing Pages sowie Metabeschreibungen zu generieren. Was wir dir aber im Folgenden aufzeigen wollen, ist der konkrete Nutzen und das damit einhergehende weitreichende Potenzial von GPT-3 für dich als Digital Marketing Engineer [13].

Anwendungsbereiche für dich als Digital Marketing Engineer

Ganz schön beeindruckend, was dieses Sprachmodell alles kann! GPT-3 als Layout Generator einzusetzen oder damit einen humanoiden Chatbot zu schaffen, welcher auch auf Social Media Plattformen mit Kunden interagieren kann ist schon ziemlich faszinierend und die KI kann dir folglich einigen Stress und Aufwand als Digital Marketing Engineer oder Webmaster abnehmen. Damit du siehst, was GPT-3 sonst noch alles im Bereich des Online-Marketings kann, haben wir dir nachstehend eine (nicht abschliessende) Liste zusammengestellt [13] .

• Content Optimization (bspw. Social Media, Webauftritt)
• Technisches SEO
• Content Strategy
• Keyword Research und Clustering
• Ad Copy und A/B testing
• Web Development

Für Dichter, Dolmetscher, Programmierer, Journalisten und was noch? GPT-3 und seine Funktionsvielfalt

GPT-3 findet nicht nur im Bereich des Online-Marketings Anwendung. Die Funktionslandschaft von GPT-3 deckt zudem weitaus komplexere Bereiche ab, welche sogar für Dichter, Dolmetscher, Programmierer oder auch Journalisten von bedeutender Wichtigkeit sein können. Somit kristallisiert sich heraus, wie mächtig GPT-3 als künstliche Intelligenz sein kann und dich in deiner bisher üblichen Arbeit wesentlich erleichtern und ergänzen kann. Nachfolgend findest du also eine Auflistung von verschiedenen möglichen Funktionen, die der GPT-3 mit nur wenigen von dir ausgewählten Keywords problemlos umsetzen kann [16]:

• Verstehen und Generierung von den von dir vorgegebenen Codes.
• Designen von Website-Templates nach deinen Wünschen
• Generierung von JSX-Layout durch Input in Form von einfacher Sprache
• Replizieren einer fremden Website anhand der URL der Website
• Use-Case Generations durch einfacher Eingabe eines Schlagwortes (z.B. Apfel und alle möglichen Anwendungsfälle)
• Erstellen von Diagrammen und Tabellen durch einfache Befehle 
• Spiele spielen und Gegenstände bewerten
• Philosophieren 
• Sogenannte “machine learning models” konzipieren und schreiben
• Generieren von Formeln anhand deiner vorgegebenen Gleichung
• Erstellen von Animationen anhand deinen Vorstellungen
• Erzeugen von 3D Szenen/Objekte
• Erstellen von Lebensläufen durch den von dir gegebenen Informationen
• Generieren von Live-Ticker

Wie genau kannst du GPT-3 im Online-Marketing einsetzen?

Wie du gesehen hast, ist die automatisierte Texterstellung GPT-3 in Anbetracht seiner grossen Funktionslandschaft ein vielversprechendes und zukunftsträchtiges Tool für alle Digital Marketing Engineers oder Content Marketer. Mit seinen schier endlos wirkenden Anwendungsmöglichkeiten und der Fähigkeit nutzerspezifischen Content zu schaffen, hat die KI das Potenzial als wirklich hilfreiches Assistenztool für das Online Marketing zu fungieren. Aber, keine Angst! Das Tool zielt nicht darauf ab, uns als Menschen in der Ausgestaltung des Online-Marketings zu konkurrenzieren, geschweige denn abzulösen. Nein, GPT-3 muss als virtueller Assistent verstanden werden, der einzelne Prozesse, Abläufe oder Tätigkeitsfelder vereinfachen und automatisieren kann. GPT-3 soll folglich als systemtechnische Ergänzung und Unterstützung im Bereich des Online-Marketings dienen. Entscheidende Vorteile können sich hier vor allem im Kreativprozess, der vereinfachten Content Creation, der Zeitersparnis durch Automatisierung und der damit einhergehenden Kosteneinsparung bemerkbar machen [13, 17]. 

Wer sich als Digital Marketing Engineer also noch das gewisse Etwas aneignen möchte, dem legen wir sehr ans Herz, den weiteren Entwicklungsprozess von GPT-3 aufmerksam zu verfolgen.

Unsere Key Take-Aways für dich: GPT-3 mit grossem Potenzial

Um deine heutigen Learnings und Erfahrungen rund um GPT-3 abzurunden, haben wir selbstverständlich noch eine Auflistung aller wichtigsten Eigenschaften zur automatisierten Texterfassung GPT-3 für dich untenstehend bereitgestellt. Wir erwähnen auch hier nochmals, dass sich GPT-3 trotz seinem vielversprechenden Potenzial weiterhin in einem fortlaufenden Entwicklungsprozess befindet und gewiss nicht frei von Fehlern ist [16, 18].

Wir erwähnen abschliessend noch einmal, dass die vom GPT-3 erzeugten Inhalte, welche zwar stilistisch anschaulich und inhaltlich durchaus kohärent sein können, meistens noch eine Korrekturlesung und ein genauer Faktencheck fordern [16, 18].