FOCUS – BEST PRACTICES 8 / UdZ 02.23 ChatGPT ist ein Chatbot mit Künstlicher Intelligenz (KI), entwickelt vom US-amerikanischen Unternehmen OpenAI. An sich ist das Angebot zunächst nichts Neues: Jeder kennt Alexa, Siri & Co. aus dem privaten Kontext und auch Unternehmen nutzen die digitalen Assistenten seit geraumer Zeit für die Kommunikation mit ihren Kunden, beispielsweise im Service und Support. KI selbst ist ebenso ein vergleichsweise „alter Hut“ und im Kontext des maschinellen Lernens schon seit 2010 im Gespräch. Was also ist das Revolutionäre an ChatGPT, wenn Sprachanwendungen und KI schon seit längerer Zeit bekannt und im Einsatz sind? Die Antwort lautet: „Menschenähnlichkeit“. Zum ersten Mal besitzt ein Chatbot die Fähigkeit, Texte zu verfassen und Antworten zu geben, die von denen eines Menschen kaum zu unterscheiden sind. Auf Basis von KI ist ChatGPT in der Lage, menschenähnliche Konversationen zu führen, kontextbezogene Texte zu generieren, auf Benutzereingaben mit natürlicher Sprache zu reagieren und sogar Codes zu generieren, etwa für die Programmierung von Webseiten. Das allein ist schon herausragend. Wirklich spektakulär – und Auslöser für viele Bedenken – ist die Geschwindigkeit, mit der sich das Sprachverarbeitungs- programm weiterentwickelt. Attention is All You Need: So funktioniert ChatGPT Ein leistungsstarkes Modell wie ChatGPT braucht die richtige Architektur und extrem viel Rechenkapazität. Es gilt „Size matters“: Je größer das Modell, desto komplexere Probleme kann man damit lösen. Im Fall des Natural- Language-Processings kam der Durchbruch mit dem sogenannten Transformer-Netzwerk – eine bahnbrechende Architektur für Künstliche Neuronale Netzwerke (KNN). Sie wurde unter dem Titel „Attention Is All You Need“1 im Jahr 2017 erstmals in einem Forschungspapier von Vaswani et al. vorgestellt und bietet verschiedene Vorteile mit positiven Effekten auf Rechenzeit, Trainingsgeschwindigkeit und Gesamtleistung von Sprachverarbeitungssystemen. Dazu gehören: die effiziente parallele Verarbeitung von Eingabedaten, die Skalierbarkeit, also die Fähigkeit, auch längere Abhängigkeiten in Texten ohne Leistungseinbußen zu bewältigen, und eine hohe Flexibilität beim Umgang mit Sequenzen unter- schiedlicher Länge. Kern des Transformer-Ansatzes ist die Aufmerksamkeit. Vergleichbar mit einem aufmerksamen Zuhörer ermöglicht es das KI-Modell, Beziehungen zwischen allen Wörtern ChatGPT is a chatbot with artificial intelligence (AI), developed by the US company OpenAI. In itself, the offer is nothing new: Everyone knows Alexa, Siri & Co from the private environment and companies have also been using the digital assistants for some time for communication with their customers, for example in service and support. AI itself is also comparatively “old hat” and has been under discussion in the context of machine learning since 2010. So what is revolutionary about ChatGPT when voice applications and AI have been known and in use for quite some time? The answer is “human-like.” For the first time, a chatbot has the ability to compose texts and give answers that are almost indistinguishable from those of a human. Based on AI, ChatGPT is able to have human-like conversations, generate contextual text, respond to user input with natural language, and even generate code, such as for programming web pages. That alone is outstanding. What is truly spectacular - and the cause of much concern – is the speed at which the speech processing program is evolving. program continues to develop. Attention is All You Need: How ChatGPT Works A powerful model like ChatGPT needs the right architecture and an extreme amount of computing power. “Size matters”: The bigger the model, the more complex problems can be solved with it. In the case of Natural Language Processing, the breakthrough came with the so-called Transformer Network – a groundbreaking architecture for artificial neural networks. Entitled “Attention Is All You Need”1 it was first introduced in 2017 in a research paper by Ashish Vaswani et al. and offers several advantages with positive effects on computation time, training speed, and overall performance of language processing systems. These include: efficient parallel processing of input data, scalability, i. e., the ability to handle longer dependencies in texts without performance degradation, and high flexibility in dealing with sequences of varying of different lengths. The core of the Transformer approach is attention. Comparable to an attentive listener, the AI model makes it possible to analyze relationships between all the words in a sentence and understand which words are particularly relevant to the meaning of other words. In terms of ChatGPT, this means that the 1 s. Vaswani et al. 2017 1 Vaswani et al. 2017
RkJQdWJsaXNoZXIy NzcyMw==