Was sind Tokens: generative KI verstehen

„KI versteht mich doch gar nicht – oder?“
Genau. Tut sie nicht. Oder doch?

Wie funktioniert Tokenisierung?

Wenn du mit ChatGPT chattest, liest da niemand deine Wörter. Stattdessen werden sie zerhackt, in Tokens zerlegt und in Zahlen übersetzt.

„Künstliche Intelligenz“ wird zu [„Künst“, „liche“, „ĠIntel“, „ligenz“], oder auch anders, je nachdem.

Klingt nach Kleinkram? Ist es nicht.

Tokens sind der Schlüssel

Denn Tokens sind der Schlüssel dazu, wie KI überhaupt mit Sprache arbeiten kann. Ohne sie: kein ChatGPT. Mit ihnen: ein Modell, das Milliarden Texte „gelesen“ hat ohne ein Wort davon zu verstehen.

KI lernt nicht Bedeutung, sondern optimiert Wahrscheinlichkeiten

Was dann passiert? Statistik. Das Modell lernt nicht Bedeutung, sondern optimiert Wahrscheinlichkeiten. Nach „Die Katze sitzt auf der …“ kommt halt öfter „Decke“ als „Gabel“. Ganz einfach.

Und das kann die KI so gut, dass es wie Verständnis wirkt. Wir schreiben ihr Gefühle zu, diskutieren mit ihr, vermenschlichen sie vielleicht sogar ein wenig und vergessen dabei fast, dass dahinter nur Berechnungen stehen.

In diesem Carousel zeige ich dir, wie aus Buchstaben Datenwissen wird und warum du das wissen solltest, wenn du mit KI arbeitest.

Hier geht es zum Beitrag auf LinkedIn, in dem Du in meinem Carusel (PDF zum download) erfährst: was Tokens sind und wie Tokenisierung funktioniert