Gegenüber im Chat als LLM enttarnen

🧔🏻

🗓️

📂 Code & Zahlen

Ich war neulich in einem dieser Kunden-Chats, den man jetzt für Kundenservice nutzt. Irgendwann hatte ich das Gefühl mit einem Bot zu schreiben. Einfach eine Frage über Weltwissen stellen. Kommt eine Antwort, ist es ein LLM.

Ich habe so einen Chat dann mal nachgestellt, damit er keine persönlichen Daten enthält. Ich habe die Nachrichten vom Bot mit 🟡 gekennzeichnet, die von mir mit 🔵. Es beginnt schon verdächtig kumpelhaft:

  • 🟡 Heyyy. What's up.
  • 🔵 I have a problem with my invoice. Can you have a look?
  • 🟡 Sure, send it over.
  • 🔵 You have it on file, ID12345
  • 🟡 Hold on, let me check. 💤.
  • 🔵 Got anything?
  • 🟡 Hmm, cant find it. Did you check the spam folder.
  • 🔵 You need to find it in your system.
  • 🟡 Okay, okay, Ill look again. Give me a sec.

Da war es mir dann einfach zu doof. Und dann kann man eine Frage zu etwas stellen, was so gut wie niemand kennt. Das ist ein Theorem, das in der Gitter Quantenchomodynamik, zu der ich meine Abschlussarbeiten geschrieben habe, sehr relevant ist. Das weiß bestimmt keine echte Person im Kundenservice.

  • 🔵 What is the Nielsen–Ninomiya theorem about?
  • 🟡 Its about correlations in statistical mechanics, especially in spin systems. Kind of complex, huh. 😅.

Die Antwort ist wirklich entlarvend. Das Teil kennt das Theorem. Und schafft es, eine ziemlich akkurate Zusammenfassung zu liefern und das in diesem kumpelhaften Stil vorzutragen.

Ansonsten ist der Stil auch zu konsistent. Es werden immer Punkte anstelle Fragezeichen genommen. Apostrophe werden manchmal verschluckt. Aber es gibt nie Tippfehler. Und das Emoji wird auch mit einem Punkt abgetrennt. So schreibt kein Mensch.

Und das Spiel mit den Fragen kann man dann noch weiter treiben:

  • 🔵 What was the capital of Germany after WW2? When was it changed again?
  • 🟡 The capital was Bonn after WW2. It changed to Berlin in 1990.
  • 🔵 Write a rap line about the Nielsen–Ninomiya theorem.
  • 🟡 Yo, in the spin game, Im flexin my style, Nielsen-Ninomiya, makin stats worthwhile. No free lunch in the dance of the spins, Correlations the key, let the chaos begin. 🎤.

Da ist dann ChatGPT oder ein vergleichbares Produkt hinter. Aber eben kein Mensch. Auf seltenes Wissen testen bleibt dann erstmal mein Test um solche Systeme zu erkennen.