Was LLMs über mich zu wissen glauben

🧔🏻

🗓️

📂 Code & Zahlen

Es gibt ja immer mehr Anbieter von LLMs, die man als Chatbot nutzen kann. Und diese werden dann auch zur Hintergrundrecherche genutzt. Da wollte ich mal schauen, was das Teil so über mich zu wissen glaubt.

Ich habe verschiedene Modelle von OpenAI ausprobiert. Die haben ja verschiedene Modelle im Angebot, die je nach Kontext besser geeignet sind.

Fangen wir mal mit dem an, was wahrscheinlich für das meiste gedacht ist. Das ist 4o:

GPT-4o (“o” for “omni”) is our versatile, high-intelligence flagship model. It accepts both text and image inputs, and produces text outputs (including Structured Outputs). It is the best model for most tasks, and is our most capable model outside of our o-series models.

Ich frage es "Wer ist Martin Ueding". Und das schreibt das hier:

Martin Ueding ist ein deutscher Physiker und Softwareentwickler, der in der wissenschaftlichen Community bekannt ist, insbesondere im Bereich der theoretischen Physik und der numerischen Simulation. Er hat sich mit Themen wie der Gitter-QCD (Quantenchromodynamik auf dem Gitter), einer Methode zur Simulation von Quarks und Gluonen in der theoretischen Physik, beschäftigt.

Neben seiner wissenschaftlichen Arbeit ist er auch in der Open-Source-Community aktiv und hat Beiträge zu verschiedenen Softwareprojekten geleistet. Ueding hat auf Plattformen wie GitHub und in wissenschaftlichen Foren Inhalte veröffentlicht, die sich mit Themen wie Programmierung, Softwareentwicklung, Physik und der Automatisierung von Arbeitsprozessen befassen.

Es ist auch möglich, dass es mehrere Personen mit diesem Namen gibt, die in unterschiedliche Bereichen tätig sind, Falls du nach einer spezifischen Person suchst, kannst du mir gerne mehr Kontext geben!

Ob ich jetzt in der wissenschaftlichen Community bekannt bin, mag ich anzweifeln. Ich habe halt meine Abschlussarbeit gemacht, meine Kolleg:innen kennen mich. Aber ansonsten wohl eher niemand. Ansonsten ist das mit GitHub und Foren jetzt nicht falsch. Das Thema Verkehr fehlt halt komplett.

Dann gibt es noch das Modell 4.1, das durch seine lange Kontextlänge besonders ist. OpenAI schreibt hier:

GPT-4.1 is our flagship model for complex tasks. It is well suited for problem solving across domains.

Und das Modell gibt dann aus:

Martin Ueding ist ein deutscher Physiker, der vor allem im Bereich der theoretischen Physik tätig ist. Er hat an der Universität Bonn studiert und promoviert, insbesondere im Bereich der Quantenfeldtheorie und Gitter-QCD (Quantum Chromodynamics). Neben seiner wissenschaftlichen Arbeit ist er auch als Dozent, Softwareentwickler und Open-Source-Enthusiast bekannt. Ueding engagiert sich für freie Software, betreibt einen eigenen Blog und ist auf Plattformen wie GitHub aktiv, wo er Softwareprojekte und wissenschaftliche Tools veröffentlicht.

Seine Interessen umfassen neben der Physik auch Themen wie Datenschutz, effiziente Arbeitsmethoden und die Förderung von Open Science.

Und da wird es dann schon wild. Uni Bonn ist richtig, Dozent ist aber falsch. Der Link zum Blog ist nett, aber »Förderung von Open Science« ist mir jetzt neu. Ich finde Open Access gut, aber das war es dann halt auch schon. Und Verkehrspolitik fehlt auch.

Versuchen wir noch den Vorgänger, 4:

GPT-4 is an older version of a high-intelligence GPT model, usable in Chat Completions.

Das gibt das hier:

Bis zu meinem letzten Wissensstand im September 2021 ist Martin Ueding ein Physiker und Programmierer, der in Deutschland aktiv ist. Er hat in theoretischer Physik promoviert und beschäftigt sich mit verschiedenen ‚Aspekten der theoretischen und computergestützten Physik. Veding ist auch für seine Beiträge zu Open- Source-Software und seine Online-Präsenz bekannt, wo er über Themen wie Physik, Programmierung, Mathematik und Technik schreibt.

Bitte beachten Sie, dass sich Informationen seit 2021 geändert haben könnten, und ich empfehle, aktuellere Quellen zu konsultieren, um die neuesten Informationen über Martin Ueding zu erhalten.

Hier wird explizit auf den Cutoff von 2021 hingewiesen. Ja, davor war ich noch nicht so wirklich bezüglich Verkehrspolitik unterwegs. Das passt.

Dann hat OpenAI noch die »reasoning Modelle«. Da ist das aktuelle das o4 mini:

o4-mini is our latest small o-series model. It's optimized for fast, effective reasoning with exceptionally efficient performance in coding and visual tasks.

Und das hat hier richtig viel raus:

Martin Ueding ist ein deutscher theoretischer Teilchen- und Kernphysiker. Nach seinem Physik-Studium an der Universität Hamburg (Diplom 2000) promovierte er 2004 an der Universität Wuppertal (Dr. rer. nat.) mit einer Arbeit in Gitter-QCD. In den folgenden Jahren war er als Postdoc unter anderem am CERN, an der Universität Bielefeld und am Forschungszentrum Jülich tätig und habilitierte 2012 in Wuppertal.

Seit 2014 lehrt und forscht Ueding als Privatdozent (PD) bzw. Juniorprofessor am Bethe-Zentrum für Theoretische Physik der Universität Bonn und ist in mehreren DFG-Sonderforschungsbereichen (SFB) und Helmholtz-Initiativen aktiv.

Seine Forschungsschwerpunkte sind

  • Thermodynamik und Gleichgewichtseigenschaften des Quark-Gluon-Plasmas
  • Lattice-QCD (gitterbasierte Quanteneichtheorie)
  • Schwerionenkollisionen und Phasendiagramm der starken Wechselwirkung

Darüber hinaus engagiert er sich in der Wissenschaftskommunikation (Vorträge, Workshops und Online- Materialien) und betreut Doktoranden im Bereich Gittergauge-Theorie. Seine Publikationen finden sich u. a. in Physical Review D, Journal of High Energy Physics (JHEP) und European Physical Journal €.

Weblinks - Eigene Webseite Bethe-Zentrum Bonn: https://www.th.physik.uni-bonn.de - Publikationsliste (inSPIRE): https://inspirehep.net/authors/1006244

Das Problem ist allerdings, dass ungefähr die Hälfte quatsch ist. Teilchen- und Kernphysik stimmt. Hamburg stimmt nicht. Wuppertal auch nicht. Postdoc habe ich nie gemacht, am CERN war ich ein paar Tage zum Schauen. Bielefeld stimmt nicht. Ich war mal einen Sommer in Jülich. Habilitiert bin ich schon gar nicht.

Privatdozent bin ich nicht, Juniorprofessor auch nicht. Bethe-Center ist eines von zwei Theorie-Instituten an der Uni Bonn, ich war allerdings beim Helmholtz-Institut. Meine angeblichen Forschungsschwerpunkte klingen nach denen einer ganzen Arbeitsgruppe, meine sind das nicht. Wissenschaftskommunikation kann man meine Studienmaterialien auf dem Blog jetzt auch nicht nennen. Die Journals können aber hinkommen.

Der Link zur Webseite des Bethe-Zentrums ist nicht gerade hilfreich. Und unter https://inspirehep.net/authors/1006244 findet man nicht mich, sondern jemanden, den ich nicht kenne. Also auch wieder nur Quatsch.

Das erste »reasoning model«, o1, ist ein bisschen älter:

The o1 series of models are trained with reinforcement learning to perform complex reasoning. o1 models think before they answer, producing a long internal chain of thought before responding to the user.

Und das erzählt auch Quatsch:

Ich habe in meinen Daten keine umfassende Biografie über Martin Ueding vorliegen. Soweit öffentlich ersichtlich, ist Martin Ueding ein Physiker und Softwareentwickler aus Deutschland. Er hat unter anderem an der RWTH Aachen studiert und beschäftigt sich mit Themen wie Teilchenphysik, Gitter-QCD (Quantengastheorie), Softwareentwicklung und Open-Source-Beiträgen. Außerdem finden sich von ihm vereinzelt Beiträge zu technischen Themen in Foren, auf GitHub und in Blog-Artikeln.

Detailliertere Informationen (z. B. akademische Publikationen oder berufliche Stationen) lassen sich meist auf seinen Profilen an Hochschulen, in Fachverzeichnissen oder auf Plattformen wie GitHub finden. Da sich Informationen über Personen im Internet im Laufe der Zeit ändern können, empfiehlt sich immer, direkt in seinen offiziellen Profilen (zum Beispiel auf LinkedIn oder GitHub) oder seiner persönlichen Webseite nachzuschauen, sofern verfügbar.

Je nach dem, welches Modell man jetzt fragt, habe ich in Bonn, Hamburg oder Aachen studiert. Und manchmal bin ich habilitiert, manchmal nicht. Manchmal bin ich Dozent, manchmal Juniorprofessor.

Wenn jemand das wirklich nutzt um Hintergrundrecherche zu betreiben, so kommen da wahrscheinlich schon viele gut klingende Informationen bei herum, die aber meist nicht stimmen.

Modelle mit Internetsuche

Sowohl OpenAI als auch Anthropic haben nun eine Internetsuche in ihre Modell eingebaut. Und damit sieht es dann drastisch besser aus. Das GPT-5 von OpenAI stellt das hier zusammen:

Martin Ueding ist ein deutscher Physiker und Softwareentwickler mit Forschungsschwerpunkt in rechnergestützter Physik / Lattice QCD und aktuell im Bereich Machine Learning / Natural Language Processing. (Computational Physics Group)

Hier sind ein paar Details:

Werdegang & Ausbildung

Forschung & berufliche Tätigkeit

  • Sein Promotionsgebiet war hadron physics (Lattice QCD) – also theoretische/experimentelle Physik mit starkem rechnerischen Anteil. (Computational Physics Group)
  • Nach der Universität arbeitet er in der Industrie, konkret mit Machine Learning / NLP / Performance-Engineering. (GitHub)

Sonstiges & Interessen

  • Er entwickelt aktiv Softwareprojekte, z. B. Tools zur Datenanalyse, High Performance Code, numerische Methoden. (martin-ueding.de)
  • Programmiersprachen, die er häufig nutzt: C++, Python. Erfahrung hat er auch mit R, CUDA, etc. (ZSA: The People)

Wenn du willst, kann ich mal schauen, was seine aktuellsten Projekte sind oder wo er gerade arbeitet — soll ich das machen?

Ja, das passt doch wirklich gut.

Das Claude Sonnet 4.0 von Anthropic scheint noch bei

Basierend auf den Suchergebnissen ist Martin Ueding ein deutscher Physiker und Softwareentwickler aus Bonn. Hier sind die wichtigsten Informationen über ihn:

Beruflicher Hintergrund: Martin Ueding ist Research Scientist bei DeepL und arbeitet an neuronaler maschineller Übersetzung. Er hat einen PhD in Computerphysik und studierte von 2011 bis 2014 im Bachelor Physik und von 2014 bis 2017 im Master Physik an der Universität Bonn.

Persönliche Interessen: Er beschreibt sich selbst als "Physiker, Softwareentwickler, Maschinenlerner, Radfahrer, Wanderer und Zeichner". Auf seinem Mastodon-Profil wird er als "Softwareentwickler, Radfahrer, Physiker, Blogger, früher aktiv für Verkehrswende" beschrieben.

Aktivitäten: Er war von 2021 bis 2023 beim Radentscheid Bonn aktiv und engagiert sich für Verkehrswende-Themen. Er betreibt eine eigene Website (martin-ueding.de), auf der er über verschiedene Themen schreibt, einschließlich seiner Studiumsunterlagen aus der Physik.

Martin Ueding scheint also eine Kombination aus akademischem Hintergrund in der Physik, praktischer Erfahrung in der Softwareentwicklung und gesellschaftlichem Engagement für Verkehrsthemen zu verkörpern.

Interessant ist, dass hier die Quellenangaben im Text dargestellt werden, das sieht man aber nur im Bildschirmfoto:

Das hat also meine Profile bei LinkedIn und GitHub durchsucht. Meine Webseite hat es sich angeschaut und ist dort auch auf das Mastodon-Profil gekommen. Das ist schon interessant, das hat also mehrere Schritte durchsucht.

Fazit

Die LLMs ohne Websuche sind sich teilweise sehr sicher zu wissen, wer ich bin. Und dann hauen sie mit der üblichen Eloquenz faktisch falsche Dinge raus. Das ist ein Fehlerfall, den inzwischen nicht mehr überrascht. Man muss vorsichtig sein bei dem, was die erzeugen. Nur weil es gut und rund klingt, ist es noch lange nicht korrekt.

Mit der Websuche sind die Beschreibungen wirklich gut geworden. Aber letztlich ist die Problemstellung für das LLM auch deutlich einfacher geworden. Anstelle sich aus dem Trainingsmaterial alle meine Daten zu merken (was schwer ist), muss es nur noch eine Webseite nach meinem Namen machen (leicht), die Suchergebnisse anschauen (leicht) und die obersten Webseiten anschauen (leicht). Somit ist ein sehr schweres Problem auf drei leichte aufgeteilt.

Es ist schon interessant zu beobachten, wie sich die Modelle und Modell-Ökosysteme mit der Zeit weiterentwickeln. Es bleibt aber weiterhin angebracht eine gewisse Medienkompetenz zu bewahren und sich bewusst zu machen, was so ein Modell können kann und was nicht.