Automatisierung

Eine Stanford-Studie von 2022 hat Entwickler in zwei Gruppen aufgeteilt. Die eine Gruppe nutzte KI-Assistenten beim Programmieren. Die andere nicht. Dann wurde verglichen, wie sicher der produzierte Code war. Die Gruppe mit KI schrieb unsichereren Code und war gleichzeitig sicherer, dass ihr Code sicher war. Kein Paradox. Automation Bias in Reinform: Wer einem scheinbar kompetenten System vertraut, überprüft weniger. Wer weniger überprüft, findet nicht, was das System falsch gemacht hat. ...

1943 beauftragte die britische Royal Air Force einen Psychologen namens Norman Mackworth mit einer Frage: Warum verpassten ihre Radaroperatoren deutsche U-Boot-Signale, obwohl sie direkt vor dem Bildschirm saßen? Mackworth baute einen Apparat, der heute als Mackworth Clock bekannt ist. Ein Zifferblatt, ein Zeiger, der in regelmäßigen Abständen springt. Hin und wieder macht der Zeiger einen doppelten Sprung. Die Aufgabe: diesen doppelten Sprung melden. Das Ergebnis war unangenehm. Die Erkennungsrate fiel innerhalb der ersten fünfzehn Minuten messbar ab. Nach dreißig Minuten war sie deutlich schlechter als zu Beginn. Den Versuchspersonen zu sagen, sie sollen aufmerksamer sein, half nichts. ...

Ich saß mal in einem Seminar, und der Dozent fragte: Was ist das Gefährlichste an einem zuverlässigen System? Niemand antwortete. Er sagte: Dass du ihm vertraust. Das war Human Factors, irgendwann im zweiten oder dritten Semester. Luftfahrt- und Automatisierungsychologie, Mensch-Maschine-Interaktion. Ich fand das damals faszinierend, aber auch ziemlich weit weg von dem, was ich täglich tat. Jetzt, wo autonome Agenten Code schreiben und committen und deployen, denke ich an diesen Satz öfter als mir lieb ist. ...

Franz Kafka hat vor gut 100 Jahren einen Theaterdirektor beschrieben, der so besessen von Kontrolle war, dass er am Ende nur noch Windeln wechselte. Anselm Küster vom Centrum für Europäische Politik hat dieses Bild diese Woche auf netzpolitik.org ausgegraben, um Sam Altmans Fantasie vom Ein-Personen-Unicorn zu widerlegen. Die Kritik ist berechtigt. Die Begründungen nicht. Was die Quellen wirklich sagen Die Apple-Studie “Illusion of Thinking” soll zeigen, dass Reasoning-Modelle keine strukturelle Zuverlässigkeit bieten. Sie zeigt das nicht. Sie zeigt, dass diese Modelle bei abstrakt-kompositorischen Puzzle-Aufgaben mit sehr hoher Komplexität kollabieren. Vertragsanalysen, Support-Klassifizierungen, Code-Templates sind das nicht. Die Schlussfolgerung ist zu breit für das, was die Studie tatsächlich misst. ...

Ein Freund von mir hat vor vier Jahren mal ChatGPT benutzt, um eine Programmieraufgabe zu lösen. Der generierte Code sah auf den ersten Blick sauber aus, aber zwei Variablen in einem Funktionsaufruf waren vertauscht, was dann erst in der Produktion aufgefallen ist. Seitdem ist für ihn das Thema durch: KI taugt nichts. Das ist die Geschichte, die er rausholt, wenn jemand anfängt von LLMs zu reden, und ich habe sie inzwischen oft genug gehört, um sie auswendig zu können. ...