Mittwoch, 16. August 2023

KI-Chatbots und die Weiacher Ortsgeschichte

Vierte Industrielle Revolution. Künstliche Intelligenz. Robotik. Big Data. In diese Richtung wird die Entwicklung schon seit Jahren auf Hochtouren vorangetrieben. Vom einen oder anderen Humanoid-Roboter abgesehen, blieb das in der breiten Öffentlichkeit bislang eher unbemerkt, da die neuen Technologien nur wenigen Fachleuten zugänglich waren und meist unsichtbar in den Produkten verbaut wurden.

Neu ist das also keineswegs. Mit dem Launch von ChatGPT durch die US-Firma OpenAI hat sich der Blick darauf aber gründlich geändert. Ab dem 30. November 2022 stand das Tool für die breite Öffentlichkeit kostenlos zur Verfügung. 

Chatbot-Boom

Nachdem sich bereits im Januar 2023 über 100 Millionen Nutzer weltweit dort angemeldet hatten, konnten besonders die für die öffentliche Wahrnehmung als Türsteher fungierenden Kreise (Lehrkräfte, Journalisten und Politiker) nicht mehr umhin zuzugeben, dass sich da Regelungsbedarf ergibt. Zum Beispiel, weil Schüler mit dem neuen Tool das Lernen umgehen und sich ganze Hausarbeiten schreiben lassen könnten. 

Mittel- und langfristig scheint es durchaus realistisch zu sein, dass auch viele aktuell noch gutverdienende Kreativ-Jobs (darunter die obgenannten Personengruppe) zusehends durch KI-Tools ersetzt werden könnten.

Noch ist es – zumindest in der Breite – nicht soweit. Der Chatbot, der auf dem Sprachmodell GPT-3.5 (GPT steht für Generative Pre-trained Transformer) basiert, wird zwar mit Unmengen schriftlicher Daten angelernt. Und anschliessend auf die eigentlichen Aufgaben trainiert. Das menschliche Urteilsvermögen vermag dieses Tool aber (noch) nicht zu übertreffen.

Unsere Geschichte ist nicht KI-tauglich

Die Weiacher Ortsgeschichte jedenfalls wird noch längere Zeit durch einen Menschen geschrieben werden müssen. Weshalb, ist klar. Die Gewinnaussichten rechtfertigen den Trainingsaufwand für die KI-Tools schlicht nicht. Vor allem dann nicht, wenn Forschungsbedarf über viele, lediglich in analoger Form vorliegende Archivbestände hinweg besteht.

Für einfache Fragen, wie zum Beispiel die nach den Hintergründen zum Flurnamen Verfluchter Platz, sind solche Chatbots durchaus in der Lage, aus den Google-Suchresultaten die relevanten Informationen herauszufiltern und sie in einem Kurztext zu präsentieren. 

Das funktioniert aber nur dann einigermassen, wenn a) bereits dazu publiziert wurde (wie zum Verfluchten Platz, vgl. Weiacher Geschichten(n) Nr. 108) und die Informationen nicht nur in Fachartikeln auf einer Forschungsdatenbank verfügbar sind, sowie b) wenn keine offenen Fragen eine eindeutige Antwort verbieten, wie das bei der folgenden, eigentlich simplen Frage der Fall ist: 

Wer hat das Weiacher Pfarrhaus erbaut und wann?

Zu diesem Thema ist online einiges an Material verfügbar (v.a. in Artikeln, die der Autor dieser Zeilen unter Verwendung von Auszügen aus der gedruckten Literatur verfasst und online gestellt hat). Dabei konkurriert jedoch eine ziemlich grosse Masse älterer Literatur (mit veralteten Angaben) mit wenigen neueren Beiträgen, die den heutigen Forschungsstand abbilden.

Zur Illustration gehen wir medias in res (d.h. mitten hinein in die Sache) und konfrontieren zwei solcher Bots (ChatGPT-3.5 und Bing-Chatbot) mit dieser Frage.

ChatGPT: Münchhausen mit wahrem Kern

Solche Antworten sind durchaus typisch für den heutigen Stand von ChatGPT in der Version 3.5. Man könnte sie nun als Lügengeschichten im Stile des Baron Münchhausen bezeichnen. Denn aus der verfügbaren Literatur geht in keiner Art und Weise hervor, dass ein Enkel des Zwingli-Nachfolgers Heinrich Bullinger (1504-1575) als Bauherr des heutigen Pfarrhauses Büelstrasse 17 gelten darf. Auch die Jahreszahl wirkt abenteuerlich aus der Luft gegriffen, fast so, als handele es sich um einen Ersatzbau für das 1658 abgebrannte erste Pfarrhaus, das durch den Zürcher Staat 1591 angekauft worden war.

Korrekt ist, dass es sehr wohl einen Enkel dieses berühmten Zürcher Kirchenvorstehers gegeben hat, der in Weiach tätig war. Joh. Heinrich Bullinger (1566-1611; WPZ21 Nr. 64) war allerdings nur kurze Zeit im Jahr 1589 als Pfarrer für unsere Gemeinde zuständig. Um noch 1662 als Bauherr gelten zu können hätte er überdies ein für die damalige Zeit fast biblisches Alter erreichen müssen. Das war ihm aber nicht vergönnt, starb er doch zusammen mit seinen 11 Kindern an der Pest. Einzig seine Ehefrau hat das Jahr 1611 überlebt. Also über weite Strecken eine Münchhausiade.

Bemerkenswert: Die Verbindung des Bullinger-Enkels zu Weiach findet man in gedruckten Werken (aus den Jahren 1890, 1916 und 1953), die somit in digitalisierter und maschinenlesbarer Form auch zum Trainingsbestand gehört haben müssen. Ein wahrer Kern also, aus dem die KI eine Konfabulation gestrickt hat.

Bing-Chatbot: Schwierigkeiten mit offenen Fragen

Nicht viel besser präsentiert sich die Konkurrenz von Microsoft, konkret das Chat-Modul der Suchmaschine Bing, das aktuell fünf Fragen pro Tag zulässt:

Auch hier resultiert eine mit Blick auf die aktuellen Erkenntnisse der Weiacher Ortsgeschichtsforschung abenteuerliche Jahrzahl, bei der man höchstens noch fragen müsste, was denn die Definition eines Baujahrs konkret sein soll. Ein Erstellungsjahr ist gerade bei alten Häusern mit vielen Umbauphasen keineswegs so einfach festzulegen. Geradezu exmplarisch illustrieren lässt sich diese Frage an japanischen Tempeln, die gleichzeitig weit über ein Jahrtausend alt und dennoch nie älter als zwanzig Jahre sind (vgl. die Bundesfeier-Ansprache 2021: WeiachBlog Nr. 1728). Nach aktuellem Forschungsstand wäre die erwartete Antwort übrigens «1564» gewesen.

Auch mit der primär gestellten Frage nach dem Erbauer, die noch völlig ungeklärt ist, hat die KI so ihre Probleme. Sie hat zwar die Nadel im Heuhaufen gefunden, bravo! Dann aber die völlig falschen Schlüsse daraus gezogen, indem die deutliche Warnung im Text, die Ausführungen seien «reine Spekulation» (da ohne aktenbasierte Beweislage) sowie Fragezeichen an entscheidender Stelle schlicht ignoriert wurden. 

Korrekt wäre hier die Aussage gewesen, es gebe keine gesicherten Erkenntnisse, lediglich Vermutungen. Und eine dieser Vermutungen ist tatsächlich die, dass ein Neuamtsvogt namens Ziegler der Erbauer gewesen sein könnte. Diese ursprünglich durch den Historiker Dr. Philipp Zwyssig, Projektleiter Kunstdenkmäler bei der Baudirektion des Kantons Zürich, aufgestellte These wird im WeiachBlog-Artikel Nr. 1484 erörtert. Die Amtsbezeichnung «Vogt in Neuamt und zu Weiach» in einem Dokument aus dem Jahre 1570 erweist sich für sich allein als zu wenig tragfähig, auch wenn man in den Wappen der Ziegler mit einem bzw. zwei sechsstrahligen Sternen eine Verbindung zum alten Weiacher Wappenstern sehen könnte.

Man muss das Werkzeug richtig einsetzen

Als Trüffelschwein oder Suchhund eingesetzt, ist so ein Chatbot für den Forscher eine feine Sache. Immerhin führt bspw. der Bing-Bot zielsicher auf den einzigen bisher publizierten Deutungsansatz, wer der Erbauer des Weiacher Pfarrhauses gewesen sein könnte. 

Nur muss man den Trüffel rechtzeitig sicherstellen und dann richtig behandeln. Sonst kommt das nicht gut. Damit das Trüffelschwein einen wirklichen Nutzen hat, sollte es daher konsequent auf die Originalquellen hinweisen, auf denen seine zum Besten gegebene Antwort beruht (wie das der Bing-Bot teilweise schon macht, ChatGPT hingegen überhaupt nicht). Und zwar mittels Verlinkung und/oder einem (wissenschaftlichen Ansprüchen genügenden) Fundstellennachweis.

Aber wer weiss, vielleicht können das die kommerziellen oder noch internen, höherentwickelten Modelle schon längst.

Keine Kommentare: