KI Apokalypse
Beginnen wir ganz düster. Dies ist die erste Ausgabe des Newsletters die per Mail direkt an mehrere Leute geht und das Thema ist existentiell: Vernichtet KI die Menschheit? Außerdem Trump.
Es gibt einige Möglichkeiten wie die Menschheit ausgelöscht werden könnte. Ignorieren wir mal Risiken die nicht menschen-gemacht sind, also Vulkanausbrüche, Pandemien, Asteroiden, und so weiter. Dann bleiben grob drei Möglichkeiten: Krieg, Umweltzerstörung, Technikunfälle.
Metaculus hat eine ganze Serie an Prognosen dazu, die Ragnarök-Serie. Die Zusammenfassung schätzt die Wahrscheinlichkeit dass bis 2100 mindestens 95% der Menschheit sterben auf knapp 3%. Das mit Abstand größte Risiko ist künstliche Intelligenz (KI).
KI ist derzeit ein heißes Thema, aber ich will mich in diesem Newsletter ja gar nicht um die Geschehnisse der letzten Woche kümmern. Über ChatGPT Plugins und ähnliches dürfen andere berichten. Zvi zeigt hier gut wie viel da gerade passiert. Oder hier ein YouTube-Video.
Schwierig bei diesen Prognosen ist auch, dass wir keine ordentliche Definition von “Intelligenz” haben. Der Turing-Test wird gerne in Filmen zitiert und weithin bekannt. Er ist Teil einer Definition von “schwacher AGI” geworden auf die sich die folgende Prognose bezieht: Etwas über fifty-fifty Chance innerhalb der nächsten 3 Jahre.
Wann kommt eine KI auf menschlichem Niveau (Artificial General Intelligence, AGI)? Metaculus schätzt derzeit 2032. Im Februar lag die Schätzung noch bei 2041.
Sobald wir AGI erreicht haben, dürfte es leichter werden eine Superintelligenz zu entwickeln, die intelligenter als jeder Mensch ist. Metaculus schätzt dass es nur knapp 9 Monate dauern wird.
Der beunruhigende Aspekt von KI ist ihre potentielle Zerstörungskraft. Wir könnte etwas erschaffen, dass intelligenter als jeder Mensch ist, dessen Absichten wir nicht verstehen, und das keinerlei Mitgefühl für uns hat. Was könnte also passieren?
Hier eine Frage, die alle guten und schlechten Ergebnisse zusammenfasst:
Die Top 3 sind:
26% wir sterben alle oder schlimmer.
21% KI funktioniert nicht.
16% KI ändert nichts wirklich.
Eliezer Yudkowsky war kürzlich in einem Podcast und hat seinen Hoffnungslosigkeit zum Ausdruck gebracht. Er glaubt die Option 1 ist praktisch sicher (99%) und nicht nur 27%. Kaum jemand anderes hat mehr über dieses Thema nachgedacht, also finde ich seine Ansichten bedenkenswert. Er hat selbst per Prognosemarkt zur Diskussion gestellt, wo er sich irren könnte und kurz darauf ein ähnliches Duplikat das von jedem erweitert werden kann. Leider sind die besten Antworten nicht sehr informativ.
Ich muss zugeben, dass es plausibel für mich klingt, dass eine Superintelligenz früher oder später zu dem Schluß kommt, dass das Universum ohne Menschen besser ist. Es erscheint mir auch plausibel, dass solche Intelligenzen in der Lage sein werden die Menschheit zu vernichten. Mir erscheinen die meisten Kommentare und Gegenargument eher als Leugnen dieser Möglichkeit.
Vor einigen Jahren hat Yudkowsky noch damit gekämpft Leute zu überzeugen, dass es schwierig ist eine KI sicher einzusperren. Heute wissen wir, dass die Option Einsperren nie wirklich zur Diskussion steht.
Sollte man irgendwie auf diese Information reagieren? Zvi sagt Nein, insbesondere weil es sehr unklar ist, wie lange es noch dauert. Eine KI Apokalypse ist nur eine von mehreren katastrophalen Möglichkeiten. Kurz- und mittelfristig ist die weise Reaktion für dich und mich mit ziemlicher Sicherheit, dass wir weitermachen wie bisher.
Apropos, an wen könnte man zum Stichwort “Katastrophe” denken…
🔥 Trump hinter Gittern?
Unabhängig vom Thema oben, will ich hier prinzipiell auch darauf eingehen, was bei Prognosemärkten derzeit ein heißes Thema ist und da ist recht weit oben die Frage ob Donald Trump angeklagt wird und ins Gefängnis kommt? Metaculus ist bei 28%.
Das Kleingedruckte dabei ist, dass er mindestens 30 Tage im Gefängnis bleibt. Manifold schätzt 66% dass es noch dieses Jahr passiert, aber es müssen da keine 30 Tage sein.
Wieso “Marktweise”?
Ich nehme einfach mal an, dass sich jemand wundert woher der Titel für diesen Newsletter kommt. Das Wort ist neu und damit Suchmaschinen-geeignet. Außerdem fühlt sich mein Ego gestreichelt in seiner Klugheit welche man diesem Neologismus mit mehreren Verwendungsarten zuerkennen muss:
Substantiv, vgl. die Wirtschaftsweisen, Experte mit dem Auftrag Prognosen zu geben.
Adjektiv, Weisheit besitzend, gewonnen aus Märkten
Adverb, vgl. leihweise, unter Nutzung von Märkten
Das Wort funktioniert also in Sätzen wie “Ich habe beim Marktweisen gelesen, dass…” oder “Ich sage marktweise vorher, dass…” eigentlich ganz gut. 😎
Noch zwei Links auf den Weg…
Manifold hat “Gruppen” und es gibt natürlich auch die Gruppe “Germany”.
Modelling the End of Monkeypox, ein englischer Artikel wie ein Experte eine Prognose erstellt.