Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Leidest du unter Chatbot-Müdigkeit?
Bist du frustriert, dass die Singularität abgesagt wurde?
Suchst du nach etwas Neuem, das dir Hoffnung gibt?
Hier ist mein wahnwitziger, aber "hey, es macht irgendwie Sinn" Plan, um Superintelligenz in meinem kleinen Indie-Forschungslabor aufzubauen.
(Hinweis: Ich werde Genauigkeit gegen Pädagogik eintauschen)
Zuerst ein Hintergrund:
Ich bin ein 33-jähriger Typ, der die letzten 22 Jahre mit Programmieren verbracht hat. Im Laufe der Zeit habe ich viele Fragen zur Natur des Rechnens gestellt und einige ziemlich... eigenartige... Einsichten gesammelt. Vor ein paar Jahren habe ich HVM gebaut, ein System, das in der Lage ist, Programme in einer esoterischen Sprache namens "Haskell" auf der GPU auszuführen - ja, dem gleichen Chip, der Deep Learning zum Laufen brachte und diesen gesamten KI-Zyklus ins Leben rief.
Aber wie hängt Haskell mit KI zusammen?
Nun, das ist eine lange Geschichte. Wie die Älteren sich vielleicht erinnern, war das, was wir damals "KI" nannten, ... anders. Vor fast 3 Jahrzehnten besiegte zum ersten Mal ein Computer den Weltmeister im Schach, was viele Debatten über AGI und Singularität auslöste - genau wie heute!
Das System, genannt Deep Blue, war sehr anders als die Modelle, die wir heute haben. Es verwendete keine Transformer. Es verwendete überhaupt keine neuronalen Netze. Tatsächlich gab es kein "Modell". Es war eine reine "symbolische KI", was bedeutete, dass es einfach ein altmodischer Algorithmus war, der Milliarden von möglichen Zügen scannte, schneller und tiefer als jeder Mensch, und uns durch schiere rohe Gewalt besiegte.
Das löste eine Welle vielversprechender symbolischer KI-Forschung aus. Evolutionäre Algorithmen, Wissensgraphen, automatisierte Beweisführung, SAT/SMT-Löser, Constraint-Löser, Expertensysteme und vieles mehr. Leider stieß der Ansatz im Laufe der Zeit an eine Wand. Handgefertigte Regeln skalieren nicht, symbolische Systeme konnten nicht dynamisch *lernen*, und die Blase platzte. Ein neuer KI-Winter begann.
Erst Jahre später änderte eine neugierige Kombination von Faktoren alles. Forscher holten eine alte Idee - neuronale Netze - wieder hervor, aber diesmal hatten sie etwas Neues: GPUs. Diese Grafikchips, ursprünglich für die Darstellung von Videospielen entwickelt, erwiesen sich als perfekt für die massiven Matrixmultiplikationen, die neuronale Netze benötigten. Plötzlich konnte das, was Wochen dauerte, in Stunden erledigt werden. Deep Learning explodierte, und hier sind wir heute, mit Transformern, die die Welt erobern.
Aber hier ist die Sache: Wir haben nur *einen* Zweig der KI auf GPUs portiert - den konnektionistischen, numerischen. Die symbolische Seite? Sie steckt immer noch im CPU-Steinalter fest.
Haskell ist eine besondere Sprache, weil sie die Sprache der Beweise (d.h. das Idiom, das Mathematiker verwenden, um Theoreme auszudrücken) mit der Sprache der Programmierung (d.h. was Entwickler verwenden, um Apps zu erstellen) vereint. Das macht sie einzigartig geeignet für symbolisches Denken - die genau Art von Berechnung, die Deep Blue verwendete, aber jetzt können wir sie massiv parallel auf moderner Hardware ausführen.
(Um genauer zu sein, massive GPU-Parallelität ist nicht das einzige, was HVM mitbringt. Es stellt sich heraus, dass es in einigen Fällen auch *asymptotische* Geschwindigkeitssteigerungen zur Folge hat. Und das ist ein wichtiger Grund, an unserem Ansatz zu glauben: Frühere symbolische Methoden waren nicht nur rechnerisch unterversorgt. Sie waren algorithmisch gesehen exponentiell langsam. Kein Wunder, dass sie nicht funktionierten. Sie hatten keine Chance.)
Meine These ist einfach: Jetzt, da ich Haskell auf GPUs ausführen kann, und angesichts dieser asymptotischen Geschwindigkeitssteigerung, bin ich in der Lage, diese alten symbolischen KI-Methoden wiederzubeleben, sie um Größenordnungen zu skalieren und zu sehen, was passiert. Vielleicht, nur vielleicht, wird uns eine von ihnen überraschen.
...
Top
Ranking
Favoriten