Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
lijdt u aan chatbotmoeheid?
gefrustreerd dat de singulariteit is geannuleerd?
op zoek naar iets nieuws om u hoop te geven?
hier is mijn waanzinnige, maar "hé, het heeft een zekere logica" plan om superintelligentie te bouwen in mijn kleine indie onderzoekslaboratorium.
(opmerking: ik ruil nauwkeurigheid in voor pedagogiek)
eerst, een achtergrond:
ik ben een 33-jarige man die de afgelopen 22 jaar heeft geprogrammeerd. in die tijd heb ik veel vragen gesteld over de aard van computing en heb ik enkele vrij... eigenaardige... inzichten verzameld. een paar jaar geleden heb ik HVM gebouwd, een systeem dat in staat is om programma's uit te voeren in een esoterische taal genaamd "Haskell" op de GPU - ja, dezelfde chip die deep learning mogelijk maakte en deze hele AI-cyclus op gang bracht.
maar hoe verhoudt Haskell zich tot AI?
nou, dat is een lang verhaal. zoals de ouderen zich misschien herinneren, was wat we toen "AI" noemden... anders. bijna 3 decennia geleden, voor de eerste keer ooit, versloeg een computer de wereldkampioen schaken, wat veel debatten over AGI en singulariteit op gang bracht - net als vandaag!
dit systeem, genaamd Deep Blue, was heel anders dan de modellen die we vandaag hebben. het gebruikte geen transformers. het gebruikte helemaal geen neurale netwerken. in feite was er geen "model". het was een pure "symbolische AI", wat betekent dat het gewoon een ouderwets algoritme was, dat miljarden mogelijke zetten scande, sneller en dieper dan een mens ooit zou kunnen, en ons versloeg door pure brute kracht.
dit leidde tot een golf van veelbelovende symbolische AI-onderzoek. evolutionaire algoritmen, kennisgrafieken, geautomatiseerd bewijsvoering, SAT/SMT-oplossers, constraint-oplossers, expert systemen, en nog veel meer. helaas stuitte de aanpak na verloop van tijd op een muur. handmatig gebouwde regels schalen niet, symbolische systemen waren niet in staat om *dynamisch* te leren, en de bubbel barstte. er begon een nieuwe AI-winter.
pas jaren later veranderde een nieuwsgierige samenloop van factoren alles. onderzoekers bliezen een oud idee nieuw leven in - neurale netwerken - maar deze keer hadden ze iets nieuws: GPU's. deze grafische chips, oorspronkelijk gebouwd voor het renderen van videospellen, bleken perfect te zijn voor de enorme matrixvermenigvuldigingen die neurale netwerken vereisten. plotseling kon wat weken duurde in enkele uren worden gedaan. deep learning explodeerde, en hier zijn we vandaag, met transformers die de wereld veroveren.
maar hier is het punt: we hebben slechts *één* tak van AI naar GPU's overgezet - de connectionistische, numerieke. de symbolische kant? die zit nog steeds vast in de CPU-steentijd.
Haskell is een speciale taal, omdat het de taal van bewijzen (d.w.z. de idiomatiek die wiskundigen gebruiken om stellingen uit te drukken) verenigt met de taal van programmeren (d.w.z. wat ontwikkelaars gebruiken om apps te bouwen). dit maakt het bij uitstek geschikt voor symbolisch redeneren - het exacte soort berekening dat deep blue gebruikte, maar nu kunnen we het massaal parallel uitvoeren op moderne hardware.
(om nauwkeuriger te zijn, is alleen massale GPU-parallelisme niet het enige dat HVM te bieden heeft. het blijkt ook te resulteren in *asymptotische* versnellingen in sommige gevallen. en dit is een belangrijke reden om in onze aanpak te geloven: eerdere symbolische methoden waren niet alleen computationeel tekort. ze waren exponentieel traag, in algorithmische zin. geen wonder dat ze niet werkten. ze hadden geen kans.)
mijn stelling is eenvoudig: nu ik Haskell op GPU's kan draaien, en gezien deze asymptotische versnelling, ben ik in een positie om deze oude symbolische AI-methoden nieuw leven in te blazen, ze met een orde van grootte op te schalen en te zien wat er gebeurt. misschien, heel misschien, zal een van hen ons verrassen.
...
Boven
Positie
Favorieten