Onderzoek van Dr. Yu Sun: AI vooruithelpen met Hyperbolic Compute Dr. Yu Sun, samen met onderzoekers van Stanford, UC Berkeley, UCSD en UT Austin, duwt de grenzen van generatieve AI met de GPU-infrastructuur van Hyperbolic Labs. Twee baanbrekende projecten: generatie van video's van een minuut en adaptieve RNN's. 🧵

Minuutlange video-generatie 🎥 De meeste videomodellen zoals Sora en Veo hebben een limiet van ~20 seconden. Het team van Sun introduceerde Test-Time Training (TTT) lagen—adaptieve neurale toestanden die evolueren tijdens de inferentie—waardoor het mogelijk is om 1-minuut video's te maken vanuit een enkele prompt zonder nabewerking.

Infra en Resultaten > 256× NVIDIA H100's via @hyperbolic_ai > Model: 5B param CogVideo-X > Context Lengte: 300.000 tokens > Looptijd: 50 GPU-uur > Dataset: 7 uur storyboarded cartoons > +34 Elo vs Mamba 2 basislijn > Papier 📄

RNN's met Expressieve Verborgen Toestanden 🔁 Standaard RNN's degraderen na 16k tokens. Dr. Sun's team heeft TTT-Linear en TTT-MLP gebouwd—verborgen toestanden die leerbare neurale netwerken zijn. Deze passen zich aan tijdens inferentie met behulp van gradient-gebaseerde zelfsupervisie.

Resultaten > Context Lengte: 32.000 tokens > Model Schaal: 125M tot 1.3B parameters > Runtime Speedup: 5× via dual-form optimalisatie > Lineaire tijd, constant geheugen > presteert beter dan of komt overeen met Transformer, Mamba, DeltaNet > code:

Hyperbolic Infra = Onderzoeksfacilitator De stabiele, hoge doorvoer H100-clusters van Hyperbolic ondersteunden de verwerking van 300k-tokens, persistente omgevingen voor inner-loop optimalisatie en schaalbare middelen voor FLOP-gematchte experimenten.

"De H100 GPU's en diensten van Hyperbolic boden de betrouwbaarheid die ons in staat stelde om ons onderzoek te prototypen in test-tijd training. Hun infrastructuur maakte het gemakkelijker om onze modellen op te schalen om video's van één minuut te genereren vanuit tekststoryboards. We konden ons concentreren op onderzoek in plaats van ons bezig te houden met infrastructuurproblemen." — Dr. Yu Sun

De toekomst van generatieve AI en sequentiemodellering is hier. Met TTT-lagen en schaalbare rekencapaciteit worden nieuwe grenzen verlegd. Huur on-demand GPU's nu bij Bekijk de volledige blog: