Ich habe dieses Papier von OpenAI darüber, wie Menschen ChatGPT nutzen, wirklich genossen. Die Nachfrage nach Inferenz wird in den nächsten 1-2 Jahren weiter explodieren. Es ist klar, dass ein bedeutender Anteil davon Echtzeitzugriff auf das Web erfordern wird. Heute haben KI-Unternehmen folgende Optionen: Google scrapen, Bing scrapen (die ihre API abgeschaltet haben) oder gecachte/gescrapete Suchergebnisse mit neuronalen Netzen neu bewerten (einige Startups machen das). Keine dieser Optionen skaliert wirklich. Heute wird Grass von Unternehmen genutzt, um unglaubliche Mengen an Trainingsdaten zu liefern (2-3 Petabyte pro Tag), von denen die meisten multimodal sind. Da die Rechenanforderungen für Inferenz das Training umkehren, erwarten wir, dass dieselbe Infrastruktur, die zum Sammeln von Trainingsdaten verwendet wird, auch für die Live-Kontextabfrage genutzt wird.