Perché dovresti smettere di lavorare sulla ricerca RL e lavorare invece sul prodotto // La tecnologia che ha sbloccato il grande cambiamento di scalabilità nell'intelligenza artificiale è Internet, non i trasformatori Penso che sia risaputo che i dati sono la cosa più importante nell'intelligenza artificiale, e anche che i ricercatori scelgono di non lavorarci comunque. ... Cosa significa lavorare sui dati (in modo scalabile)? Internet forniva una ricca fonte di dati abbondanti, che era diversificata, forniva un curriculum naturale, rappresentava le competenze che interessavano effettivamente alle persone ed era una tecnologia economicamente praticabile da implementare su larga scala: è diventata il complemento perfetto per la previsione del prossimo token ed è stata la zuppa primordiale per far decollare l'intelligenza artificiale. Senza i trasformatori, un numero qualsiasi di approcci avrebbe potuto decollare, probabilmente avremmo potuto avere CNN o modelli nello spazio degli stati al livello di GPT-4.5. Ma non c'è stato un miglioramento drammatico nei modelli base dopo GPT-4. I modelli di ragionamento sono ottimi in ambiti ristretti, ma non così grandi come lo è stato GPT-4 nel marzo 2023 (più di 2 anni fa...) Abbiamo qualcosa di fantastico con l'apprendimento per rinforzo, ma la mia profonda paura è che ripeteremo gli errori del passato (RL dell'era 2015-2020) e faremo ricerca RL che non ha importanza. Nel modo in cui Internet era il duale del pretraining supervisionato, quale sarà il duale di RL che porterà a un enorme progresso come GPT-1 -> GPT-4? Penso che assomigli a una co-progettazione ricerca-prodotto.