Pudimos reproducir los sólidos hallazgos del artículo de HRM sobre ARC-AGI-1. Además, realizamos una serie de experimentos de ablación para llegar al fondo de lo que hay detrás. Hallazgos clave: 1. La arquitectura del modelo HRM en sí (el centro del artículo) no es un factor importante. 2. El bucle de refinamiento externo (mencionado apenas en el artículo) es el principal impulsor del rendimiento. 3. El aprendizaje por transferencia entre tareas no es muy útil. Lo que importa es entrenar en las tareas que vas a probar. 4. Puedes usar muchas menos aumentaciones de datos, especialmente en el momento de la inferencia. Los hallazgos 2 y 3 significan que este enfoque es un caso de *entrenamiento en el tiempo de prueba sin preentrenamiento*, similar al artículo recientemente publicado "ARC-AGI sin preentrenamiento" de Liao et al.
326,21K