Conseguimos reproduzir as fortes conclusões do artigo HRM sobre o ARC-AGI-1. Além disso, realizamos uma série de experimentos de ablação para entender o que está por trás disso. Principais conclusões: 1. A própria arquitetura do modelo HRM (o centro do artigo) não é um fator importante. 2. O ciclo de refinamento externo (pouco mencionado no artigo) é o principal motor de desempenho. 3. O aprendizado de transferência entre tarefas não é muito útil. O que importa é treinar nas tarefas que você irá testar. 4. Você pode usar muito menos aumentos de dados, especialmente no momento da inferência. As conclusões 2 e 3 significam que esta abordagem é um caso de *treinamento em tempo de teste sem pré-treinamento*, semelhante ao artigo recentemente publicado "ARC-AGI sem pré-treinamento" de Liao et al.
332,4K