Fomos capazes de reproduzir as fortes descobertas do artigo HRM sobre ARC-AGI-1. Além disso, realizamos uma série de experimentos de ablação para chegar ao fundo do que está por trás disso. Principais conclusões: 1. A arquitetura do modelo HRM em si (a peça central do artigo) não é um fator importante. 2. O loop de refinamento externo (mal mencionado no artigo) é o principal impulsionador do desempenho. 3. O aprendizado por transferência entre tarefas não é muito útil. O que importa é o treinamento nas tarefas que você vai testar. 4. Você pode usar muito menos aumentos de dados, especialmente no momento da inferência. As descobertas 2 e 3 significam que essa abordagem é um caso de treinamento em tempo de teste de pré-treinamento zero, semelhante ao artigo "ARC-AGI sem pré-treinamento" publicado recentemente por Liao et al.
315,37K