Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Fomos capazes de reproduzir as fortes descobertas do artigo HRM sobre ARC-AGI-1.
Além disso, realizamos uma série de experimentos de ablação para chegar ao fundo do que está por trás disso.
Principais conclusões:
1. A arquitetura do modelo HRM em si (a peça central do artigo) não é um fator importante.
2. O loop de refinamento externo (mal mencionado no artigo) é o principal impulsionador do desempenho.
3. O aprendizado por transferência entre tarefas não é muito útil. O que importa é o treinamento nas tarefas que você vai testar.
4. Você pode usar muito menos aumentos de dados, especialmente no momento da inferência.
As descobertas 2 e 3 significam que essa abordagem é um caso de treinamento em tempo de teste de pré-treinamento zero, semelhante ao artigo "ARC-AGI sem pré-treinamento" publicado recentemente por Liao et al.
315,37K
Melhores
Classificação
Favoritos