Talvez eu tenha dado uma tarefa difícil demais para Spark. O que observei foram compactações a cada 50 segundos por 25 minutos, sem mudanças no código ou progresso visível. Depois, ele se bloqueou ao corroer o buffer de compactação. Também tem um contexto muito pequeno e compacta em torno de 110k.