MoE com 102 bilhões de parâmetros totais e 12 bilhões ativos por inferência. Sem índice de inteligência publicado.