Veredictos e pontuação

Cada envio que você faz termina como um veredicto: um pequeno código que diz o que aconteceu quando o avaliador executou seu programa nos casos de teste do problema. O veredicto que você vê na Arena é a pior coisa que aconteceu em todos os casos que o aluno correu — omegaUp relata a falha mais grave, porque um programa que errou um caso está errado, não importa quantos outros acertou.

O veredicto é armazenado em cada execução na coluna verdict do Runs e Submissions tabelas, e é um dos exatamente doze valores. Eles são, aproximadamente do melhor ao pior:

Por que o veredicto é uma decisão de grupo, não uma decisão de caso

Uma única execução é, na verdade, um lote de muitas execuções — uma por arquivo .in — e cada execução obtém seu próprio veredicto por caso dentro da niveladora (AC, WA, TLE,…). O veredicto que você finalmente ver é o agregado, e a regra de agregação é onde o comportamento interessante vidas, porque está diretamente ligado à pontuação.

omegaUp agrupa casos de teste: tudo antes do primeiro . no nome do arquivo de um caso é seu grupo (então 3.foo.in e 3.bar.in pertencem ao grupo 3; um caso sem ponto, como 5.in, forma seu próprio grupo 5). Um grupo concede seus pontos somente se todos casos nele voltou AC ou PA - o modelo "tudo ou nada por subtarefa" depende dos problemas competitivos em diante, onde uma solução parcialmente correta para uma subtarefa não rende nada para essa subtarefa.

Os pesos dos casos vêm do arquivo testplan do problema, se houver (normalizado para que eles somem para 1); caso contrário, cada caso vale 1 / number-of-cases. A pontuação da corrida é a soma de os pesos dos grupos que passaram integralmente, multiplicados pelos pontos que vale o problema no concurso atual (ou dimensionado para 100% no modo de prática). Então PA – uma pontuação fracionária – é o que você obtém quando alguns grupos são aprovados e outros não, ou quando um validador personalizado entrega devolver uma pontuação parcial para um caso.

Para o caminho completo que um envio segue de /api/run/create/ através das filas, o corredor, os validadores e de volta ao placar, consulte Informações internas do sistema e Internos da niveladora.

Validadores: como um caso se torna AC ou WA

O avaliador decide o veredicto de cada caso com um validador. Os validadores integrados tokenize a saída esperada e a saída do concorrente no espaço em branco e compare:

• token — compara token por token; a primeira incompatibilidade (ou um fluxo terminando antes do outro) é um WA. O padrão para a maioria dos problemas.
• token-caseless — o mesmo, mas sem distinção entre maiúsculas e minúsculas.
• token-numeric — ignora tokens não numéricos, analisa o restante como ponto flutuante e compare com uma tolerância. Isto é o que permite que um problema aceite 3.14159 onde a chave diz 3.14160.
• literal — uma correspondência exata, sem tokenização.
• custom — o problema vem com seu próprio programa validador que lê os dados do competidor saída (e, para alguns problemas, a entrada) e decide o próprio veredicto, opcionalmente atribuição de pontuação parcial. Uma falha aqui é o que produz VE.