Veredictos y puntuación

Esta página documenta todos los tipos de veredicto emitidos por el sistema de jueces omegaUp y explica los diferentes modelos de puntuación disponibles para concursos y problemas.

Tipos de veredicto

Veredictos de éxito

Veredictos de respuesta incorrecta

Veredictos en tiempo de ejecución

Veredictos de compilación

Veredictos del sistema

Jerarquía de veredictos

Cuando varios casos de prueba tienen veredictos diferentes, el veredicto general sigue esta prioridad:

flowchart TD
    JE[Judge Error] --> VE[Validator Error]
    VE --> CE[Compilation Error]
    CE --> RFE[Restricted Function]
    RFE --> MLE[Memory Limit Exceeded]
    MLE --> OLE[Output Limit Exceeded]
    OLE --> TLE[Time Limit Exceeded]
    TLE --> RTE[Runtime Error]
    RTE --> WA[Wrong Answer]
    WA --> PE[Presentation Error]
    PE --> PA[Partial Accepted]
    PA --> AC[Accepted]

Modelos de puntuación

Todo o nada (all_or_nothing)

Puntos otorgados sólo por la solución completa:

Score = 100% if ALL cases pass
Score = 0%   otherwise

Crédito parcial (partial)

Puntos proporcionales a los casos superados:

Score = (passing_cases / total_cases) × max_points

Máximo por grupo (max_per_group)

Puntos basados en grupos de casos de prueba:

Group Score = max_points × (passing_cases_in_group / total_cases_in_group)
Total Score = sum(Group Scores weighted by group weights)

Grupos de casos de prueba

Definición de grupo

Los grupos se definen en settings.json o se deducen de los nombres de archivos:

{
  "Cases": [
    {
      "Name": "small",
      "Cases": ["1", "2", "3"],
      "Weight": 30
    },
    {
      "Name": "large",
      "Cases": ["4", "5", "6"],
      "Weight": 70
    }
  ]
}

Agrupación automática

Sin grupos explícitos, los casos se agrupan por prefijo de nombre de archivo:

small.1.in  → Group "small"
small.2.in  → Group "small"
large.1.in  → Group "large"
large.2.in  → Group "large"

Archivo del plan de prueba

Agrupación alternativa vía testplan:

# Format: group_name weight
small 30
large 70

# Test cases (order matters for display)
small.1
small.2
small.3
large.1
large.2
large.3

Modelos de penalización

Sin penalización (none)

La puntuación se basa exclusivamente en la corrección:

Final Score = Best Score

Penalización de tiempo de ejecución (runtime)

Puntuación penalizada por tiempo de ejecución:

Final Score = Points × (1 - time_factor)

Penalización por recuento de envíos (submission_count)

Penalización estilo ICPC:

Penalty = Σ(wrong_submissions × penalty_minutes + solve_time)

Puntuación del concurso

Estilo IOI

• Crédito parcial permitido
• El mejor envío cuenta
• No hay penalización por envío incorrecto

Total = Σ(max_score_per_problem)

Estilo CIPC

• Todo o nada por problema
• Tiempo + penalización por envío incorrecto
• Problemas que valen la misma puntuación.

Solved = count(AC_problems)
Penalty = Σ(solve_time + wrong_attempts × 20)
Rank by: Solved DESC, Penalty ASC

Puntuación personalizada

Configurable por concurso:

Visualización del marcador

Representación de puntuación

Codificación de colores

Detalles del veredicto

Señales de error en tiempo de ejecución

Notas sobre el límite de tiempo

• Tiempo de CPU: tiempo de cálculo real
• Wall Time: tiempo real transcurrido (normalmente 2× límite de CPU)
• TLE puede resultar de:
• Algoritmo lento
• Bucle infinito
• E/S excesiva

Notas sobre el límite de memoria

• Medido a través de cgroups (RSS máximo)
• Incluye:
• Asignaciones de montón
• Uso de la pila
• Variables estáticas
• NO incluye:
• Bibliotecas compartidas
• segmento de código

Validadores personalizados

Interfaz del validador

Los validadores personalizados reciben:

./validator <input_file> <expected_output> <user_output> <score_limit>

<score>
<message>

Casos de uso

• Tolerancia de punto flotante
• Múltiples salidas válidas
• Verificación interactiva
• Lógica de crédito parcial

Mejores prácticas

Para quienes plantean problemas

1. Utilice grupos significativos: casos de prueba relacionados con grupos
2. Equilibrar pesos: asegúrese de que las subtareas tengan la dificultad adecuada
3. Incluir casos extremos: condiciones de contorno de prueba
4. Establezca límites apropiados: no establezca límites demasiado estrictos ni demasiado flexibles

Para concursantes

1. Verifique todos los veredictos: lea atentamente los mensajes de veredicto
2. Comprender la puntuación: saber si hay crédito parcial disponible
3. Optimizar incrementalmente: obtenga primero una puntuación parcial y luego optimice
4. Esté atento a los casos extremos: fuente común de WA

Documentación relacionada

• Grader Internals - Cómo se determinan los veredictos
• Runner Internals - Detalles de ejecución
• API de problemas - Configuración de problemas
• API de concursos - Configuración de puntuación del concurso