Reto 2 · Validat3B

Motor de validación de capturas de precio

En 6 horas, construye un motor con IA que revise cada captura de campo como lo haría el mejor analista, decida si es confiable y explique por qué.

Dominio
Evidencia de precios de mercado capturada en campo
Insumo
3 fotos, código de barras y metadatos por captura
Salida
Un JSON por captura, en el formato oficial
Stack obligatorio
Endpoint de Azure AI Foundry asignado al equipo

01 El problema

Todos los días, equipos de Tiendas 3B recorren el mercado y capturan fotos de tiendas, productos y etiquetas de precio. Esa evidencia alimenta decisiones de precio reales. Pero una foto borrosa, un producto equivocado o una etiqueta que no corresponde pueden colarse y contaminar los datos.

Hoy parte de esa revisión es manual: consume tiempo del equipo y limita cuánta información se puede procesar. La pregunta del reto es cómo validar automáticamente cada captura con las imágenes y datos disponibles, para decidir si es confiable, explicar el motivo cuando no lo es y asignar un nivel de confianza, reduciendo al mínimo la revisión manual sin sacrificar la calidad del dato.

No gana quien apruebe más. Gana quien apruebe más sin equivocarse.

02 Qué recibe tu solución

Una captura no es una sola foto: es un conjunto de evidencia ligado por un mismo capture_id.

  • Foto de la fachada de la tienda.
  • Foto del producto.
  • Foto de la etiqueta de precio.
  • Código de barras capturado.
  • Producto o contratipo esperado.
  • Cadena y tienda seleccionadas.
  • Fecha, hora y metadatos de la app.

Además recibes un catálogo de referencia (SKU, descripción, marca, contenido, código de barras y contratipos permitidos), un documento con las reglas de negocio que definen cuándo una captura es válida, y un kit de inicio con notebook conectado al endpoint, cargador de datos, esquema JSON de salida y el script para medir tu costo operativo.

Set de datosCon etiquetasPara qué
EntrenamientoSíExplorar, construir y ajustar
ValidaciónSíMedir tu costo operativo antes del cierre
CiegoNoCalificación final: se libera al cierre

Descarga los datos de desarrollo

Úsalos para explorar, construir y medir tu solución antes del cierre. Imágenes y metadatos se relacionan por capture_id. El set ciego se libera al cierre.

Imágenes

Validat3B_desarrollo_imagenes.zip

Fotos de fachada, producto y etiqueta de precio de cada captura.

Descargar .zip

Metadatos

Validat3B_desarrollo_metadatos.zip

Datos de cada captura: código de barras, producto o contratipo esperado, cadena, tienda, fecha, hora y metadatos de la app.

Descargar .zip

Conéctate a Azure AI Foundry

Tu solución usa el endpoint de Azure AI Foundry del hackatón. Estos son los datos de conexión y un ejemplo para hacer tu primera llamada.

Proyecto
https://softwaredevelopment-resource.services.ai.azure.com/api/projects/softwaredevelopment
Endpoint
https://softwaredevelopment-resource.services.ai.azure.com/anthropic
Modelo
claude-haiku-5-5
API key
ndxSsVmSUs8VPKPPDRK7iADFbsqLwbBCzEnRojFiC3zoGYTsA51CJQQJ99CKACYeBjFXJ3w3AAAAACOGk5CR
  1. Instala el SDK: pip install anthropic
  2. Guarda la llave en una variable de entorno, no en tu código: export FOUNDRY_API_KEY="<api-key>"
  3. Ejecuta el ejemplo:
import os
from anthropic import AnthropicFoundry

endpoint = "https://softwaredevelopment-resource.services.ai.azure.com/anthropic"
deployment_name = "claude-haiku-5-5"
api_key = os.environ["FOUNDRY_API_KEY"]

client = AnthropicFoundry(
    api_key=api_key,
    base_url=endpoint
)

message = client.messages.create(
    model=deployment_name,
    messages=[
        {"role": "user", "content": "What is the capital of France?"}
    ],
    max_tokens=1024,
)

print(message.content)

03 Qué debe hacer tu solución

Los motivos de rechazo reales se agrupan en tres frentes. El porcentaje indica cuántos de los rechazos actuales caen en cada uno: ahí está la pista de dónde se gana o se pierde el reto.

FrentePregunta que resuelvePeso en rechazosCasos reales
A. Identidad del producto ¿Es realmente el producto o contratipo correcto? ~61% Contratipo inválido; producto que no coincide con la descripción; descripción incompleta; producto no visible
B. Calidad de la evidencia ¿La foto sirve y corresponde al contexto? ~29% Fachada incorrecta; captura demasiado lejana; imagen borrosa; foto tomada a la pantalla de otro celular
C. Evidencia de precio ¿Hay una etiqueta válida y cuál es el precio? ~10% No hay etiqueta de precio; falta el precio unitario

Tu motor debe integrar los tres frentes en una sola decisión: aprobada, rechazada o revision_manual.

04 Qué entregas

Al cierre, cada equipo entrega:

  • Resultados del set ciego: un archivo JSON con una respuesta por captura, en el formato oficial.
  • Código: el repositorio o notebook con el que se generaron, ejecutable con las instrucciones incluidas.
  • Ficha técnica de una página: cómo funciona tu motor, qué tecnologías usaste y cómo decides cuándo aprobar, rechazar o mandar a revisión manual.
  • Pitch de 3 minutos ante el jurado, que cuenta como criterio de evaluación.

Formato de salida por captura. decision solo puede ser aprobada, rechazada o revision_manual; la lista oficial de reason_code se entrega con los datos.

{
  "capture_id": "CAP-000123",
  "decision": "rechazada",
  "confidence_score": 0.93,
  "reason_code": "PRODUCTO_NO_COINCIDE",
  "validaciones": {
    "tienda_fachada": "ok",
    "producto": "falla",
    "codigo_barras": "ok",
    "evidencia_precio": "ok"
  },
  "precio_detectado": 42.50,
  "codigo_barras_detectado": "7501234567890",
  "explicacion": "El producto de la foto es de otra marca que la del contratipo esperado."
}
Piensa en que tu salida podría conectarse directo al flujo de PriceCheck: estructurada, consistente y fácil de auditar.

05 Criterios de evaluación

Para 3B el error más caro es aprobar una captura incorrecta, porque termina en reportes y decisiones de precio. Por eso la calificación mide lo que cuesta operar tu solución, no solo cuánto acierta.

Requisitos para entrar a la clasificación

  • Precisión de aprobaciones ≥ 97%: de todo lo que tu motor aprueba, al menos el 97% debe ser realmente válido.
  • JSON válido en ≥ 99% de las capturas, con el formato oficial.
  • Entrega a tiempo: resultados dentro del tiempo límite, sin prórrogas.

Si no cumples alguno, tu solución no se califica. Los que sí cumplen se evalúan con estos cuatro criterios:

CriterioQué evalúa el juradoEvidencia que lo demuestraPeso
Costo operativo Suma de puntos de costo de todas las capturas del set ciego, según la tabla de abajo. A menor costo, mayor puntaje. Script oficial de costo operativo sobre tu archivo de resultados. 50%
Calidad del dato Acierto en reason_code y en el precio detectado. Identificar promociones o el tipo de precio (regular, oferta, por volumen) también cuenta aquí. Comparación contra las etiquetas del set ciego y la lista oficial de reason_code. 15%
Eficiencia Consumo de tokens por captura con el endpoint asignado. Registros de consumo del endpoint del equipo. 10%
Pitch Claridad para explicar cómo funciona el motor, cómo decide cuándo aprobar, rechazar o mandar a revisión manual, y su valor para PriceCheck. Presentación de 3 minutos ante el jurado, apoyada en la ficha técnica. 25%
Cuatro criterios, suman 100%. El pitch vale 25% en ambos retos.

Tabla de costo operativo

Lo que pasa con la capturaPuntos de costo
Aprobada correctamente o rechazada correctamente0
Enviada a revisión manual1
Rechazada siendo válida3
Aprobada siendo inválida10
Mandar todo a revisión manual nunca gana. Aprobar todo, tampoco.
En el arranque se revela el puntaje del Rival 3B, la solución de nuestro equipo de IA. Es la marca a vencer.

06 Reglas y restricciones

  • Tiempo: 6 horas efectivas de construcción. Al cierre se libera el set ciego y cada equipo ejecuta su solución y entrega resultados dentro del tiempo indicado. Sin prórrogas.
  • Acceso a IA: cada equipo recibe un endpoint de Azure AI Foundry y su propia llave, con los modelos permitidos ya desplegados. La llave es personal del equipo: no se comparte.
  • Límite de uso: todas las llaves tienen el mismo límite de tokens por minuto. El consumo queda registrado y cuenta en los desempates.
  • Tecnología libre: puedes combinar modelos de IA, visión por computadora, OCR, reglas, agentes o librerías de código abierto que corran en tu equipo. No se permite usar APIs o servicios de IA externos al endpoint asignado.
  • Datos: las imágenes y datos de 3B solo se usan dentro del reto. No se suben a otros servicios ni se comparten fuera del equipo.
  • Juego limpio: las decisiones del set ciego deben salir de tu solución, no de revisión humana. Los registros del endpoint se revisan para confirmarlo.