INGENIERÍA DE DATOS / LABORATORIO 02

Datos crudos.
Resultados confiables.

Un pipeline que transforma, comprueba y publica.
Construido con dbt + DuckDB, sin configurar AWS.

Marymar Danytza Calloticona Chambilla

Cargando evidencia…

Del evento al dato útil.

Resultados del último build publicado
01 / BRONZE

Ingesta

CSV reproducibles
Eventos sin modificar

→
02 / SILVER

Transformación

Tipos, dimensiones
y deduplicación

→
03 / GOLD

Publicación

Agregados probados
y documentación

↘
CONTROL DE CALIDAD

Cuarentena

Errores conservados
con motivo explícito

EVENTOS DE ENTRADA—
ÓRDENES ACEPTADAS—
EVENTOS EN CUARENTENA—
PRUEBAS DBT CORRECTAS—

AUDITORÍA / SIN DESCARTES SILENCIOSOS

Qué se retuvo y por qué

Cinco eventos inválidos y una versión anterior de una orden.

Descargar cuarentena CSV ↓

EXPLORAR / RESULTADOS PUBLICADOS

La serie diaria

Descargar serie completa CSV ↓

La prueba también es parte del pipeline.

dbt comprueba claves, relaciones y medidas. Python calcula los ingresos de forma independiente en centavos. Los totales de las tablas finales deben coincidir antes de publicar.

Inspeccionar evidencia JSON ↗ · Ver modelos y linaje en dbt ↗