Databricks-migratieworkshop: Van opgeslagen procedures naar Lakehouse (5-daagse intensieve cursus) Training Cursus

Inleiding, Doelstellingen en Migratiestrategie

• Doelen van de cursus, afstemming op het profiel van de deelnemers en succesindicatoren
• Overzichtelijke migratiebenaderingen en risicobeoordeling
• Opzetten van workspaces, repositories en labdatasets

Dag 1 — Migratiefundamenten en architectuur

• Lakehouse-concepten, overzicht van Delta Lake en Databricks-architectuur
• Uitdagingen en implicaties van het verschil tussen SMP en MPP voor migratie
• Ontwerp van het Medallion (Bronze→Silver→Gold)-model en overzicht van Unity Catalog

Dag 1 Lab — Een opgeslagen procedure vertalen

• Hands-on migratie van een voorbeeldprocedure naar een notebook
• Vertaling van tijdelijke tabellen en cursoren naar DataFrame-transformaties
• Validatie en vergelijking met de oorspronkelijke output

Dag 2 — Geavanceerde Delta Lake & Incrementele inname

• ACID-transacties, commit logs, versiebeheer en time travel
• Auto Loader, MERGE INTO-patronen, upserts en schema-evolutie
• OPTIMIZE, VACUUM, Z-ORDER, partitioning en opslag-tuning

Dag 2 Lab — Incrementele inname & Optimalisatie

• Implementatie van Auto Loader-inname en MERGE-workflows
• Toepassing van OPTIMIZE, Z-ORDER en VACUUM; validatie van resultaten
• Meten van verbeteringen in lees/schrijfprestaties

Dag 3 — SQL in Databricks, Prestaties & Debuggen

• Analytics SQL-functies: window functions, higher-order functions, JSON/array-verwerking
• Lezen van de Spark UI, DAGs, shuffles, stages, taken en diagnose van knelpunten
• Patronen voor query-tuning: broadcast joins, hints, caching en reductie van spill

Dag 3 Lab — SQL Refactoring & Prestatieturning

• Herstructurering van een zware SQL-proces naar geoptimaliseerde Spark SQL
• Gebruik maken van Spark UI-traceringen om skew- en shuffle-problemen te identificeren en op te lossen
• Before/after benchmarking en documentatie van tuningstappen

Dag 4 — Tactisch PySpark: Vervangen van procedurele logica

• Sparks uitvoeringsmodel: driver, executors, lazy evaluation en partitioning-strategieën
• Vertalen van loops en cursoren naar gevectoriseerde DataFrame-operaties
• Modularisatie, UDFs/pandas UDFs, widgets en herbruikbare bibliotheken

Dag 4 Lab — Refactoring van procedurele scripts

• Herstructurering van een procedureel ETL-script naar modulaire PySpark-notebooks
• Invoeren van parameterisatie, unit-style tests en herbruikbare functies
• Code review en toepassing van een best-practices checklist

Dag 5 — Orchestratie, End-to-End Pipeline & Best Practices

• Databricks Workflows: jobontwerp, taakafhankelijkheden, triggers en foutafhandeling
• Ontwerp van incrementele Medallion-pipelines met kwaliteitsregels en schema-validatie
• Integratie met Git (GitHub/Azure DevOps), CI en teststrategieën voor PySpark-logica

Dag 5 Lab — Bouw een complete End-to-End Pipeline

• Samenstellen van een Bronze→Silver→Gold-pipeline georkestreerd met Workflows
• Implementatie van logging, auditing, retries en geautomatiseerde validaties
• Draaien van de volledige pipeline, valideren van outputs en voorbereiden van implementatie-aantekeningen

Operationalisatie, Governance en productierijkte

• Best practices voor Unity Catalog governance, lineage en toegangscontroles
• Kosten, clustergrootte, autoscaling en job-concurrentiepatronen
• Implementatiechecklists, rollback-strategieën en runbook-creatie

Slotreview, Kennisoverdracht en Volgende stappen

• Presentaties van deelnemers over het migratiewerk en leerervaringen
• Gap-analyse, aanbevolen vervolgactiviteiten en overdracht van trainingsmateriaal
• Referenties, verdere leertrajecten en ondersteuningsmogelijkheden