Deep Learning met TensorFlow 2 Training Cursus

Inleiding

• Inleiding tot TensorFlow en deep learning
• Gebruikscases en toepassingen van TensorFlow
• TensorFlow-ecosysteem en tooling
• Machine learning en deep learning workflow
• Overzicht van de doelen van de cursus en praktische oefeningen

TensorFlow 2.x vs eerdere versies — Wat is nieuw

• Belangrijkste verschillen tussen TensorFlow 1.x en 2.x
• Eager execution
• Geïntegreerde API's en verbeterde bruikbaarheid
• Wijzigingen in het bouwen en trainen van modellen
• Inleiding tot Keras als de hoogste API
• Migratieoverwegingen voor bestaande TensorFlow-toepassingen
• Best practices voor TensorFlow 2.x

TensorFlow 2.x installeren

• TensorFlow installeren
• Een Python-omgeving configureren
• De TensorFlow-installatie verifiëren
• Vereiste afhankelijkheden installeren en beheren
• CPU- en GPU-omgevingen configureren
• TensorFlow gebruiken met Jupyter-notebooks
• Basiskommanden en -operaties van TensorFlow
• Problemen bij installatie en configuratie oplossen

Overzicht van functies en architectuur van TensorFlow 2.x

• Architectuur en kerncomponenten van TensorFlow
• Tensor's en tensorbewerkingen
• Variables en constanten
• Berekeninggrafieken en eager execution
• Automatische differentiatie
• TensorFlow API's en modules
• Keras-integratie
• Datapipes met tf.data
• Serialisatie van modellen en TensorFlow SavedModel
• TensorFlow-ecosysteem en ontwikkelworkflow

Hoe neurale netwerken werken

• Grundlagen van kunstmatige neurale netwerken
• Neuronen, lagen en netwerkarctituren
• Actiefuncties
• Voorwaartse propagatie
• Verliesfuncties
• Backpropagatie
• Gradient descent en optimalisatie
• Leerraten en optimalisatiestrategieën
• Overfitting en underfitting
• Regularisatietechnieken
• Trainings-, validatie- en testdatasetten

Deep learning-modellen bouwen met TensorFlow 2.x

• Tensor's en variables aanmaken
• Neurale netwerken bouwen met Keras
• Sequential en functional model API's
• Aanpassen van eigen modellen en lagen
• Optimalisatoren configureren
• Geschikte verliesfuncties selecteren
• Modellen trainen met fit()
• Aangepaste trainingslussen
• Callbacks en trainingsmonitoring
• Beheer van model checkpoints

Gegevens analyseren

• Datasetten voor machine learning begrijpen
• Structureren en ongestructureerde gegevens verkennen
• Datavisualisatie
• Patronen en afwijkingen identificeren
• Ontbrekende en inconsistentie gegevens behandelen
• Gegevens splitsen in trainings-, validatie- en testsets
• Relevante kenmerken selecteren
• Datasetten voorbereiden voor TensorFlow-modellen

Gegevens voorbewerken

• Normalisatie en standaardisatie van gegevens
• Encoding van categorische gegevens
• Ontbrekende waarden behandelen
• Scaling van kenmerken
• Voorbewerking van afbeeldingen
• Voorbewerking van tekst
• Data-augmentatie
• Efficiënte invoerpipes bouwen
• Gebruik van tf.data
• Batching, shuffling, caching en prefetching
• Gegevens voorbereiden voor modeltraining

Een model bouwen

• Een geschikte neurale netwerkarctatuur selecteren
• Modelinputs en outputs definiëren
• Dichte neurale netwerken aanmaken
• Actiefuncties kiezen
• Model configureren voor training
• Optimalisatoren en verliesfuncties selecteren
• Model trainen en valideren
• Trainingsmetrieken monitoren
• Modelprestaties verbeteren
• Overfitting voorkomen
• Regularisatie en dropout implementeren

Een state-of-the-art afbeeldingsclassificator implementeren

• Grundlagen van afbeeldingsclassificatie
• Afbeeldingsdatasetten voorbereiden
• Normalisatie en augmentatie van afbeeldingen
• Convolutionele neurale netwerken
• Convolutie- en poolinglagen
• Een architectuur voor afbeeldingsclassificatie ontwerpen
• Transfer learning
• Gebruik van voorgetrainde modellen
• Fine-tuning van voorgetrainde netwerken
• Een geavanceerde afbeeldingsclassificator bouwen
• Classificatieprestaties evalueren

Het model trainen

• Trainingsparameters configureren
• Batchgrootte en epochs
• Selectie van optimalisatoren
• Scheduling van de leertaar
• Trainingscallbacks
• Vroegtijdige stopping
• Checkpoints van het model
• Vooruitgang van de training monitoren
• Overfitting detecteren
• Trainingsprestaties verbeteren
• Overwegingen voor gedistribueerde training

Trainen op een GPU vs een TPU

• Architecturen van CPU, GPU en TPU
• Voordelen van hardwareversnelling
• TensorFlow configureren voor GPU-training
• TPU-gebaseerde training begrijpen
• Hardware selecteren voor verschillende werkbelastingen
• Bewerkingen verplaatsen tussen apparaten
• Geheugen- en computebronnen beheren
• Trainingsprestaties vergelijken
• Strategieën voor gedistribueerde en versnelde training

Het model evalueren

• Geschikte evaluatiemetrieken selecteren
• Accuratesse, precisie, recall en F1-score
• Evaluatiemetrieken voor regressie
• Verwarringmatrixen
• Validatiestrategieën
• Classificatiemodellen evalueren
• Algemene prestaties van het model evalueren
• Zwaktepunten van het model identificeren
• Verzamelen van verschillende modelconfiguraties

Voorspellingen doen

• Gebruik van getrainde modellen voor inferentie
• Nieuwe invoergegevens voorbereiden
• Batch- en individuele voorspellingen uitvoeren
• Modeloutputs interpreteren
• Classificatiekansen
• Regressievoorspellingen
• Een inferentieworkflow bouwen
• Ongezien data behandelen
• Voorspellingspijpen beheren

De voorspellingen evalueren

• Kwaliteit van voorspellingen analyseren
• Voorspellingen vergelijken met verwachte resultaten
• False positives en false negatives identificeren
• Foutanalyse
• Modelzekerheid evalueren
• Voorspellingsresultaten visualiseren
• Bias in data en voorspellingen detecteren
• Modelprestaties verbeteren op basis van voorspellingsanalyse

Het model debuggen

• Gemeenschappelijke trainingsproblemen identificeren
• Onjuiste voorspellingen diagnoserer
• Datapipeworkflow debuggen
• Gedrag van verlies en metrieke onderzoeken
• Exploding en vanishing gradients detecteren
• Overfitting en underfitting diagnoserer
• Model lagen en outputs inspecteren
• TensorFlow debug- en profileringsgereedschappen gebruiken
• Modelstabiliteit en prestaties verbeteren

Een model opslaan

• Getrainde modellen opslaan
• TensorFlow SavedModel-formaat
• Modelgewichten opslaan en herstellen
• Modelarchitectuur en configuratie opslaan
• Modellen laden voor inferentie
• Verversiebeheer van modellen
• Modellen exporteren voor implementatie
• Modelartefacten beheren
• Modellen voorbereiden voor productiemedium

Een model in de cloud implementeren

• Inleiding tot cloudgebaseerde modelimplementatie
• TensorFlow-modellen voorbereiden voor productie
• Modellen via API's serveren
• Concepten van modelservering
• TensorFlow-toepassingen containeriseren
• Cloudgebaseerde inferentie
• Scale van werkbelastingen voor modelservering
• Geïmplementeerde modellen monitoren
• Modelversies beheren
• Productieimplementatieoverwegingen

Een model op een mobiel apparaat implementeren

• Uitdagingen van mobiele machine learning
• TensorFlow Lite
• TensorFlow-modellen omzetten voor mobiele implementatie
• Modeloptimalisatie en verkleining van grootte
• Quantisatie
• Inferentie uitvoeren op mobiele apparaten
• Bronnen van mobiele apparaten beheren
• Modellen integreren in mobiele applicaties
• Prestaties van mobiele inferentie testen

Een model op een ingebouwd systeem (IoT) implementeren

• Machine learning op ingebedde apparaten
• TensorFlow Lite voor ingebedde applicaties
• Bronbeperkingen en optimalisatie
• Modelgrootte en computevereisten verkleinen
• Edge-inferentie
• Verwerking van sensor- en realtimegegevens
• Lokale voorspellingen uitvoeren
• Beginselen van kracht en geheugen
• TensorFlow-modellen integreren in IoT-workflows
• Edge-omgevingen testen en monitoren

Een model integreren met verschillende talen

• TensorFlow-model interoperabiliteit
• Modellen via API's serveren
• TensorFlow-modellen gebruiken uit verschillende programmeeromgevingen
• Python-gebaseerde modelintegratie
• Modellen integreren in webapplicaties
• Modelinferentie via REST-gebaseerde diensten
• TensorFlow integreren in bestaande applicaties
• Gegevenswissel en serialisatie
• Productieintegratieoverwegingen

Foutopsporing

• TensorFlow-installatieproblemen diagnoserer
• Fouten bij het bouwen van modellen oplossen
• Voorbewerkingsproblemen van data debuggen
• Trainingsmislukkingen oplossen
• GPU- en TPU-configuratieproblemen onderzoeken
• Geheugen- en prestatieproblemen diagnoserer
• Problemen bij het laden en opslaan van modellen oplossen
• Implementatieproblemen debuggen
• Praktische foutopsporingsoefeningen

Samenvatting en afsluiting

• Beknopting van TensorFlow 2.x concepten
• Beknopting van neurale netwerk- en deep learning-workflows
• Beknopting van datapreparatie en modelontwikkeling
• Beknopting van afbeeldingsclassificatie
• Beknopting van trainings- en evaluatietechnieken
• Beknopting van modeldebugging en optimalisatie
• Beknopting van cloud-, mobiele en IoT-implementatie
• Best practices voor TensorFlow-ontwikkeling
• Eindpraktijk oefening
• Vragen en discussie