Deep Neural Networks Begrijpen Training Cursus

Deel 1 – Diep Leren en DNN Concepten

Inleiding AI, Machine Learning & Diep Leren

• Geschiedenis, basisbeginselen en gebruikelijke toepassingen van kunstmatige intelligentie verre van de fantasieën die dit domein mee draagt
• Collectieve Intelligentie: aggregatie van kennis gedeeld door veel virtuele agents
• Genetische algoritmen: om een populatie van virtuele agents te laten evolueren door selectie
• Gewone Machine Learning: definitie.
• Soorten taken: begeleid leren, onbegeleid leren, versterkend leren
• Soorten acties: classificatie, regressie, clustering, dichtheidsschatting, dimensionaliteitsevermindering
• Voorbeelden van Machine Learning-algoritmen: lineaire regressie, Naive Bayes, Random Tree
• Machine learning VS Diep Leren: problemen waarop Machine Learning vandaag de standaard blijft (Random Forests & XGBoosts)

Basisbeginselen van een Neuraal Netwerk (Toepassing: multi-layer perceptron)

• Herhaling van de wiskundige basis.
• Definitie van een netwerk van neuronen: klassieke architectuur, activatie en
• Gewichting van eerdere activaties, diepte van een netwerk
• Definitie van het leren van een netwerk van neuronen: kostenfuncties, back-propagation, stochastische gradiëntdaling, maximum likelihood.
• Modellering van een neuronaal netwerk: modellering van invoer- en uitvoergegevens volgens het type probleem (regressie, classificatie ...). Vloek van dimensionaliteit.
• Onderscheid tussen meervoudige kenmerkendata en signaal. Keuze van een kostenfunctie op basis van de gegevens.
• Aproximatie van een functie door een netwerk van neuronen: presentatie en voorbeelden
• Aproximatie van een verdeling door een netwerk van neuronen: presentatie en voorbeelden
• Data Augmentatie: hoe een dataset in balans te brengen
• Generalisering van de resultaten van een netwerk van neuronen.
• Initialisatie en regularisatie van een neuronaal netwerk: L1 / L2-regularisatie, batch-normalisatie
• Optimalisatie- en convergentiealgoritmen

Standaard ML / DL Tools

Een eenvoudige presentatie met voordelen, nadelen, positie in het ecosystema en gebruik is gepland.

• Data management tools: Apache Spark, Apache Hadoop Tools
• Machine Learning: Numpy, Scipy, Sci-kit
• Hoog niveau DL frameworks: PyTorch, Keras, Lasagne
• Laag niveau DL frameworks: Theano, Torch, Caffe, Tensorflow

Convolutionele Neurale Netwerken (CNN).

• Presentatie van de CNN's: basisprincipes en toepassingen
• Basisbewerkingen van een CNN: convolutie-laag, gebruik van een kernel,
• Padding & stride, feature map generatie, pooling lagen. 1D, 2D en 3D-uitbreidingen.
• Presentatie van de verschillende CNN-architecturen die de state of the art in classificatie hebben gebracht
• Afbeeldingen: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentatie van innovaties aangebracht door elke architectuur en hun bredere toepassingen (convolutie 1x1 of residuele verbindingen)
• Gebruik van een attention model.
• Toepassing op een algemene classificatiecase (tekst of afbeelding)
• CNN's voor generatie: superresolutie, pixel-naar-pixel segmentatie. Presentatie van
• Hoofdstrategieën voor het vergroten van feature maps voor afbeeldingsgeneratie.

Recurrente Neurale Netwerken (RNN).

• Presentatie van RNN's: basisprincipes en toepassingen.
• Basisbewerkingen van de RNN: verborgen activatie, back propagation through time, uitgevouwen versie.
• Evoluties naar Gated Recurrent Units (GRUs) en LSTM (Long Short Term Memory).
• Presentatie van de verschillende staten en evoluties gebracht door deze architecturen
• Convergentie- en verdwijnende gradiëntproblemen
• Klassieke architecturen: voorspelling van een tijdsreeks, classificatie ...
• RNN Encoder Decoder-architectuur. Gebruik van een attention model.
• NLP-toepassingen: woord / karaktercodering, vertaling.
• Video-toepassingen: voorspelling van de volgende gegenereerde afbeelding in een video-sequentie.

Generatie-modellen: Variational AutoEncoder (VAE) en Generative Adversarial Networks (GAN).

• Presentatie van de generatieve modellen, koppeling met de CNN's
• Auto-encoder: dimensionaliteitsevermindering en beperkte generatie
• Variational Auto-encoder: generatief model en benadering van de verdeling van een gegeven. Definitie en gebruik van latente ruimte. Reparameterisatietrick. Toepassingen en nadelen die zijn waargenomen
• Generative Adversarial Networks: Grondslagen.
• Dual Netwerkarchitectuur (Generator en discriminator) met afwisselend leren, beschikbare kostenfuncties.
• Convergentie van een GAN en moeilijkheden die worden ondervonden.
• Verbeterde convergentie: Wasserstein GAN, Began. Earth Moving Distance.
• Toepassingen voor de generatie van afbeeldingen of foto's, tekstgeneratie, superresolutie.

Diep Reinforcement Leren.

• Presentatie van reinforcement leren: controle over een agent in een gedefinieerde omgeving
• Door een staat en mogelijke acties
• Gebruik maken van een neuronaal netwerk om de staatfunctie te benaderen
• Diep Q Leren: ervaringsreplay, en toepassing op het besturen van een videogame.
• Optimalisatie van het leerbeleid. On-policy && off-policy. Actor critic architectuur. A3C.
• Toepassingen: besturing van een enkele videogame of een digitale systeem.

Deel 2 – Theano voor Diep Leren

Theano Basis

• Inleiding
• Installatie en Configuratie

TheanoFunctions

• inputs, outputs, updates, givens

Training en Optimalisatie van een neuronaal netwerk met Theano

• Neuraal Netwerk Modellering
• Logistische Regressie
• Verborgen Lagen
• Trainen van een netwerk
• Berekening en Classificatie
• Optimalisatie
• Log Loss

Testen van het model

Deel 3 – DNN met Tensorflow

TensorFlow Basis

• Aanmaken, Initialiseren, Opslaan en Herstellen van TensorFlow-variabelen
• Voeden, Lezen en Voorladen van TensorFlow-gegevens
• Hoe u de TensorFlow-infrastructuur kunt gebruiken om modellen op schaal te trainen
• Visualiseren en Beoordelen van modellen met TensorBoard

TensorFlow Mechaniek

• Bereid de Gegevens voor
• Downloaden
• Inputs en Placeholders
• Bouw de GrafiekS
  • Inference
  • Verlies
  • Training
• Train het Model
  • De Grafiek
  • De Sessie
  • Trainingslus
• Evalueer het Model
  • Bouw de Evaluatiegrafiek
  • Evaluatieoutput

De Perceptron

• Activatiefuncties
• Het perceptron leer-algoritme
• Binaire classificatie met de perceptron
• Documentclassificatie met de perceptron
• Beperkingen van de perceptron

Van Perceptron naar Support Vector Machines

• Kernels en het kerneltrucje
• Maximum margine classificatie en support vectoren

Artificiële Neurale Netwerken

• Niet-lineaire beslissingsgrenzen
• Feedforward en feedback artificiële neurale netwerken
• Multilayer perceptrons
• Minimaliseren van de kostenfunctie
• Voorwaartse propagatie
• Terugwaartse propagatie
• Verbetering van de manier waarop neurale netwerken leren

Convolutionele Neurale Netwerken

• Doelen
• Modelarchitectuur
• Principes
• Codeorganisatie
• Lanceren en Trainen van het Model
• Evaluatoren van een Model

Basisinleidingen te geven aan de volgende modules (Korte inleiding afhankelijk van beschikbare tijd):

Tensorflow - Geavanceerd Gebruik

• Threads en Queues
• Gedistribueerde TensorFlow
• Schrijven van documentatie en delen van uw Model
• Aanpassing van Data Readers
• Manipuleren van TensorFlow-modelbestanden

TensorFlow Serving

• Inleiding
• Basis Server Tutorial
• Geavanceerde Server Tutorial
• Serveren van het Inception Model Tutorial