Course Outline
Invoering
Begrijpen Big Data
Overzicht van Spark
Overzicht van Python
Overzicht van PySpark
- Gegevens distribueren met behulp van het veerkrachtige gedistribueerde datasetsframework
- Berekening distribueren met behulp van Spark API-operators
Instellen Python met Spark
Opstellen PySpark
Met behulp van Amazon Web Services (AWS) EC2-instanties voor Spark
Opstellen Databricks
Het AWS EMR-cluster opzetten
De basisbeginselen leren van Python Programming
- Aan de slag met Python
- Het Jupyter-notebook gebruiken
- Variabelen en eenvoudige gegevenstypen gebruiken
- Werken met lijsten
- If-instructies gebruiken
- Gebruikersinvoer gebruiken
- Werken met while-lussen
- Functies implementeren
- Werken met klassen
- Werken met bestanden en uitzonderingen
- Werken met projecten, gegevens en API's
Leer de basisprincipes van Spark DataFrame
- Aan de slag met Spark DataFrames
- Basisbewerkingen implementeren met Spark
- Groupby- en aggregatiebewerkingen gebruiken
- Werken met tijdstempels en datums
Werken aan een Spark DataFrame-projectoefening
Machine Learning begrijpen met MLlib
Werken met MLlib, Spark en Python voor Machine Learning
Regressies begrijpen
- Lineaire regressietheorie leren
- Implementatie van een regressie-evaluatiecode
- Werken aan een voorbeeld van een lineaire regressieoefening
- Logistieke regressietheorie leren
- Implementatie van een logistieke regressiecode
- Werken aan een voorbeeld van een logistieke regressieoefening
Inzicht in Random Forests en beslissingsbomen
- Boommethodentheorie leren
- Implementatie van beslisbomen en Random Forest codes
- Werken aan een voorbeeld Random Forest Classificatie-oefening
Werken met K- betekent Clusteren
- Het begrijpen van K-betekent Clustering Theorie
- Het implementeren van een K-means Clustering Code
- Werken aan een voorbeeld van een clusteroefening
Werken met aanbevelingssystemen
Implementatie van natuurlijke taalverwerking
- Begrijpen Natural Language Processing (NLP)
- Overzicht van NLP-tools
- Werken aan een voorbeeld NLP-oefening
Streamen met Spark aan Python
- Overzicht Streamen met Spark
- Voorbeeld Spark Streaming Oefening
Slotopmerkingen
Requirements
- Algemene programmeervaardigheden
Publiek
- Ontwikkelaars
- IT-professionals
- Datawetenschappers
Getuigenissen (2)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Cursus - Python and Spark for Big Data (PySpark)
The course was about a series of very complex related topics & Pablo has in-depth expertise of each of them. Sometimes nuances were lost in communication and/or due to time pressures and possibly expectations were not quite met due to this. Also there were some UHG/Azure Databricks setup issues however Pablo / UHG resolved these quickly once they became apparent - this to me showed a high level of understanding and professionalism between UHG & Pablo,