Sqoop and Flume for Big Data Training Cursus

In deze door een instructeur geleide, live training leren deelnemers hoe ze een Data Vault kunnen bouwen.

Aan het einde van deze training kunnen deelnemers:

• Begrijp de architectuur- en ontwerpconcepten achter Data Vault 2.0 en de interactie ervan met Big Data, NoSQL en AI.
• Gebruik datakluistechnieken om auditing, tracering en inspectie van historische gegevens in een datawarehouse mogelijk te maken.
• Ontwikkel een consistent en herhaalbaar ETL-proces (Extract, Transform, Load).
• Bouw en implementeer zeer schaalbare en herhaalbare magazijnen.

Deze door een instructeur geleide, live training (op locatie of op afstand) is gericht op data-ingenieurs, datawetenschappers en programmeurs die Spark Streaming functies willen gebruiken bij het verwerken en analyseren van realtime gegevens.

Aan het einde van deze training kunnen deelnemers Spark Streaming gebruiken om live datastromen te verwerken voor gebruik in databases, bestandssystemen en live dashboards.

Deze instructeur-geleide, live training in België (op locatie of op afstand) is gericht op ontwikkelaars die Apache Kafka streamverwerking willen implementeren zonder code te schrijven.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Confluent KSQL.
• Zet een streamverwerkingspijplijn op met alleen SQL-opdrachten (geen Java- of Python-codering).
• Voer datafiltering, transformaties, aggregaties, joins, windowing en sessionization volledig in SQL uit.
• Ontwerp en implementeer interactieve, continue queries voor het streamen van ETL en realtime analyses.

Deze door een instructeur geleide, live training in België (op locatie of op afstand) is gericht op ontwikkelaars die de principes achter persistente en pure in-memory opslag willen leren terwijl ze de stap zetten naar het maken van een voorbeeld van een in-memory computing-project.

Aan het einde van deze training kunnen deelnemers:

Gebruik Ignite voor persistentie in het geheugen, op schijf en voor een puur gedistribueerde database in het geheugen. Bereik persistentie zonder gegevens terug te synchroniseren naar een relationele database. Gebruik Ignite om SQL en gedistribueerde joins uit te voeren. Verbeter de prestaties door gegevens dichter bij de CPU te plaatsen en RAM als opslag te gebruiken. Verspreid datasets over een cluster om horizontale schaalbaarheid te bereiken. Integreer Ignite met RDBMS-, NoSQL-, Hadoop- en machine learning-processors.

Apache Beam is een open source, uniform programmeermodel voor het definiëren en uitvoeren van parallelle pijplijnen voor gegevensverwerking De kracht zit hem in de mogelijkheid om zowel batch- als streamingpijplijnen uit te voeren, waarbij de uitvoering wordt uitgevoerd door een van Beam's ondersteunde backends voor gedistribueerde verwerking: Apache Apex, Apache Flink, Apache Spark en Google Cloud Dataflow Apache Beam is nuttig voor ETL-taken (Extract, Transform en Load), zoals het verplaatsen van gegevens tussen verschillende opslagmedia en gegevensbronnen, het transformeren van gegevens in een meer wenselijk formaat en het laden van gegevens op een nieuw systeem In deze live training met instructor (op locatie of op afstand) leren deelnemers hoe de Apache Beam SDK's in een Java- of Python-toepassing kunnen worden geïmplementeerd die een gegevensverwerkingspijplijn definieert voor het decomposeren van een grote dataset in kleinere chunks voor onafhankelijke, parallelle verwerking Aan het einde van deze training kunnen deelnemers: Installeer en configureer Apache Beam Gebruik een enkel programmeermodel om zowel batch- als streamverwerking uit te voeren met behulp van hun Java- of Python-toepassing Voer pijpleidingen uit in meerdere omgevingen Publiek ontwikkelaars Formaat van de cursus Gedeeltelijke lezing, deelbespreking, oefeningen en zware handsonoefeningen Notitie Deze cursus zal in de toekomst beschikbaar zijn voor Scala Neem contact met ons op om dit te regelen .

Apache Apex is een YARNnative-platform dat stream- en batchverwerking combineert Het verwerkt grote datainmotion op een manier die schaalbaar, performant, faulttolerant, stateful, veilig, gedistribueerd en eenvoudig te bedienen is Deze geinspireerde live training introduceert de uniforme stream-processingarchitectuur van Apache Apex en leidt deelnemers door de creatie van een gedistribueerde applicatie met Apex op Hadoop Aan het einde van deze training kunnen deelnemers: Begrijp gegevensverwerkingspijplijnconcepten zoals aansluitingen voor bronnen en putten, algemene gegevenstransformaties, enz Bouw, schaal en optimaliseer een Apex-applicatie Verwerk realtime datastreams betrouwbaar en met minimale latency Gebruik Apex Core en de Apex Malhar-bibliotheek om snelle applicatie-ontwikkeling mogelijk te maken Gebruik de Apex API om bestaande Java-code te schrijven en opnieuw te gebruiken Integreer Apex in andere applicaties als een verwerkingsengine Stem, test en schaal Apex-toepassingen Publiek ontwikkelaars Enterprise architecten Formaat van de cursus Gedeeltelijke lezing, deelbespreking, oefeningen en zware handsonoefeningen .

Apache Storm is een gedistribueerde, real-time computing engine gebruikt om real-time business intelligence te vergemakkelijken. Dit gebeurt door toepassingen in staat te stellen onbeperkte gegevensstromen betrouwbaar te verwerken (bv. de stroomverwerking).

"Storm is voor real-time verwerking wat Hadoop is voor batch verwerking!"

In deze instructeur geleide live training zullen de deelnemers leren hoe te installeren en configureren Apache Storm, vervolgens een Apache Storm applicatie ontwikkelen en implementeren voor het verwerken van grote gegevens in real-time.

Enkele van de onderwerpen die in deze training zijn opgenomen, zijn:

• Apache Storm in de context van Hadoop
• Werken met onbeperkte gegevens
• voortdurende berekening
• Realtime analyse
• Distribueerde RPC en ETL verwerking

Vraag deze cursus nu!

Het publiek

• Software en ETL ontwikkelaars
• Mainframe professionals
• Data wetenschappers
• Big data analisten
• [ 1 ] Professionals

Format van de cursus

• Deel lezing, deel discussie, oefeningen en zware praktijken

In deze door een instructeur geleide, live training in België (op locatie of op afstand), leren deelnemers hoe ze Apache NiFi kunnen implementeren en beheren in een live labomgeving.

Aan het einde van deze training kunnen deelnemers:

• Installeer en configureer Apachi NiFi.
• Verzamel, transformeer en beheer gegevens uit ongelijksoortige, gedistribueerde gegevensbronnen, waaronder databases en big data-meren.
• Automatiseer gegevensstromen.
• Schakel streaminganalyse in.
• Pas verschillende benaderingen toe voor gegevensopname.
• Transformeer Big Data en naar zakelijke inzichten.

In deze door een instructeur geleide, live training leren deelnemers de basisprincipes van flow-gebaseerd programmeren terwijl ze een aantal demo-extensies, componenten en processors ontwikkelen met behulp van Apache NiFi.

Aan het einde van deze training kunnen deelnemers:

• Begrijp de architectuur- en datastroomconcepten van NiFi.
• Ontwikkel extensies met behulp van NiFi en API's van derden.
• Op maat ontwikkelen van hun eigen Apache Nifi-processor.
• Neem realtime gegevens op uit ongelijksoortige en ongebruikelijke bestandsformaten en gegevensbronnen en verwerk deze.

Deze door een instructeur geleide, live training (op locatie) introduceert de principes en benaderingen achter gedistribueerde stream- en batchgegevensverwerking, en begeleidt deelnemers bij het creëren van een realtime datastreamingapplicatie in Apache Flink.

Aan het einde van deze training kunnen deelnemers:

Zet een omgeving op voor het ontwikkelen van data-analyseapplicaties. Begrijp hoe de grafiekverwerkingsbibliotheek van Apache Flink (Gelly) werkt. Pakket, voer uit en bewaak Flink-gebaseerde, fouttolerante datastreaming-applicaties. Beheer diverse werklasten. Voer geavanceerde analyses uit. Stel een Flink-cluster met meerdere knooppunten in. Meet en optimaliseer prestaties. Integreer Flink met verschillende Big Data systemen. Vergelijk de mogelijkheden van Flink met die van andere raamwerken voor big data-verwerking.

In deze door een instructeur geleide, live training leren deelnemers hoe ze Python en Spark samen kunnen gebruiken om big data te analyseren terwijl ze aan praktische oefeningen werken.

Aan het einde van deze training kunnen deelnemers:

• Leer hoe u Spark met Python kunt gebruiken om Big Data te analyseren.
• Werk aan oefeningen die praktijkgevallen nabootsen.
• Gebruik verschillende tools en technieken voor big data-analyse met PySpark.

In deze door een instructeur geleide, live training leren deelnemers over het technologieaanbod en de implementatiebenaderingen voor het verwerken van grafiekgegevens. Het doel is om objecten uit de echte wereld, hun kenmerken en relaties te identificeren, deze relaties vervolgens te modelleren en ze als gegevens te verwerken met behulp van een Graph Computing (ook bekend als Graph Analytics) aanpak. We beginnen met een breed overzicht en beperken ons tot specifieke tools terwijl we een reeks casestudies, praktische oefeningen en live implementaties doorlopen.

Aan het einde van deze training kunnen deelnemers:

• Begrijp hoe grafiekgegevens worden bewaard en doorlopen.
• Selecteer het beste raamwerk voor een bepaalde taak (van grafische databases tot raamwerken voor batchverwerking).
• Implementeer Hadoop, Spark, GraphX en Pregel om graph computing parallel uit te voeren op veel machines.
• Bekijk big data-problemen uit de echte wereld in termen van grafieken, processen en traversals.

Formaat van de cursus

• Interactieve lezing en discussie.
• Veel oefeningen en oefeningen.
• Praktische implementatie in een live-labomgeving.

Opties voor cursusaanpassing

• Als u een training op maat voor deze cursus wilt aanvragen, kunt u contact met ons opnemen om een afspraak te maken.

MLlib is Spark's machine learning (ML) bibliotheek. Het doel is om praktische machine learning schaalbaar en eenvoudig te maken. Het bestaat uit algemene leeralgoritmen en hulpprogramma's, waaronder classificatie, regressie, clustering, collaboratieve filtering, vermindering van de dimensionaliteit, evenals optimalisatieprimitieven op een lager niveau en pijplijn-API's op een hoger niveau.

Het is verdeeld in twee pakketten:

• spark.mllib bevat de originele API gebouwd bovenop RDD's.

• spark.ml biedt een API op een hoger niveau gebouwd bovenop DataFrames voor het construeren van ML-pijpleidingen.

Publiek

Deze cursus is bedoeld voor ingenieurs en ontwikkelaars die een ingebouwde machinebibliotheek voor Apache Spark

Kennisontdekking in databases (KDD) is het proces van het ontdekken van nuttige kennis uit een verzameling van gegevens. Real-life toepassingen voor deze data mining techniek omvatten marketing, fraude detectie, telecommunicatie en productie.

In deze instructeur geleide, live cursus introduceren we de processen die betrokken zijn bij KDD en voeren we een reeks oefeningen uit om de implementatie van die processen te beoefenen.

Het publiek

• Data-analisten of iemand die geïnteresseerd is in het leren hoe gegevens te interpreteren om problemen op te lossen

Format van de cursus

• Na een theoretische discussie over KDD zal de instructeur real-life gevallen presenteren die de toepassing van KDD vragen om een probleem op te lossen. Deelnemers bereiden, selecteren en schoonmaken samengestelde gegevens en gebruiken hun voorafgaande kennis van de gegevens om oplossingen te voorstellen op basis van de resultaten van hun waarnemingen.