Neem contact met ons op

Cursusaanbod

Introductie tot EXO en Lokale AI-clustering

  • Overzicht van het EXO-framework en het exo-explore-ecosysteem
  • Vergelijking van centrale cloud-inferentie versus gedistribueerde lokale inferentie
  • Architectuur: libp2p-apparaatdetectie, MLX-backend, dashboard en API-lagen
  • Hardwarevereisten: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, gedeelde opslag

EXO installeren op macOS

  • Xcode, Metal ToolChain en macOS-voorwaarden instellen
  • Installatie van uv, Node.js en Rust nightly toolchain
  • Installatie van de gelinkte macmon-fork voor Apple Silicon-monitoring
  • De repository klonen en het dashboard bouwen met npm
  • EXO uitvoeren vanuit broncode en het localhost:52415-dashboard verifiëren

EXO installeren op Linux

  • Afhankelijkheden installeren via apt of Homebrew op Linux
  • Configuratie van uv, Node.js 18+ en Rust nightly
  • Bouw van het dashboard en uitvoering van EXO in CPU-only-modus
  • Directory-indeling: XDG Base Directory-paden voor configuratie, data, cache en logs

Automatische Apparaatdetectie en Clusteropbouw

  • Understanding libp2p-gebaseerde auto-discovery over lokale netwerken
  • Aangepaste namespaces configureren met EXO_LIBP2P_NAMESPACE voor clusterisolerings
  • Verificatie van node-lidmaatschap in het dashboard-clusterweergave
  • Omgang met detectiefouten en netwerksegmentatieproblemen

RDMA inschakelen via Thunderbolt 5

  • RDMA-architectuur en de claims voor een reductie van 99% in latentie
  • RDMA inschakelen in macOS Herstelmodus met rdma_ctl
  • Kabeleisen en poorttopologie-beperkingen op Mac Studio
  • Matchende macOS-versies over alle cluster-nodes
  • Onderzoek van RDMD-detector en DHCP-configuratie

Implementatie van Geavanceerde Modellen

  • Brukking van het dashboard om DeepSeek v3.1, Qwen3-235B en Llama-familie-modellen te laden en te sharden
  • Voorvertoning van instance placements via de /instance/previews API-eindpunt
  • Aanmaken van model instances met pipeline of tensor-parallel sharding
  • Configuratie van aangepaste modelkaarten vanuit HuggingFace hub

Bewaking en Probleemoplossing

  • EXO-logbestanden lezen en begrip van gedistribueerde tracing opdoen
  • Clustergezondheid interpreteren in het dashboard-clusterweergave
  • Diagnose van worker node-fouten en herverbindingsgedrag
  • Brukking van EXO_TRACING_ENABLED voor analyse van performance bottlenecken

Clusteronderhoud en Updates

  • Update procedures voor EXO-binaries en dashboard herbouw
  • Migratie van model caches en beheer van voorafgedownloade modellen via NFS
  • Vakkundig verwijderen van nodes en herverdeling van werklasten

Vereisten

  • Vast begrip van netwerkbasisprincipes (IP, subnetting, firewalls)
  • Ervaring met macOS- of Linux-opdrachtregelbeheer
  • Kennis van Python-pakketbeheer (pip/uv) en Node.js-tools

Doelgroep

  • Systeembeheerders
  • DevOps-engineers
  • AI-infrastructuurarchitecten die verantwoordelijk zijn voor on-premise LLM-implementatie
 21 Uren

Aantal deelnemers


Prijs per deelnemer

Voorlopige Aankomende Cursussen

Gerelateerde categorieën