Audio-classificatie en evenementdetectie met ML Training Cursus

Fundamenten van audioclassificatie

• Soorten geluidsevenementen: omgevingsgeluiden, mechanisch, door de mens veroorzaakt
• Overzicht van toepassingen: toezicht, monitoring, automatisering
• Audioclassificatie versus detectie versus segmentatie

Gegevens en functie-extractie van audio

• Soorten audio bestanden en formaten
• Overweegingen over sample rate, vensterfuncties en framegrootte
• Extraheren van MFCC's, chroma-functies en mel-spectrogrammen

Datavoorbereiding en annotatie

• UrbanSound8K, ESC-50 en aangepaste datasets
• Labels toekennen aan geluidsevenementen en tijdsranden
• Balanseren van datasets en audio-augmentatie

Bouwen van modellen voor audioclassificatie

• Gebruik van convolutionele neuralnetwerken (CNN's) voor audio
• Modelingang: ruwe golfvorm versus functies
• Verliesfuncties, evaluatiemetingen en overfitting

Evenementdetectie en tijdelijke lokaliseren

• Detectiestrategieën op basis van frames en segmenten
• Post-processing van detecties met drempelwaarden en gladstrijken
• Visualiseren van voorspellingen op audiotijdslijnen

Geavanceerde onderwerpen en verwerking in realtime

• Transfer learning voor scenario's met weinig data
• Implementatie van modellen met TensorFlow Lite of ONNX
• Stromende audiobewerking en overwegingen rondom latencie

Projectontwikkeling en toepassingscenario's

• Ontwerpen van een volledige pipeline: van opname tot classificatie
• Ontwikkelen van een proof-of-concept voor toezicht, kwaliteitscontrole of monitoring
• Loggen, waarschuwen en integratie met dashboards of APIs

Samenvatting en verdere stappen