Formation Classification audio et détection d'événements avec le ML

Fondamentaux de la classification audio

• Types d'événements sonores: environnementaux, mécaniques, générés par l'homme
• Vue d'ensemble des cas d'usage: surveillance, monitoring, automatisation
• Classification audio par rapport à la détection et à la segmentation

Données audio et extraction de caractéristiques

• Types de fichiers et de formats audio
• Considérations sur la fréquence d'échantillonnage, la fenêtre, la taille de trame
• Extraction des MFCC, des caractéristiques chroma, des mélospectrogrammes

Préparation des données et annotation

• UrbanSound8K, ESC-50 et jeux de données personnalisés
• Étiquetage des événements sonores et des limites temporelles
• Équilibrage des jeux de données et augmentation audio

Construction de modèles de classification audio

• Utilisation de réseaux de neurones convolutifs (CNN) pour l'audio
• Entrée du modèle: onde brute par rapport aux caractéristiques
• Fonctions de perte, métriques d'évaluation et surapprentissage

Détection d'événements et localisation temporelle

• Stratégies de détection par trame et par segment
• Post-traitement des détections à l'aide de seuils et de lissage
• Visualisation des prédictions sur les franges temporelles audio

Sujets avancés et traitement en temps réel

• Apprentissage par transfert pour les scénarios à faibles données
• Déploiement de modèles avec TensorFlow Lite ou ONNX
• Traitement audio en flux continu et considérations sur la latence

Développement de projet et scénarios d'application

• Conception d'un pipeline complet: de l'ingestion à la classification
• Développement d'une preuve de concept pour la surveillance, le contrôle qualité ou le monitoring
• Journalisation, alertes et intégration avec des tableaux de bord ou des API

Résumé et prochaines étapes