Formation Classification audio et détection d'événements avec le ML

Fondements de la classification audio

• Types d'événements sonores : environnementaux, mécaniques, générés par l'homme
• Aperçu des cas d'usage : surveillance, monitoring, automatisation
• Classification audio vs détection vs segmentation

Données audio et extraction de caractéristiques

• Types de fichiers et formats audio
• Considérations sur le taux d'échantillonnage, le fenêtrage et la taille des cadres
• Extraction des MFCC, des caractéristiques chromatiques et des mélo-spectrogrammes

Préparation et annotation des données

• Joues de données UrbanSound8K, ESC-50 et personnalisées
• Annotation des événements sonores et des limites temporelles
• Équilibrage des jeux de données et augmentation audio

Construction de modèles de classification audio

• Utilisation de réseaux de neurones convolutifs (CNN) pour l'audio
• Entrée du modèle : onde brute vs caractéristiques
• Fonctions de perte, métriques d'évaluation et sur-apprentissage

Détection d'événements et localisation temporelle

• Stratégies de détection basées sur les cadres et les segments
• Post-traitement des détections à l'aide de seuils et de lissage
• Visualisation des prédictions sur des franges chronologiques audio

Sujets avancés et traitement en temps réel

• Apprentissage par transfert pour les scénarios à faible volume de données
• Déploiement de modèles avec TensorFlow Lite ou ONNX
• Processing audio en flux et considérations sur la latence

Développement de projets et scénarios d'application

• Conception d'un pipeline complet : de l'ingestion à la classification
• Développement d'une preuve de concept pour la surveillance, le contrôle qualité ou le monitoring
• Journalisation, alertes et intégration avec des tableaux de bord ou des API

Synthèse et prochaines étapes