Plan du cours

Fondements de la Classification Audio

  • Types d'événements sonores : environnementaux, mécaniques, générés par l'homme
  • Aperçu des cas d'utilisation : surveillance, monitoring, automation
  • Classification audio vs détection vs segmentation

Données Audio et Extraction de Caractéristiques

  • Types de fichiers audio et formats
  • Taux d'échantillonnage, fenêtrage, considérations sur la taille des cadres
  • Extraction de MFCCs, caractéristiques chromatiques, mélospectrogrammes

Préparation et Annotation des Données

  • UrbanSound8K, ESC-50 et ensembles de données personnalisés
  • Etiquetage d'événements sonores et limites temporelles
  • Balancement des ensembles de données et augmentation audio

Construction de Modèles de Classification Audio

  • Utilisation de réseaux neuronaux convolutifs (CNNs) pour l'audio
  • Entrée du modèle : onde sonore brute vs caractéristiques
  • Fonctions de perte, métriques d'évaluation et surapprentissage

Détection d'Événements et Localisation Temporelle

  • Stratégies de détection basées sur les trames et les segments
  • Traitement post-détection en utilisant des seuils et du lissage
  • Visionnage des prédictions sur les chronologies audio

Sujets Avancés et Traitement en Temps Réel

  • Apprentissage par transfert pour les scénarios à faible volume de données
  • Déploiement de modèles avec TensorFlow Lite ou ONNX
  • Traitement d'audio en flux et considérations sur la latence

Développement du Projet et Scénarios d'Application

  • Conception d'une chaîne complète : ingestion à classification
  • Développement de preuves de concept pour surveillance, contrôle qualité ou monitoring
  • Journaux, alertes et intégration avec des tableaux de bord ou des API

Résumé et Prochains Pas

Pré requis

  • Une compréhension des concepts de l'apprentissage automatique et de la formation des modèles
  • Expérience en programmation Python et prétraitement des données
  • Familiarité avec les fondamentaux de l'audio numérique

Cible

  • Scientifiques des données
  • Ingenieurs en apprentissage automatique
  • Rechercheurs et développeurs en traitement du signal audio
 21 Heures

Nombre de participants


Prix ​​par Participant

Cours à venir

Catégories Similaires