Temporal and Hierarchical HMM for Activity Recognition Applied in Visual Medical Monitoring using a Multi-Camera System

Abstract

We address in this paper an improved medical monitoring system through an automatic recognition of human activity in Intensive Care Units (ICUs). A multi camera vision system approach is proposed to collect video sequence for automatic analysis and interpretation of the scene. The latter is performed using Hidden Markov Model (HMM) with explicit state duration combine at the management of the hierarchical structure of the scenario. Significant experiments are carried out on the proposed monitoring system in a hospital's cardiology section in order to prove the need for computer-aided patient supervision to help clinicians in the decision making process. Temporal and hierarchical HMM handles explicitly the state duration and then provides a suitable solution for the automatic recognition of temporal events. Finally, the use of Temporal HMM (THMM) based approach improves the scenario recognition performance compared to the result of standard HMM models. Nous proposons dans cet article une solution pour améliorer le système actuel de surveillance médicale en Unité de Soins Intensifs (USIs) cardiologique grâce à un système de reconnaissance automatique d'activités humaines. Une approche de vidéo surveillance multicaméras est proposée à cet effet et permet l'acquisition des données pour l'analyse et l'interprétation automatique de la scène. Cette dernière est basée sur le Modèle de Markov Caché (MMC) avec une durée d'état explicite et intégrant une gestion de la structure hiérarchique interne des scénarios. Plusieurs séries d'expérimentations sont effectuées sur le nouveau système de surveillance proposé en USIs et démontre ainsi la nécessité d'une surveillance assistée par ordinateur des patients afin d'aider les médecins surveillants et les cliniciens dans le processus de prise de décision. De plus, le MMC temporel offre une solution très adaptée pour la reconnaissance automatique des événements en USIs. Enfin, les résultats obtenus avec le modèle de MMC temporel et hiérarchique ont été comparés à ceux des MMC classiques.