Nous proposons dans cet article une solution pour améliorer le système actuel de surveillance médicale en Unité de Soins Intensifs (USIs) cardiologique grâce à un système de reconnaissance automatique d'activités humaines. Une approche de vidéo surveillance multicaméras est proposée à cet effet et permet l'acquisition des données pour l'analyse et l'interprétation automatique de la scène. Cette dernière est basée sur le Modèle de Markov Caché (MMC) avec une durée d'état explicite et intégrant une gestion de la structure hiérarchique interne des scénarios. Plusieurs séries d'expérimentations sont effectuées sur le nouveau système de surveillance proposé en USIs et démontre ainsi la nécessité d'une surveillance assistée par ordinateur des patients afin d'aider les médecins surveillants et les cliniciens dans le processus de prise de décision. De plus, le MMC temporel offre une solution très adaptée pour la reconnaissance automatique des événements en USIs. Enfin, les résultats obtenus avec le modèle de MMC temporel et hiérarchique ont été comparés à ceux des MMC classiques.