Abstract
This article presents a software and hardware solution to the problem of analyzing the emotional state of people in public places by analyzing the emotional state of people using smart cameras. The article describes technologies for creating smart cameras for semantic image analysis based on the Russian ELcore cores. The stages of semantic image analysis with the purpose of detecting faces and recognizing their emotional state are considered, the most resource‑intensive algorithms on DSP‑cores ELcore, developed by R&D Center ELVEES, are identified and implemented. The general path of image processing on DSPcores of ELcore for the purpose of detecting faces and recognizing the emotional state is no more than 32 ms. It meets the requirements for real‑time signal processing and can be used in cameras for «smart» ecosystems.
Highlights
Обработка информацииДля цитирования: Семантические процессоры серии «Мультикор» для анализа эмоционального состояния человека / Е
Введение В настоящее время задача определения эмо‐ ционального состояния человека приобретает все большую актуальность в связи с развитием робото‐ техники, растущими рынками товаров и услуг и кон‐ куренцией на них, а также совершенствованием технических характеристик повседневно используе‐ мой техники
Стек программного обеспечения «умной» камеры на основе семантических процессоров MCom‐03 фреймворк для работы с видеопотоком и управ‐ лением элементами камеры, включая питание, ос‐ новные функции которого заключаются в приеме видеокадров, аналитической обработке, передаче информации по протоколу RTSP и WebRTC, веде‐ нии видеоархива, воспроизведении архива, а также передаче метаданных и событий
Summary
Для цитирования: Семантические процессоры серии «Мультикор» для анализа эмоционального состояния человека / Е. СЕМАНТИЧЕСКИЕ ПРОЦЕССОРЫ СЕРИИ «МУЛЬТИКОР» ДЛЯ АНАЛИЗА ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ЧЕЛОВЕКА. Рассмотрены этапы семантического анализа изображений с целью обнаружения лиц и распознавания их эмоционального состояния, выделены и реализованы наиболее ресурсоемкие алгоритмы на DSP-ядрах ELcore, разработанных НПЦ «ЭЛВИС». Общий тракт обработки изображений на DSP-ядрах ELcore с целью обнаружения лиц и распознавания эмоционального состояния составляет не более 32 мс. В настоящей статье предлагается решение, в ко‐ тором эмоциональное состояние человека опреде‐ ляется на основе видео- и аудиоинформации с по‐ мощью анализа лица и голоса, так как такой подход наиболее соответствует условиям эксплуатации умных камер на рынке безопасных экосистем (без‐ опасный город, безопасный аэропорт, безопасный транспорт и др.). Целью работы является решение задач обнару‐ жения лиц и распознавания их эмоционального со‐ стояния при обеспечении высокой эффективности обработки информации с использованием аппарат‐ ных преимуществ отечественных DSP-ядер ELcore для применения во встраиваемых системах реаль‐ ного времени, таких как умные камеры
Sign-in/Register to view highlights & summary Sign-in/Register to access full text options 
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a call
