Abstract
This paper suggests an approach to the semantic image analysis for application in computer vision systems. The aim of the work is to develop a method for automatically construction of a semantic model, that formalizes the spatial relationships between objects in the image and research thereof. A distinctive feature of this model is the detection of salient objects, due to which the construction algorithm analyzes significantly less relations between objects, which can greatly reduce the image processing time and the amount of resources spent for processing. Attention is paid to the selection of a neural network algorithm for object detection in an image, as a preliminary stage of model construction. Experiments were conducted on test datasets provided by Visual Genome database, developed by researchers from Stanford University to evaluate object detection algorithms, image captioning models, and other relevant image analysis tasks. When assessing the performance of the model, the accuracy of spatial relations recognition was evaluated. Further, the experiments on resulting model interpretation were conducted, namely image annotation, i.e. generating a textual description of the image content. The experimental results were compared with similar results obtained by means of the algorithm based on neural networks algorithm on the same dataset by other researchers, as well as by the author of this paper earlier. Up to 60 % improvement in image captioning quality (according to the METEOR metric) compared with neural network methods has been shown. In addition, the use of this model allows partial cleansing and normalization of data for training neural network architectures, which are widely used in image analysis among others. The prospects of using this technique in situational monitoring are considered. The disadvantages of this approach are some simplifications in the construction of the model, which will be taken into account in the further development of the model.
Highlights
Задача анализа изображений в системах технического зрения стоит сегодня достаточно остро
Соответствующими наиболее часто встречающимся синонимами из WordNet, и полученные аннотации сравниваются с эталонными при помощи метрики METEOR [13], которую в данном контексте можно рассматривать как оценку качества аннотирования
Результаты детекции объектов в эксперименте принимаются за верные, если совпадает метка класса, различия в выделении областей принимаются за несущественные в данном контексте
Summary
В данной работе предлагается подход к семантическому анализу изображений, который можно использовать в системах технического зрения. Целью работы является разработка метода автоматического построения семантической модели, формализующей пространственные связи между объектами на изображении, а также ее исследование. Отличительной особенностью данной модели является определение значимых объектов, благодаря чему алгоритм построения анализирует на порядок меньше отношений между объектами, что позволяет существенно сократить время обработки изображения и объем используемых ресурсов. Проведены эксперименты на тестовых наборах их базы Visual Genome, разработанной исследователями из Стэнфордского университета для оценки алгоритмов детекции объектов, аннотирования регионов и других актуальных задач анализа изображений. Использование данной модели позволяет частично очистить и нормализовать данные для обучения, в том числе нейросетевых архитектур, широко применяющихся в анализе изображений. Подход к анализу изображений для систем технического зрения.
Sign-in/Register to view highlights & summary Sign-in/Register to access full text options 
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callDisclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
