Abstract
The paper deals with the task of creation and playback of panoramic video with 360-degree overview, which allows the researcher to be immersed in virtual medium outside parent virtual environment system (VES). To solve the task, the extension of the method is proposed, in which resolution is determined taking into account viewer camera field of view and screen resolution (Adequate Cubemap Projection, ACMP). The paper studies the influence of the camera orientation inside the cube on the cubemap pixel / screen pixel ratio determining panorama visualization quality. Based on this, a method to calculate resolution for high-quality panorama visualization for all possible camera orientations is proposed. The paper considers an efficient method and algorithm to create ACMP-video on the GPU using render-to-texture technology, which allow to synthesize panoramas with constant orientation or bound to the observer's view direction. In the research efficient methods and algorithms to play ACMP-video are also proposed, which are based on the visualization of visible cube faces and adaptive frame buffering. The obtained methods and algorithms are implemented in ACMP-video synthesis program complex (С++, OpenGL, FFmpeg) including frame capture module (embeddable into VES) and the player. The developed solution was tested in system «Virtual Earth» designed for training to observe Earth objects from the International Space Station (ISS). Using the capture module, an ACMP-video of the flight along the ISS orbit track was created. When playing this video, the trainee flies in orbit above virtual 3D surface of the Earth and can explore it by means of camera rotation. Testing of the complex confirmed the adequacy of the developed methods and algorithms to the task. The obtained scientific and practical results expand the capabilities and scope of application of VES, scientific visualization systems, video simulators and virtual laboratories; provide effective exchange of experience between researchers, etc.
Highlights
Efficient methods and algorithms to synthesize 360-degree video based on cubemap projection of virtual environment
Research interests: computer graphics, visualization, virtual environment systems
Summary
В настоящее время во многих важных научных и прикладных областях востребовано виртуальное окружение, в котором человек (оператор) может обучаться решению реальных задач и проводить исследования. Эффективные методы и алгоритмы синтеза видео 360 градусов на основе кубической проекции виртуального окружения. Для уменьшения искажений масштаба в работе [8] было предложено проецировать сферу на плоскость горизонтальными полосами приблизительно одинакового разрешения (длины таких полос авторы сокращают при приближении к полюсам), а области полюсов записывать в виде двух круговых изображений. В традиционной CMP все грани равнозначны (отсутствуют области полюсов с сильными искажениями масштаба), однако за счет перспективной проекции при приближении к ребрам и углам куба искажения изображения увеличиваются [10]. Одной из важных задач при реализации методов, основанных на CMP, является выбор разрешения кубической карты, обеспечивающего синтез качественных изображений. В данной работе предлагаются методы и алгоритмы решения этой задачи, основанные на расширении метода кубической проекции, при котором разрешение кубической карты определяется с учетом угла обзора камеры зрителя и разрешения экрана. В разд. 2 предлагается метод вычисления разрешения ACMP-карты, в разд. 3 и 4 рассматриваются методы и алгоритмы создания и воспроизведения ACMP-видео, а в разд. 5 приводятся результаты апробации программного комплекса, созданного на основе предложенных методов и алгоритмов
Sign-in/Register to view highlights & summary Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callMore From: Proceedings of the Institute for System Programming of the RAS
Disclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
