Abstract
In present study the challenges of reducing transmission latencies of a real-time video stream acquired from cameras connected via the MIPI CSI interface were addressed. In the study, the main components of the video stream acquisition/transmission latency are given, the degree of their contribution to the total latency was analyzed, the assessment on the potential ability to influence them when developing a real-time video stream acquisition/transmission systems was given. The issues connected with using the frame buffering in such systems are designated, primarily the impact on the total latency value when having a framebuffer in such a system. The limitations of the existing MIPI module implementations of some ARM microprocessors resulting in latency increase for MIPI CSI camera video stream acquisition were characterized. The structural and functional organization based on the use of digital streaming buses, fragmentation of video frames and DMA transactions for MIPI CSI video stream acquisition systems was proposed, which does not require the use of framebuffers and, as a result, provides the possibility of reducing the overall video stream acquisition latency. The proposed structural and functional organization could be implemented based on SoC-FPGA solutions, including the use of the existing IP-cores. Pragmatic peculiar features were described and the corresponding expression for estimating the limiting value of the latency for the proposed structural and functional organization was given. For experimental verification, a prototype of the video stream acquisition/transmission system, based on the Zynq-7000 SoC-FPGA family of Xilinx following the proposed structural and functional organization was created. Its specifics and corresponding features of its implementation were discussed in the paper. The performance of the obtained prototype was estimated, and the possible directions towards further reduction of the overall latency of video stream acquisition/transmission were considered. The results of the study may prove useful to reduce the latencies of the video streams acquired from MIPI CSI cameras in real-time video stream transmission systems based on SoC-FPGA.
Highlights
ПроблематикаВ системах, що отримують потiк вiдео з камери, пiдключеної через iнтерфейс MIPI CSI, здiйснюють його попередню обробку та подальшу передачу кiнцевому пристрою-приймачу, сумарна затримка передачi вiдеопотоку може бути оцiнена, виходячи з (1): TDΣ = TDcam + TDif + TDpp + TDtx,.
Виходячи з тої ж прагматики, що була зазначена вище, необхiдною умовою для зменшення даної затримки є забезпечення використання лише тих операцiй попередньої обробки, якi пiдтримують обробку вiдео в потоковому режимi, не потребуючи при цьому повної буферизацiї кожного вiдеокадру.
Встановлено, що бiльшiсть таких мiкропроцесорiв (наприклад, сiмейства i.MX6 компанiї NXP чи сiмейства AM57x компанiї Texas Instruments), в мiру особливостей апаратної реалiзацiї їхнiх модулiв MIPI CSI або взагалi не пiдтримують захоплення вiдеопотоку MIPI-камери без його буферизацiї в процесi, або не мають належної пiдтримки такого функцiоналу на рiвнi низькорiвневих програмних компонентiв системи (вiдповiднi модулi ядра Linux тощо) [12, 13].
Summary
В системах, що отримують потiк вiдео з камери, пiдключеної через iнтерфейс MIPI CSI, здiйснюють його попередню обробку та подальшу передачу кiнцевому пристрою-приймачу, сумарна затримка передачi вiдеопотоку може бути оцiнена, виходячи з (1): TDΣ = TDcam + TDif + TDpp + TDtx,. Виходячи з тої ж прагматики, що була зазначена вище, необхiдною умовою для зменшення даної затримки є забезпечення використання лише тих операцiй попередньої обробки, якi пiдтримують обробку вiдео в потоковому режимi, не потребуючи при цьому повної буферизацiї кожного вiдеокадру. Встановлено, що бiльшiсть таких мiкропроцесорiв (наприклад, сiмейства i.MX6 компанiї NXP чи сiмейства AM57x компанiї Texas Instruments), в мiру особливостей апаратної реалiзацiї їхнiх модулiв MIPI CSI або взагалi не пiдтримують захоплення вiдеопотоку MIPI-камери без його буферизацiї в процесi, або не мають належної пiдтримки такого функцiоналу на рiвнi низькорiвневих програмних компонентiв системи (вiдповiднi модулi ядра Linux тощо) [12, 13]. Структурно-функцiональна органiзацiя та принципи побудови таких систем розглядаються в роботi надалi
Sign-in/Register to view highlights & summary Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callMore From: Visnyk NTUU KPI Seriia - Radiotekhnika Radioaparatobuduvannia
Disclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
