Accelerated MIPI CSI video stream acquision in tasks of real-time video streaming

Autor: M. S. Holub, A. Y. Varfolomieiev, O. V. Kuzhylnyi, T. A. Khodniev, O. М. Lysenko
Jazyk: ukrajinština
Rok vydání: 2020
Předmět:
Zdroj: Visnyk NTUU KPI Seriia-Radiotekhnika Radioaparatobuduvannia; 82; 35-43
Вестник НТУУ" КПИ ". Серия радиотехника Радиоаппаратостроение; 82; 35-43
Вісник НТУУ "КПІ". Серія Радіотехніка, Радіоапаратобудування; 82; 35-43
ISSN: 2310-0397
2310-0389
Popis: In present study the challenges of reducing transmission latencies of a real-time video stream acquired from cameras connected via the MIPI CSI interface were addressed. In the study, the main components of the video stream acquisition/transmission latency are given, the degree of their contribution to the total latency was analyzed, the assessment on the potential ability to influence them when developing a real-time video stream acquisition/transmission systems was given. The issues connected with using the frame buffering in such systems are designated, primarily the impact on the total latency value when having a framebuffer in such a system. The limitations of the existing MIPI module implementations of some ARM microprocessors resulting in latency increase for MIPI CSI camera video stream acquisition were characterized. The structural and functional organization based on the use of digital streaming buses, fragmentation of video frames and DMA transactions for MIPI CSI video stream acquisition systems was proposed, which does not require the use of framebuffers and, as a result, provides the possibility of reducing the overall video stream acquisition latency. The proposed structural and functional organization could be implemented based on SoC-FPGA solutions, including the use of the existing IP-cores. Pragmatic peculiar features were described and the corresponding expression for estimating the limiting value of the latency for the proposed structural and functional organization was given. For experimental verification, a prototype of the video stream acquisition/transmission system, based on the Zynq-7000 SoC-FPGA family of Xilinx following the proposed structural and functional organization was created. Its specifics and corresponding features of its implementation were discussed in the paper. The performance of the obtained prototype was estimated, and the possible directions towards further reduction of the overall latency of video stream acquisition/transmission were considered. The results of the study may prove useful to reduce the latencies of the video streams acquired from MIPI CSI cameras in real-time video stream transmission systems based on SoC-FPGA.
В работе рассмотрены вопросы уменьшения задержек передачи видеопотока в реальном времени с камер, предусматривающих подключение через интерфейс MIPI CSI. Приведены основные составляющие задержки регистрации/передачи видеопотока, проанализирована степень их вклада в суммарную задержку, дана оценка возможности потенциального воздействия на них при разработке систем регистрации/передачи видеопотока реального времени. Обозначена проблематика, связанная с применением покадровой буферизации в таких системах, главным образом, воздействие наличия покадровой буферизации в системе на величину суммарной задержки. Охарактеризованы ограничения реализаций модулей MIPI, приводящие к увеличению задержек регистрации видеопотока с MIPI CSI камер в некоторых ARM-микропроцессорах. Предложена структурно-функциональная организация систем регистрации MIPI CSI видеопотока с использованием потоковых цифровых шин, фрагментации кадров видеопотока и DMA транзакций, которая не требует использования покадровой буферизации и, соответственно, позволяет уменьшить суммарную задержку регистрации видеопотока. Предложенная структурно-функциональная организация может быть реализована на основе SoC-FPGA решений, в том числе, с использованием существующих IP-ядер. Приведены прагматические особенности и соответствующее оценочное выражение для определения ограничений величины задержки при использовании предложенных решений. Для экспериментальной проверки, создан прототип системы регистрации/передачи видеопотока на основе SoC-FPGA Xilinx семейства Zynq-7000, в соответствии с предложенной структурно-функциональной организацией, рассмотрена его специфика и соответствующие особенности реализации. Дана оценка полученному быстродействию прототипа и рассмотрены возможные направления дальнейшего уменьшения суммарной задержки регистрации/передачи видеопотока. Результаты работы могут быть использованы для уменьшения задержек регистрации видеопотока с MIPI CSI камер в системах видеопередачи реального времени на основе SoC-FPGA.
В роботі розглянуто питання зменшення затримок передачі відеопотоку в реальному часі з камер, що передбачають підключення через інтерфейс MIPI CSI. Наведено основні складові затримки реєстрації/передачі відеопотоку, проаналізовано міру їхнього внеску в сумарну затримку, дано оцінку можливості потенційного впливу на них при розробці систем реєстрації/передачі відеопотоку реального часу. Окреслено проблематику, пов’язану з застосуванням буферизації в таких системах, головним чином, вплив наявності в системі покадрової буферизації на величину сумарної затримки. Охарактеризовано обмеження реалізацій модулів MIPI, що призводять до збільшення затримок реєстрації відеопотоку з MIPI CSI камер в певних ARM-мікропроцесорах. Запропоновано структурно-функціональну організацію систем реєстрації MIPI CSI відеопотоку з застосуванням потокових цифрових шин, фрагментації кадрів відеопотоку та DMA транзакцій, що не потребує використання покадрової буферизації та, відповідно, дозволяє зменшити сумарну затримку реєстрації відеопотоку. Запропоновану структурно-функціональну організацію може бути реалізовано на базі SoC-FPGA рішень, в тому числі, з використанням існуючих IP-ядер. Наведено прагматичні особливості та відповідний оціночний вираз для визначення обмежень величини затримки при застосуванні запропонованих рішень. Для експериментальної перевірки, створено прототип системи реєстрації/передачі відеопотоку на основі SoC-FPGA Xilinx сімейства Zynq-7000 відповідно до запропонованої структурно-функціональної організації, розглянуто його специфіку та особливості реалізації. Дано оцінку отриманій швидкодії прототипу та розглянуто можливі напрямки подальшого зменшення сумарної затримки реєстрації/передачі відеопотоку.Результати роботи можуть бути використані для зменшення величини затримок реєстрації відеопотоку з MIPI CSI камер в системах відеопередачі реального часу на основі SoC-FPGA.
Databáze: OpenAIRE
Externí odkaz: