基于Novatek NT98568 + OmniVision OS04E10實(shí)現Preroll方案
加入技術(shù)交流群
聯(lián)詠 NT98568 是一款高度整合的系統單芯片 (SoC)，專(zhuān)為邊緣 IP 攝影機應用設計，適用于 2Mp 至 8Mp 的解決方案。其特點(diǎn)包括卓越的影像品質(zhì)、低碼率、低功耗，以及支援 preroll 和 always-on video 模式，特別適合電池供電的應用場(chǎng)景。
本文引用地址：http://dyxdggzs.com/article/202501/466487.htmNT98568 整合了雙核心 ARM Cortex-A7 CPU、新一代 ISP、H.265/H.264 視訊壓縮編解碼器、硬體 DLA 模組、圖形引擎、視訊處理引擎 (VPE) 和顯示控制器。此外，還具備乙太網(wǎng)路、USB 2.0 主機/設備、音訊編解碼器、RTC 和 SD/SDIO 3.0 等周邊功能，提供高性?xún)r(jià)比的全方位邊緣攝影機解決方案，滿(mǎn)足各類(lèi)智慧應用需求。
在 Pre-Roll 功能方面，NT98568 能夠持續將影像緩存到記憶體中，當觸發(fā)事件發(fā)生時(shí)，可以保留事件發(fā)生前的影像資料。這項功能對于捕捉完整事件場(chǎng)景特別重要，確保不會(huì )錯過(guò)任何關(guān)鍵時(shí)刻。搭配 OmniVision OS04E10 感光元件，更可實(shí)現優(yōu)異的低光源表現，為電池供電的智慧門(mén)鈴和居家安全攝影機提供理想的解決方案。
Sensor 介紹
OmniVision OS04E10 是一款具有 2K2K（2048x2048）分辨率的正方形 CMOS 圖像感測器，專(zhuān)為 1:1 長(cháng)寬比的超廣角安防攝影機，如吸頂或魚(yú)眼鏡頭應用而設計。其獨特的數字浮水印功能可防止視訊源被篡改，確保影像的真實(shí)性和可靠性。此感測器支援 512p 常開(kāi)低功耗模式，不僅可即時(shí)捕捉快速移動(dòng)的視訊，還能實(shí)現優(yōu)異的 Pre-roll 視訊錄制功能，特別適合需要長(cháng)時(shí)間待機的電池供電設備。
在8051系統下，可以進(jìn)行512x512分辨率的影片錄制，總共20幀（7幀/秒，錄制3秒）。當Preroll感測器偵測到物體移動(dòng)時(shí)，會(huì )觸發(fā)'md hits'功能，直接進(jìn)入fastboot 2.0。在RTOS階段，所有Preroll幀會(huì )被編碼成H26x位元流，可于后續在HDAL階段取得。
系統流程
Preroll流程圖
Pre-roll的流程說(shuō)明如下，系統上電后，會(huì )先執行RTOS部分
進(jìn)入RTOS，啟動(dòng)8051 Preroll功能
8051開(kāi)始產(chǎn)生壓縮后的preroll影像，RTOS進(jìn)入power-off狀態(tài)
當sensor偵測到動(dòng)作后，開(kāi)始喚醒系統
載入Linux
進(jìn)行快速編碼
準備RTOS環(huán)境，并行以下任務(wù)
釋放RTOS資源并與Linux SMP同步
同時(shí)間Linux部分流程為
開(kāi)啟sensor
進(jìn)行分辨率調整
等待并跳轉至Linux
Linux開(kāi)機
等待RTOS并入Linux SMP
執行application
當偵測的事件處理完成后，可再回到preroll模式等待下個(gè)事件發(fā)生
執行過(guò)程
在開(kāi)機過(guò)程中，系統最初從RTOS啟動(dòng)，當控制臺日志停在'notify 8051 shut'時(shí)，表示系統已進(jìn)入preroll模式并正在錄制影片。
當感測器偵測到物體移動(dòng)（在感測器前揮手）并觸發(fā)'md hits'功能時(shí)，系統會(huì )轉換到RTOS系統。此時(shí)，控制臺日志會(huì )顯示'Hello RTOS World! CPU[1]'。隨后，當看到日志顯示'is_fastboot = 1'時(shí)，表示系統已進(jìn)入Fastboot 2.0模式。
當日志顯示'fastboot_version = 2'時(shí)，表示這是Fastboot 2.0版本，同時(shí)也代表RTOS階段即將結束。當系統切換到Linux系統時(shí)，日志會(huì )顯示'%%Booting Linux on physical CPU 0x0'。
當Linux開(kāi)機程序完成后，系統會(huì )進(jìn)入shell界面，顯示'root@NVTEVM:~$'提示符號。
接著(zhù)可以執行preroll AP 'preroll_fastboot 1 0'指令，取得preroll位元流檔案'dump_bs_preroll_0.dat'和主要位元流檔案'dump_bs_main_0.dat'。
當AP執行時(shí)，按下'p'鍵會(huì )讓8051進(jìn)入preroll模式，在此期間main part會(huì )關(guān)閉電源。當感測器偵測到動(dòng)作時(shí)，系統將重復上述流程。
Q＆A
Q1. 是否支援外部PSRAM？
A：是。
Q2. 系統主頻為多少？
A：800 Mhz。
Q3. NT98568可支援多大容量的記憶體？
A：根據型號的不同，有以下規格
568QC/QD - 1024(Mb)/2048(Mb)
568QB - 512(Mb)。
Q4. 目前preroll功能僅支援OS04E10嗎？
A：還有支援 GalaxyCore GC4103。
Q5. preroll模式喚醒后開(kāi)機需時(shí)多久？
A：在lower power模式下需200ms。
?場(chǎng)景應用圖
?產(chǎn)品實(shí)體圖
?展示板照片
?方案方塊圖
?核心技術(shù)優(yōu)勢
1. 提供完整SDK予客戶(hù)使用 2. Preroll模式可降低功耗，延長(cháng)待機時(shí)間 3. 整合CNN，實(shí)現邊緣運算
?方案規格
1. 芯片核心 Dual Cortex-A7 2. 內嵌8051 MCU 3. AI運算力是0.5T 4. 電源輸入是12V/2A 5. Kernel version：Linux 5.10.168 6. 結合影像和語(yǔ)音編解碼器
評論