聆思CSK6開(kāi)發(fā)板大模型視覺(jué)識別類(lèi)開(kāi)源SDK介紹
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對面交流
海量資料庫查詢(xún)
大模型開(kāi)發(fā)板除了語(yǔ)音交互之外，還配套有大模型拍照識圖和坐姿檢測、人臉識別、活體識別、頭肩跟隨、手勢識別、物體分類(lèi)等七個(gè)線(xiàn)視覺(jué)識別方面的交互示例等。
聯(lián)網(wǎng)使用 | 大模型圖片分析+拍照 |
離線(xiàn)識別 | 坐姿檢測、人臉識別、活體識別、頭肩跟隨、手勢識別、物體分類(lèi) |
SDK介紹
1、 大模型語(yǔ)音交互+拍照識圖SDK
SDK功能
● 語(yǔ)音交互：支持按鍵錄音或喚醒后通過(guò)語(yǔ)音與大模型進(jìn)行對話(huà)
● 拍照識圖：支持通過(guò)攝像頭拍攝圖像并上傳給大模型進(jìn)行識別，支持依據識圖內容進(jìn)行提問(wèn)
● 圖片生成：支持通過(guò)語(yǔ)音交互描述畫(huà)面內容，令大模型生成圖片并顯示至套件屏幕上
拍照識圖
在待機頁(yè)，點(diǎn)擊拍照按鈕即可進(jìn)入取景頁(yè)面，對準要拍照的物體，點(diǎn)擊右側中間的拍照鍵完成抓拍，確認畫(huà)面抓拍正常后（無(wú)晃動(dòng)模糊的情況），點(diǎn)擊右側的 √ 進(jìn)行提交識別。
識別結果：
2、 坐姿檢測SDK
算法簡(jiǎn)介
CSK6 大模型開(kāi)發(fā)套件可檢測圖像中人物的坐姿情況，并對各種不良的坐姿進(jìn)行識別，當畫(huà)面中有坐姿信息時(shí)，顯示屏上將實(shí)時(shí)對人物的關(guān)鍵骨骼點(diǎn)進(jìn)行標注并顯示該人物的包含手、身體狀態(tài)在內的坐姿檢測結果，結果包含一下內容：
● 手狀態(tài)：正常/下垂/撐臉
● 身體狀態(tài)：正常/趴桌/傾斜/駝背/離席
CSK6 芯片支持運行 坐姿檢測 AI算法，具備以下特性：
● 硬件上僅需配合 30W 像素鏡頭模組，性?xún)r(jià)比出色
● 純離線(xiàn)運行算法，無(wú)需聯(lián)網(wǎng)，保障隱私
● 檢測準確率 ＞ 97%，響應時(shí)間 ＜ 18ms
● 識別距離：推薦 40cm ~ 60cm, 建議不超過(guò) 110cm
3、 人臉識別SDK
人臉識別算法簡(jiǎn)介
人臉識別 算法具備以下特性：
● 支持檢測圖像中人臉信息，選取畫(huà)面中分值最高的人臉，返回人臉邊界框、人臉標定點(diǎn)、頭部姿態(tài)角度、人臉識別特征等
● 人臉標定點(diǎn)支持68個(gè)關(guān)鍵點(diǎn)檢測
● 頭部姿態(tài)角度支持pitch、roll、yaw三個(gè)角度
● 支持特征比較：將檢測到的人臉特征值和本地存儲的人臉特征值輸入算法進(jìn)行比對， 并返回比對結果
應用場(chǎng)景
離線(xiàn)人臉識別適用于網(wǎng)絡(luò )條件不穩定、無(wú)網(wǎng)、數據安全性要求高、人臉庫較?。?0人以下）單臺設備的人臉識別場(chǎng)景。常見(jiàn)于人臉門(mén)禁、小型企業(yè)考勤機、自助終端設備等。
算法效果指標數據
識別效果
在1m距離內，測試特征底庫10個(gè)，人臉識別效果分別為：
識別能力 | 識別率 | 虛警率 |
人臉識別 | 95% | 0.1% |
人臉標定 | 平均誤差(NME)約為0.04 |
頭部姿態(tài) | 模型預測平均偏差約為±3° |
全流程耗時(shí) | 100ms以?xún)?/span> |
使用介紹
人臉識別示例工程的使用
調用人臉識別算法，可以通過(guò)開(kāi)發(fā)板上的按鍵操作進(jìn)行人臉注冊、臉識別，并通過(guò)圖像預覽工具查看攝像頭的畫(huà)面與輸出結果。
固件功能說(shuō)明
程序運行后，默認會(huì )在屏幕上顯示實(shí)時(shí)的攝像頭畫(huà)面并在畫(huà)面中使用方框實(shí)時(shí)標注出人臉，并通過(guò)方框的顏色指示不同的識別狀態(tài)。
可以按照以下流程進(jìn)行人臉識別功能的使用：
● Step1：檢測到人臉 (屏幕顯示黃色框 / 開(kāi)發(fā)板LED亮黃色)
● Step2：按K1按鍵注冊當前人臉特征 (屏幕 registered參數增加1 /開(kāi)發(fā)板LED閃爍藍色)
● Step3：按K2對當前人臉進(jìn)行識別比對
○ 識別通過(guò)：屏幕顯示綠色框 / 開(kāi)發(fā)板LED亮綠色
○ 識別未通過(guò)：屏幕顯示紅色框 / 開(kāi)發(fā)板LED亮紅色
LED指示狀態(tài)
● 黃色：檢測到人臉
● 綠色：人臉特征比對通過(guò)
● 紅色：人臉特征比對未通過(guò)
按鍵功能
● K1：錄入當前檢測到的人臉特征
● K2：將當然的人臉特征與之前錄入的特征進(jìn)行比較
● K3：開(kāi)關(guān)攝像頭紅外補光燈(安裝紅外攝像頭時(shí))
4、 活體識別
功能說(shuō)明
需要搭配帶補光燈的紅外攝像頭，結合人臉識別算法，實(shí)現對活體的檢測。
程序運行后，默認會(huì )在屏幕上顯示實(shí)時(shí)的攝像頭畫(huà)面并在畫(huà)面中使用方框實(shí)時(shí)標注出人臉，并通過(guò)方框的顏色指示不同的識別狀態(tài)。
1.注冊人臉
當LED為黃色時(shí)(檢測到人臉)，按動(dòng)K1按鍵，此時(shí)將會(huì )錄入當前檢測到的人臉特征，錄入成功后，可看到屏幕上顯示的registered 數量增加1，說(shuō)明本次錄入已完成并加入人臉特征庫。
2.比對人臉
當LED為黃色時(shí)(檢測到人臉)，按動(dòng)K2按鍵，此時(shí)固件會(huì )將當前攝像頭前檢測到的人臉與已錄入的人臉特征進(jìn)行比對，若對比成功(命中已錄入的人臉特征)，屏幕中圈中人臉的框將變?yōu)榫G色，同時(shí)開(kāi)發(fā)板上的LED顏色將變?yōu)榫G色，表示人臉特征比對通過(guò)，并在屏幕上顯示匹配的人臉特征序號(id)與評分(score)。
若比對不通過(guò)，即當前人臉未在人臉特征庫中錄入過(guò)，屏幕中圈中人臉的框將變?yōu)榧t色，同時(shí)開(kāi)發(fā)板上的LED顏色將變?yōu)榧t色，表示人臉特征比對通過(guò)。
3.串口日志的查看
本示例同樣支持串口日志的打印，可通過(guò)連接開(kāi)發(fā)板上的DAP_USB 并使用串口工具打開(kāi)對應的串口設備進(jìn)行日志查看，默認波特率 115200，伴隨著(zhù) 人臉?shù)浫?/span>、人臉比對等操作，可看到日志串口有對應的結果輸出。
5、頭肩跟隨+手勢識別SDK
頭肩跟隨
頭肩算法介紹
檢測圖像中所有人體的頭肩位置，返回每個(gè)頭肩的唯一id、位置坐標、檢測得分等；
● 通過(guò)攝像頭實(shí)時(shí)獲取圖像并在屏幕上進(jìn)行預覽顯示
● 在屏幕展示的畫(huà)面中標注頭肩檢測和手勢識別的結果與評分
手勢識別
通過(guò)頭肩檢測識別用戶(hù)的手勢，返回當前目標的手勢、得分等；
支持5種手勢，分別為L(cháng)IKE(
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
