【OpenVINO】京東星鏈-邊緣端實(shí)時(shí)推薦商品

　　在線(xiàn)上商城日趨智能化數字化的發(fā)展中，如何推進(jìn)線(xiàn)下零售場(chǎng)景中的智能化轉變？伴隨著(zhù)物聯(lián)網(wǎng)應用進(jìn)一步演進(jìn)，越來(lái)越多實(shí)際場(chǎng)景要求數據本地存儲、隱私保護、低傳輸時(shí)延、低成本，邊緣計算技術(shù)因此迅猛發(fā)展。在2021 EdgeX中國挑戰賽中，京東星鏈團隊基于算法和邊緣計算技術(shù)，推出了邊緣端實(shí)時(shí)推薦商品應用方案，本方案獲得OpenVINO開(kāi)源組件特別獎。

　　本方案能夠幫助打造門(mén)店數字化智能營(yíng)銷(xiāo)，同時(shí)提升用戶(hù)購物體驗和趣味性，豐富門(mén)店的商品數量，提高營(yíng)銷(xiāo)轉化率。整個(gè)方案基于EdgeX API開(kāi)發(fā)平臺，并使用開(kāi)源工具OpenVINO進(jìn)行視覺(jué)圖像處理，不僅極大地降低了開(kāi)發(fā)過(guò)程的預算成本和時(shí)間成本，同時(shí)帶來(lái)高精度的識別率。下面簡(jiǎn)單介紹本方案使用到的模塊和算法。

基于EdgeX API開(kāi)發(fā)邊緣推薦系統

　　?采用前后端分離技術(shù)開(kāi)發(fā)，前端使用vue，后端使用golang開(kāi)發(fā)。

　　?基于edgeX2.0進(jìn)行開(kāi)發(fā)。

　　?使用openvino 2021.4.582版本上，進(jìn)行人臉檢測模型，人臉屬性模型（人臉特征、年齡、性別、口罩）的開(kāi)發(fā)。檢測加處理27ms以?xún)取?/p>

　　?開(kāi)發(fā)后臺系統配置標簽功能，錄入SKU，和對應的tag標簽，做ElasticSearch搜索和推薦，完成相關(guān)流程梳理和設計。

利用OpenVINO部署算法模型

　　模型選擇與優(yōu)化

　　?輕量的人臉檢測模型UltraFace

　　?基于ghostnet自研人臉屬性模型，實(shí)現單模型預測人臉特征、年齡、性別以及口罩，運算效率提高3倍。

　　模型移植與推理

　　?CPU&GPU：i7-7700HQ&HD Graphic 630

　　?模型轉換精度：FP32

　　?人臉檢測模型推理速度：10ms/張

　　?人臉屬性模型推理速度：10ms/張

　　?FP16與FP32速度基本一致

邊緣端-商品管理，支持離線(xiàn)推薦

　　在線(xiàn)下門(mén)店場(chǎng)景中，店員可以維護相關(guān)商品信息：

　　1.為了提高應用響應速度，使用ElasticSearch存儲，Skuid，圖片信息，價(jià)格，商品名稱(chēng)，匹配標簽性別，年齡段信息。

　　2.支持商品批量導入，單獨增加，刪除功能。

　　3.提供本地查詢(xún)，推薦接口，供前端H5頁(yè)面進(jìn)行訪(fǎng)問(wèn)。

　　4.接受算法推送消息，并做更新判斷邏輯處理。

隱私協(xié)議-授權后采集并推薦

　　根據國家政策提供隱私協(xié)議授權：

　　采集人臉信息是為了方便推薦適合的商品信息，提升用戶(hù)的購物體驗。在獲得用戶(hù)的同意下，僅會(huì )用作本地實(shí)時(shí)推薦，不會(huì )存儲用戶(hù)的任何信息，不會(huì )上報到云端。

本地推薦刷新接口代碼

模型推理，metadata設備注冊

　　京東星鏈團隊帶來(lái)的邊緣端實(shí)時(shí)推薦方案，利用物聯(lián)網(wǎng)、人工智能、計算機視覺(jué)等先進(jìn)技術(shù)，在靠近用戶(hù)側實(shí)現本地識別與云端算法推薦相結合，終端及云端協(xié)議適配、工作負載本地整合等功能，有效化解線(xiàn)下零售在數字化轉型過(guò)程中的困難與挑戰，幫助商家充分解決邊緣計算及物聯(lián)網(wǎng)平臺的技術(shù)難題。