聆思CSK6大模型開(kāi)發(fā)板英語(yǔ)評測類(lèi)開(kāi)源SDK詳解

離線(xiàn)英文評測算法SDK能力簡(jiǎn)介

CSK6 大模型開(kāi)發(fā)套件可以對用戶(hù)通過(guò)語(yǔ)音輸入的英文單詞進(jìn)行精準識別，并對單詞的發(fā)音、錯讀、漏讀、多讀等方面進(jìn)行評估，進(jìn)行音素級的識別，根據用戶(hù)的發(fā)音給出相應的建議和糾正，幫助用戶(hù)更好地掌握單詞的發(fā)音。

離線(xiàn)單詞評測 算法具備以下特性：

●支持單詞評測，評測準確率98%以上

●支持音素級識別

●支持單詞發(fā)音評分

●支持識別無(wú)效評測音頻

功能交互展示

視覺(jué)語(yǔ)音大模型AI開(kāi)發(fā)套件（https://docs2.listenai.com/x/nTn9kMMCUSDK ）配套了離線(xiàn)英文評測這一示例工程，文本將對本示例工程進(jìn)行說(shuō)明。

1.固件運行后，可以在顯示屏上看到 單詞評測 的圖標，點(diǎn)擊圖標即可進(jìn)入單詞評測應用：

2.目前固件提供了三種單詞、短語(yǔ)、句子評測模式，點(diǎn)擊對應選項課進(jìn)入對應的模式：

3.以單詞評測為例，進(jìn)入該模式后，固件將給出若干個(gè)英文單詞，可點(diǎn)擊右下角評測按鈕進(jìn)行評測：

4.對著(zhù)開(kāi)發(fā)套件讀出單詞后，點(diǎn)擊右下角圖標結束評測，固件將給出此次評測的結果：

離線(xiàn)英譯中SDK

能力簡(jiǎn)介

基于transformer模型，使用聆思科技開(kāi)源的AI生態(tài)工具鏈LNN(ListenAI Neural Network)，完成中英翻譯任務(wù)的訓練、量化、模型轉換、仿真調試等一系列步驟，并實(shí)現在聆思CSK6芯片上進(jìn)行推理。

SDK提供的示例集成了這個(gè)模型，可以讓聆思CSK6開(kāi)發(fā)板實(shí)現英譯中功能，可用于體驗離線(xiàn)翻譯功能。

觸摸屏UI交互翻譯

固件燒錄完畢后，程序將自動(dòng)運行，您也可以通過(guò)復位按鍵(RST)對程序進(jìn)行復位，復位后的UI界面如下：

●點(diǎn)擊畫(huà)面中心的輸入框，可通過(guò)屏幕上顯示的鍵盤(pán)輸入句子

●點(diǎn)擊輸入框左側的按鈕，可隨機填入一句演示的句子

●點(diǎn)擊下方翻譯按鈕，即可輸出改句子的中文翻譯

UART串****互翻譯

本示例也支持通過(guò)串口 UART 進(jìn)行離線(xiàn)翻譯，操作如下：

●打開(kāi) 聆思在線(xiàn)串口終端(https://tool.listenai.com/serial-term/)，選擇開(kāi)發(fā)板對應的串口，點(diǎn)擊連接

在下方輸入框輸入待翻譯的英文內容，點(diǎn)擊發(fā)送按鈕，即可在接收區查看到翻譯后的中文結果。

離線(xiàn)字母拼讀算法SDK

能力簡(jiǎn)介

CSK6 大模型開(kāi)發(fā)套件可以對用戶(hù)的語(yǔ)音輸入進(jìn)行字母(a~z)的識別，通過(guò)語(yǔ)音拼讀單詞字母，快速準確地查詢(xún)單詞的發(fā)音和含義，可應用于掃描詞典筆、單詞卡、學(xué)習機等產(chǎn)品。

可以對用戶(hù)的語(yǔ)音輸入進(jìn)行字母(a~z)的識別，通過(guò)語(yǔ)音拼讀單詞字母，快速準確地查詢(xún)單詞的發(fā)音和含義。

功能交互展示

聆思 CSK6 大模型開(kāi)發(fā)套件出廠(chǎng)集成提供了字母拼讀算法的示例，長(cháng)按即可加載示例進(jìn)行使用，無(wú)需聯(lián)網(wǎng)。

1.固件運行后，可以在顯示屏上看到操作提示詞：

2.按住按鍵進(jìn)行單詞拼讀：

3.拼讀完成后，固件將會(huì )給出單詞的發(fā)音和含義：

SDK資源下載

以上3個(gè)離線(xiàn)英語(yǔ)評測SDK可以在以下地址下載：

1、 語(yǔ)音視覺(jué)大模型開(kāi)發(fā)板 SDK：https://cloud.listenai.com/CSKG962172/duomotai_ap/-/tree/master/

●字母拼讀：apps目錄下，工程目錄名稱(chēng)為 lcd_wsp

●英文評測： apps目錄下，工程目錄名稱(chēng)為 lcd_csps

●英譯中： apps/thinker_service目錄下，工程目錄名稱(chēng)為 translation

2、離線(xiàn)英譯中transformer模型項目地址：GitHub - dwzhang00/Offline-translation: An offline translation model based on transformer

補充開(kāi)發(fā)板信息

開(kāi)發(fā)板具備豐富語(yǔ)音圖像功能與硬件外設的開(kāi)發(fā)板，采用有著(zhù)豐富組件生態(tài)的 Zephyr RTOS 作為操作系統，默認配套開(kāi)箱即玩的 AI 應用，也可以配合聆思的模型訓練推理工具 LNN 將自己的算法模型部署至芯片上，構建自己的 AI 應用，開(kāi)發(fā)板詳情參考：https://docs2.listenai.com/x/nTn9kMMCU