聆思CSK6大模型開(kāi)發(fā)板語(yǔ)音喚醒加載GIF動(dòng)畫(huà)

本篇文章主要介紹基于聆思CSK6大模型開(kāi)發(fā)板的語(yǔ)音交互多模態(tài)實(shí)例進(jìn)行二次開(kāi)發(fā)，實(shí)現在語(yǔ)音喚醒后在屏幕展示GIF動(dòng)畫(huà)表情。

● 通過(guò)LGVL官網(wǎng)的工具將GIF轉換為適合嵌入式系統使用的格式

● 基于SDK源代碼進(jìn)行修改

● 開(kāi)發(fā)板編譯與燒錄

在開(kāi)始實(shí)操之前，我們部署開(kāi)發(fā)環(huán)境以及SDK工程拉取到本地目錄，可以參考聆思文檔中心環(huán)境搭建 | 聆思文檔中心與獲取大模型套件SDK | 聆思文檔中心。

SDK下載完成后，通過(guò)VScode打開(kāi)audio_recognition_online示例模板 （D:\LISTENAI\duomotai_ap\apps\audio_recognition_online）根據自己的SDK保存路徑打開(kāi)

打開(kāi)src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c

這里原示例中是語(yǔ)音喚醒之后加載語(yǔ)音喚醒“小聆”之后用來(lái)模擬聲音的波浪型gif動(dòng)畫(huà)，如果我們想要它加載其他GIF動(dòng)畫(huà)，例如“會(huì )動(dòng)的眼睛”，只需要將你想要替換的GIF動(dòng)畫(huà)的格式在LVGL官網(wǎng)轉換為C語(yǔ)言數組，然后將這部分替換即可。（這里的使用的GIF分辨率為96×36）

打開(kāi)LVGL官網(wǎng)(Image Converter — LVGL)，

（我這里是翻譯了****，若網(wǎng)頁(yè)為英文版，按照順序點(diǎn)擊即可）點(diǎn)擊低電壓保護器v8，選擇你想要轉換的GIF，選擇顏色格式。這里demo中支持的GIF顏色格式為CF_RAW_CHROMA

轉變之后打開(kāi)下載的c文件，復制全部代碼粘貼到audio_recognition_online\src\app_ui\demo_ui\images\ui_img_anim_speak_gif_c路徑下，粘貼之后需要檢查以下三個(gè)地方：

這里我們示例模板中的GIF儲存名稱(chēng)為ui_img_anim_speak_gif ,所以要將代碼中名稱(chēng)的部分與GIF.C文件名稱(chēng)統一?？梢灾苯訌椭铺鎿Q對應位置即可

#ifndef LV_ATTRIBUTE_IMG_ANIM_SPEAK

#define LV_ATTRIBUTE_IMG_ANIM_SPEAK

#endif

const LV_ATTRIBUTE_MEM_ALIGN LV_ATTRIBUTE_LARGE_CONST LV_ATTRIBUTE_IMG_ANIM_SPEAK uint8_t anim_speak_map[] = {

const lv_img_dsc_t ui_img_anim_speak_gif= {

  .header.cf = LV_IMG_CF_RAW_CHROMA_KEYED,

  .header.always_zero = 0,

  .header.reserved = 0,

  .header.w = 96,

  .header.h = 36,

  .data_size = 6028,

  .data = anim_speak_map,

};

本文使用的聆思CSK6大模型開(kāi)發(fā)板，詳細信息可參考線(xiàn)上文檔https://docs2.listenai.com/x/nTn9kMMCU

1、  打開(kāi) windows powershell/cmd

2、在LISTENAI\duomotai_ap路徑下輸入，開(kāi)始編譯固件

lisa zep build -b csk6_duomotai_devkit apps\audio_recognition_online -p

3、固件編譯成功之后，輸入進(jìn)行燒錄

lisa zep exec cskburn -s \\.\COM串口號 -C 6 -b 1500000 0x000000 --verify-all .\build\zephyr\zephyr.bin