00后之光!4名高中生開(kāi)發(fā)的這款App,讓視障人群重獲出行自由
撰文:奇仔
編審:李雪薇
你體驗過(guò)盲人的世界嘛?是一片漆黑還是充滿(mǎn)了馬賽克?
我們每天所見(jiàn)都習以為常:白天灰色的混凝土森林,夜里五彩斑斕的霓虹,如果我們失去了這些習以為常,生活又會(huì )發(fā)生什么改變?
騰訊天美團隊曾經(jīng)就開(kāi)發(fā)過(guò)這樣一款還原盲人眼中世界的游戲——《見(jiàn)》,除了必要的操作輪盤(pán)和象征觸感的白色輪廓,《見(jiàn)》幾乎全部都是由黑色組成,玩家需要扮演一名盲人,用盲杖和摸索的方式感受物體輪廓,尋找出行的道路,體驗盲人一天的生活。
盡管開(kāi)發(fā)團隊還是適當調整了通關(guān)難度,但在視野近乎為盲人世界的游戲中,依舊無(wú)法容易地完成游戲任務(wù)。
然而事實(shí)上,盲人的生活要比游戲中的體驗更加艱難。我們很難做到對他們的不易完全感同身受,但是盡可能地為他們提供幫助勢在必行。
近日,為了幫助視覺(jué)障礙人群更好地生活,一群高中生就打造了這樣一款針對視障人群的 iPhone 應用程序—Athiea。
Athiea 可以觀(guān)察用戶(hù)的環(huán)境,提高用戶(hù)的空間和安全意識。它的面部識別功能可以識別家人和朋友,內置文本閱讀器,可以?huà)呙鑶卧~并大聲朗讀。而掃描功能可識別、計數和精確定位用戶(hù)視野中的物體。
它還可以跟蹤自己的觀(guān)察結果。用戶(hù)可以詢(xún)問(wèn)所需物品的位置,Atheia 會(huì )用其所處位置、上次被識別的時(shí)間以及附近的物體來(lái)回應用戶(hù)的提問(wèn)。
此外,它的搜索功能還可以通過(guò)給與用戶(hù)觸覺(jué)反饋和音頻指令引導用戶(hù)找到環(huán)境中的物體。
啟發(fā):計算機視覺(jué)
“我們注意到,計算機視覺(jué)領(lǐng)域已經(jīng)達到可以非常準確地檢測物體,并像人類(lèi)一樣描述場(chǎng)景的地步,”Choi 說(shuō)?!笆艿皆摷夹g(shù)的啟發(fā),我們改善了技術(shù)的可及性,使得其更好地應用到為視障人群提供視覺(jué)輔助這一現實(shí)場(chǎng)景中?!?br />
Atheia 可以回答許多真實(shí)世界中的問(wèn)題,例如物體的形狀和大小或一天中的時(shí)間。
當感到自己處于危險的環(huán)境中時(shí),用戶(hù)可以通過(guò)語(yǔ)音命令或按下按鈕來(lái)激活應用程序的哨兵模式。Atheia 將開(kāi)始錄制視頻,向緊急聯(lián)系人發(fā)送實(shí)時(shí)更新,并向聯(lián)系人提供用戶(hù)的位置。
這群年輕人于 2019 年開(kāi)始著(zhù)手該項目的研究。在獲得工作原型之前,他們嘗試了許多不同的產(chǎn)品形式。
該應用程序現在正由馬里蘭州盲人工業(yè)與服務(wù)公司的志愿者進(jìn)行測試,這是一家位于巴爾的摩的非營(yíng)利組織,為該州的視障人士提供培訓和職業(yè)資源。
為這群優(yōu)秀的年輕人進(jìn)行指導工作的是 IEEE 成員 Pamela Ahn,她是學(xué)校電子研究實(shí)驗室的主任,也是 IEEE Richmond (Va.) Section Women in Engineering affinity group 的創(chuàng )始人兼總裁。
“這四個(gè)孩子想為世界帶來(lái)改變,”Ahn 說(shuō)?!八麄兿霂椭鷦e人,這是從一個(gè)非常無(wú)私的立場(chǎng)出發(fā)的。他們很聰明、很勤奮、很專(zhuān)注?!?/span>
技術(shù)的構建
這款 APP 以信息處理渠道、搜索和避障算法,旨在達到低延遲和高精度執行用戶(hù)請求的目的。該應用程序使用最新的計算機視覺(jué)模型和機器學(xué)習技術(shù)來(lái)提高其對對象進(jìn)行分類(lèi)的準確性。
它還包括一個(gè)領(lǐng)先的對象檢測模型,一個(gè)用于視覺(jué)和語(yǔ)言研究的多模態(tài)框架,一個(gè)視覺(jué)問(wèn)答程序和一個(gè)文本識別算法。
數據在移動(dòng)設備上本地處理,而不是通過(guò)云服務(wù)進(jìn)行處理,所以無(wú)論是否有蜂窩信號,都可以滿(mǎn)足用戶(hù)請求。
“通過(guò)測試,我們意識到無(wú)論用戶(hù)身在何處,服務(wù)才是最重要的,”Ravella 說(shuō)。"將我們龐大而沉重的計算機視覺(jué)模型轉換為可以在 iPhone 上運行是一個(gè)巨大的挑戰。但是,多虧了iPhone的神經(jīng)引擎,讓這一切有了實(shí)現的可能。"
Ravella 說(shuō),該應用程序目前僅在 iOS 上可用,因為 iPhone 是測試該設備的人中最受歡迎的,并且該軟件具有更多的輔助功能。他說(shuō),它還允許同學(xué)們將硬件開(kāi)發(fā)轉移到蘋(píng)果身上,更多地關(guān)注軟件,因為蘋(píng)果擁有出色的 iPhone 相機、深度技術(shù)、處理能力和電池壽命。
市場(chǎng)上的盲人輔助設備可能高達 6000 美元,但 Atheia 用戶(hù)每月只需花費約10美元的訂閱費即可。
重視用戶(hù)反饋
同學(xué)們第一次嘗試使用輔助設備時(shí)戴著(zhù)帶攝像頭的手套,但這次實(shí)驗并沒(méi)有成功,因為它是在沒(méi)有潛在用戶(hù)輸入的情況下設計的。
“我們陷入了一個(gè)許多人都會(huì )遇到的陷阱,”Choi 說(shuō),“我們首先創(chuàng )建了一個(gè)解決方案,然后找到了匹配的確切問(wèn)題,但這些問(wèn)題并不是你用這些設備應該去解決的問(wèn)題”。由于 疫情的限制,他們無(wú)法進(jìn)行面對面的采訪(fǎng),于是孩子們在 Facebook 上發(fā)帖尋找有視力障礙的志愿者,向他們咨詢(xún)視障人群的首要需求。
“他們愿意給我們反饋,還激勵我們不斷創(chuàng )新,對我們的研究十分期待,”Ravella 說(shuō)。
根據這些反饋,團隊放棄了手套,開(kāi)始開(kāi)發(fā)腕戴式和頭戴式設備,并最終開(kāi)發(fā)移動(dòng)應用程序。他們確保獲得有關(guān)他們六個(gè)原型中每個(gè)原型的輸入。
為了了解要使用哪些技術(shù),Ahn 幫助學(xué)生從包括 IEEE Spectrum 在內的各種 IEEE出 版物中獲取研究文章。
在花費數百美元購買(mǎi)零件并支付軟件費用后,孩子們找到了合作伙伴來(lái)幫助支付開(kāi)發(fā)成本。他們的合作伙伴包括 Amazon Web Services,Maximus 基金會(huì ),麻省理工學(xué)院的輔助技術(shù)部門(mén)和 Ultralytics。
年輕的研發(fā)者們對于未來(lái)的暢想
提到未來(lái)的職業(yè)暢想,四位同學(xué)不約而同地表示,他們都打算從事 STEM 職業(yè)。
Ravella 說(shuō),他想研究機器學(xué)習在網(wǎng)絡(luò )安全中的應用。在 MITRE 和哥倫比亞大學(xué)實(shí)習期間,他了解到黑客闖入物聯(lián)網(wǎng)設備過(guò)于容易,讓人十分擔憂(yōu)。
Nafi 想參與計算機視覺(jué)研究,其中融合了"物理學(xué)的混合體"。他曾在達特茅斯學(xué)院從事數字病理學(xué)研究。
Choi 依舊想從事計算機視覺(jué)方面的職業(yè)。他非常喜歡 Atheia 項目,以及他在喬治梅森大學(xué)(George Mason University)實(shí)習期間使用計算機視覺(jué)開(kāi)發(fā)的另一個(gè)項目。
Khondaker 表示他想在人工智能領(lǐng)域繼續深耕。他說(shuō),他喜歡開(kāi)發(fā) Atheia 以客戶(hù)為中心的方面,因為“你正在結識你正在為之設計項目的人”。
目前這款 APP 已經(jīng)擁有了自己的主頁(yè),里面詳盡地介紹了該項目的推進(jìn)過(guò)程及應用技術(shù)。
只有當你真正地陷入黑暗,感覺(jué)自己與社會(huì )脫軌,才會(huì )理解盲人朋友們的孤獨感。
目前市面上擁有視障功能的 APP 依舊存在很多問(wèn)題,城市盲道規劃也不被重視。而這款 APP 的出現,無(wú)疑為視障人群帶來(lái)了福音。即使它看起來(lái)還略顯稚嫩,但它依然是一款充滿(mǎn)了社會(huì )責任感的好產(chǎn)品。
相信未來(lái),這四位少年學(xué)有所成后,會(huì )將這款視障人群“好幫手”帶向需要他們的人手里,幫助千千萬(wàn)萬(wàn)的視覺(jué)障礙人士更好地生活。
參考鏈接:
https://spectrum.ieee.org/iphone-app-for-visually-impaired
https://www.atheia.org/
來(lái)源:學(xué)術(shù)頭條
*博客內容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權請聯(lián)系工作人員刪除。