蘋(píng)果專(zhuān)利分享：在低光條件下的AR/VR手部交互追蹤操作方案

在低光條件下操作電子設備

低光條件會(huì )對XR設備造成影響，例如手勢識別和追蹤。所以在名為“Electronic device with a display for low light conditions”的專(zhuān)利申請中，蘋(píng)果就介紹了一種針對低光條件的應對方法。

圖5顯示了在低光條件下操作電子設備的示例過(guò)程。在510，與亮度標準相關(guān)聯(lián)的媒體項可選地顯示在朝內顯示器。例如，可以在朝內顯示器顯示電影，并且電影與代表暗閾值亮度的亮度標準相關(guān)聯(lián)。

在520，朝外照明模塊接收指示顯示設備的環(huán)境照明條件的信息。指示環(huán)境照明條件530的信息包括指示環(huán)境照明條件亮度的亮度信息535和指示環(huán)境照明條件顏色的顏色信息540。例如，亮度信息535可包括亮度等級，顏色信息540可包括色溫。

在550，朝外照明模塊確定環(huán)境照明條件是否滿(mǎn)足與在510中顯示的媒體項目相關(guān)聯(lián)的亮度標準。朝外照明模塊可將亮度信息535與亮度判據進(jìn)行比較，以確定是否滿(mǎn)足亮度判據。

確定560中的像素集可以任選地包括塊565和/或570。在565，朝外照明模塊可以基于來(lái)自注視點(diǎn)追蹤用戶(hù)界面的指示器來(lái)確定感興趣的區域。

在570，朝外照明模塊可以基于基于手勢的用戶(hù)界面的輸入區域確定感興趣區域。例如，基于手勢的用戶(hù)界面可以提供輸入區域的指示器。

在580，朝外照明模塊可以以亮度585和顏色540驅動(dòng)在560中確定的一組像素，以改善環(huán)境感興趣區域的照明。驅動(dòng)580中的像素集可以任選地包括590，其中，朝外照明模塊可以以亮度585驅動(dòng)在560中確定的像素集，使得滿(mǎn)足與在510中顯示的媒體項目相關(guān)聯(lián)的亮度標準。

由于環(huán)境照明信息530包含顏色信息540，所以朝外照明模塊165可以以匹配的顏色540驅動(dòng)顯示器中的像素集，從而使得用戶(hù)體驗到環(huán)境更舒服的照明。另外，朝外照明模塊可以確定最小亮度585，以使得環(huán)境照明的亮度535和顯示設備的亮度585的組合滿(mǎn)足亮度標準，而不會(huì )導致環(huán)境中的顏色感知為“褪色”。

圖6顯示了執行圖5示例過(guò)程500的電子設備。顯示設備210包括朝外顯示設備210A和朝內顯示設備210B，以及光學(xué)傳感器220。

所述朝內顯示設備210B和所述朝外顯示設備210A的定位使得來(lái)自所述朝內顯示設備210B的投影和來(lái)自所述朝外顯示設備210A的投影不相交。即朝內顯示設備210B和朝外顯示設備210A在環(huán)境中面向不同的方向。

在示例性操作環(huán)境600中，朝內顯示設備210B朝向用戶(hù)250，朝外顯示設備210A遠離用戶(hù)250朝向環(huán)境。朝內顯示設備210B可以顯示與特定亮度標準相關(guān)聯(lián)的媒體項目，例如用于黑暗電影院環(huán)境的電影媒體項目和相關(guān)亮度標準。

盡管與電影媒體項目相關(guān)聯(lián)的亮度標準可以對應于黑暗的電影院，但基于手勢的用戶(hù)界面可以具有代表閾值亮度的相關(guān)亮度標準，低于所述閾值亮度則無(wú)法識別手勢。

朝外照明模塊可沿朝外顯示設備210A的底部驅動(dòng)一組像素，以照亮基于手勢的用戶(hù)界面的輸入區域660和用戶(hù)250的手260。作為另一個(gè)示例，注視追蹤界面可以確定用戶(hù)250的注視650指向表桌子10之上的感興趣對象620。

然后，朝外照明模塊165可以驅動(dòng)朝外顯示設備210A的一組像素來(lái)照亮感興趣對象620。作為進(jìn)一步的示例，顯示設備210可以包括在頭顯中。

朝內顯示設備210B可用于向用戶(hù)250顯示內容，朝外顯示設備210A可用于向用戶(hù)250附近的人顯示信息。

頭顯同時(shí)可以包括眼動(dòng)追蹤系統，以追蹤用戶(hù)250的注視650和位于朝外顯示設備210A相同表面的外部攝像頭或其他傳感器220，以確定朝外顯示設備210A的環(huán)境照明條件。

朝外照明模塊165可根據來(lái)自頭顯內眼動(dòng)追蹤系統的信息確定注視650指向桌子610的感興趣對象620，并驅動(dòng)朝外顯示設備210A的一組像素照亮感興趣對象620。

圖7示出了在低光條件下操作電子設備中的進(jìn)一步示例過(guò)程。流程圖從710開(kāi)始，其中朝外照明模塊接收指示朝外顯示設備的環(huán)境照明條件的信息。

在710，指示環(huán)境照明條件的接收信息可任選地包括715和/720。在715，包含朝外攝像頭的光學(xué)傳感器220捕獲環(huán)境圖像，并且朝外照明模塊165可以基于從光學(xué)傳感器220捕獲的圖像確定環(huán)境照明條件。

或者，環(huán)境照明模塊170可以根據從光學(xué)傳感器220捕獲的圖像確定環(huán)境照明條件，并向朝外照明模塊165提供指示環(huán)境照明條件的信息。

在720，朝外照明模塊165接收指示環(huán)境的多個(gè)區域的環(huán)境照明條件的信息。例如，朝外照明模塊165可以接收指示環(huán)境中四個(gè)象限中的每個(gè)象限的環(huán)境照明條件的信息。

在730，朝外照明模塊確定環(huán)境照明條件是否滿(mǎn)足亮度標準。在包括720的實(shí)施例中，步驟730包括確定每個(gè)區域是否滿(mǎn)足亮度標準。例如，房間一角的一盞燈照亮了環(huán)境中四個(gè)象限中的三個(gè)。四個(gè)象限中的三個(gè)象限的環(huán)境照明條件滿(mǎn)足亮度標準，但第四象限不滿(mǎn)足。根據一個(gè)或多個(gè)區域不滿(mǎn)足亮度標準的確定，朝外照明模塊165可以確定與環(huán)境中感興趣區域相對應的朝外顯示設備210中的一組像素。

確定在740的像素集可以任選地包括745和/750-755。在745，朝外照明模塊165基于不滿(mǎn)足亮度標準的環(huán)境的一個(gè)或多個(gè)特定區域確定感興趣的區域。例如，當感興趣的區域不包括在特定區域中時(shí)，朝外照明模塊165可以確定感興趣的區域需要更少的額外照明并且在像素集中包括更少的像素。

在750，朝外照明模塊165確定顯示設備210的位置變化，并根據755中的位置變化確定像素集。例如，包含在傳感器145中的加速度計可以確定用戶(hù)250持有顯示設備210已從坐姿移動(dòng)到站立位置。

然后，朝外照明模塊165可以確定感興趣的區域是地面和預期用戶(hù)250將沿著(zhù)的路徑。朝外照明模塊165確定與感興趣的區域相對應的像素集，并照亮用戶(hù)250腳前的地面。

在760，朝外照明模塊165驅動(dòng)一組像素在一個(gè)特定的亮度，以提高在感興趣的區域照明。770，在顯示設備210進(jìn)一步包括向內顯示設備的實(shí)施例中，媒體項可以基于像素集和確定的位置變化任選地顯示在朝內顯示設備。

圖9顯示了確定環(huán)境照明條件的示例過(guò)程900。在910，朝外照明模塊165以顏色序列中的特定顏色驅動(dòng)朝外顯示設備210。

在920，朝外照明模塊165使諸如光學(xué)傳感器220的朝外攝像頭捕獲與在910驅動(dòng)的顏色序列中所述顏色相對應的環(huán)境圖像。在930時(shí)，朝外照明模塊165確定顏色序列中是否有剩余的顏色。如果顏色序列中有剩余顏色，則朝外照明模塊165返回到910，并以顏色序列中的另一種顏色驅動(dòng)朝外顯示設備210。

當捕獲到與顏色序列中的每一種顏色相對應的圖像時(shí)，朝外照明模塊165可以根據940中的圖像集選擇確定感興趣的環(huán)境顏色。例如，朝外照明模塊165可確定所述環(huán)境中環(huán)境照明的色溫、所述環(huán)境中對象的顏色范圍等。

在950，朝外照明模塊165確定環(huán)境照明條件是否滿(mǎn)足亮度標準。根據環(huán)境照明條件不滿(mǎn)足亮度標準的確定，朝外照明模塊165可以確定對應于感興趣區域的一組像素。然后，朝外照明模塊165以特定亮度驅動(dòng)所述像素集，以改善在感興趣區域中的照明。

相關(guān)專(zhuān)利：Apple Patent | Electronic device with a display for low light conditions

https://www.nweon.com/

名為“Electronic device with a display for low light conditions”的蘋(píng)果專(zhuān)利申請最初在2023年3月提交，并在日前由美國專(zhuān)利商標局公布。

來(lái)源：映維網(wǎng)