機器學(xué)習+NLP+VR：重塑二手車(chē)買(mǎi)車(chē)新場(chǎng)景

現階段，多方面的車(chē)輛信息已實(shí)現了物理層面上的集成，但在語(yǔ)義內容的解析和信息的視覺(jué)呈現上還有待深入研究。用戶(hù)需要親自閱讀碰撞、維保、電池報告來(lái)理解其中的內容，報告內容的豐富性、專(zhuān)業(yè)性與可讀性將對用戶(hù)的交易決策產(chǎn)生重要影響。例如，用戶(hù)瀏覽APP時(shí)被汽車(chē)外觀(guān)、內飾的照片所吸引，卻可能因不了解汽車(chē)車(chē)體結構和車(chē)況排查標準而無(wú)法準確理解相應的碰撞、維保、電池報告中所包含的眾多內容，最終導致交易轉化失敗。
為推動(dòng)車(chē)況信息的透明化，汽車(chē)之家二手車(chē)不斷完善優(yōu)化“車(chē)史檔案”，使二手車(chē)出險記錄查得率達到98%、維保記錄查得率達到85%，同時(shí)還有天天拍車(chē)平臺開(kāi)展線(xiàn)下檢測業(yè)務(wù)，獲取真實(shí)的車(chē)況數據完善檔案數據。傳統二手車(chē)買(mǎi)車(chē)場(chǎng)景 VS 數字化二手車(chē)買(mǎi)車(chē)場(chǎng)景
通過(guò)利用數字能力和數據資源不斷推動(dòng)車(chē)況信息的透明化、標準化，使用戶(hù)更易了解車(chē)況信息，提高用戶(hù)決策效率和線(xiàn)索轉化效率。具體來(lái)說(shuō)，結合機器學(xué)習、自然語(yǔ)言處理和VR全景等技術(shù)，我們重塑了二手車(chē)購買(mǎi)的業(yè)務(wù)場(chǎng)景，將二手車(chē)車(chē)源在估值、車(chē)史、VR全景展示三個(gè)維度的信息進(jìn)行了集成與融合，以交互式可視化的形式呈現給用戶(hù)，使用戶(hù)更快捷、直觀(guān)、詳盡了解二手車(chē)車(chē)源的車(chē)況和估值，降低用戶(hù)的信息搜尋成本和信息理解成本，促進(jìn)用戶(hù)做出交易決策。圖1 傳統二手車(chē)買(mǎi)車(chē)場(chǎng)景和數字化二手車(chē)買(mǎi)車(chē)場(chǎng)景對比如圖1所示，傳統的二手車(chē)交易需要用戶(hù)在不充分了解車(chē)輛信息的情況下與二手車(chē)商預約線(xiàn)下看車(chē)，再根據看車(chē)人的經(jīng)驗知識做出主觀(guān)的評斷。而數字化的二手車(chē)買(mǎi)車(chē)業(yè)務(wù)則是用戶(hù)直接通過(guò)PC、APP從云端獲取標準化的車(chē)輛信息，充分了解車(chē)輛信息、評估后再決定是否線(xiàn)下看車(chē)，有效提高線(xiàn)下看車(chē)的效率。汽車(chē)之家二手車(chē)在為用戶(hù)創(chuàng )造數字化體驗的過(guò)程中，除了促進(jìn)購車(chē)交易，也提高了買(mǎi)車(chē)新模式的商業(yè)增長(cháng)。

買(mǎi)車(chē)新模式：結構化數據+半結構化數據+全景數據圖2 二手車(chē)買(mǎi)車(chē)業(yè)務(wù)架構 二手車(chē)買(mǎi)車(chē)業(yè)務(wù)流程架構如圖2所示。結構化的數據來(lái)自從汽車(chē)之家二手車(chē)交易平臺中的二手車(chē)的車(chē)輛數據、交易記錄等數據。其中，二手車(chē)的車(chē)輛數據中包括省份、城市、車(chē)型、上牌時(shí)間、行駛里程、發(fā)布時(shí)間、過(guò)戶(hù)次數等各種數據，二手車(chē)交易記錄中包括成交價(jià)格、交易類(lèi)型、檢測車(chē)況等數據。這些結構化的數據按用于估值模型的訓練，預測車(chē)輛在當前及未來(lái)的價(jià)格趨勢。
半結構化的數據是指從第三方獲取的車(chē)輛出險記錄，4S店維修保養記錄、天天拍線(xiàn)下檢測記錄以及電池數據記錄，這些記錄具有多種數據類(lèi)型，需要轉化為統一的數據格式，解析其中的語(yǔ)義內容，抽取結構化的信息。對于新能源車(chē)的電池數據經(jīng)過(guò)加工解析生成電池在線(xiàn)檢測報告，綜合得出維保、碰撞、電池等多維度的車(chē)史報告。
全景數據是指通過(guò)VR外觀(guān)相機和VR內飾相機所拍攝的原始圖像數據，原始圖像數據經(jīng)過(guò)VR拍攝組件生成VR圖片，再通過(guò)APP、H5端的VR播放組件進(jìn)行展示。從非結構化數據中抽取出的結構化信息除了形成車(chē)史報告，也可以與VR中圖像進(jìn)行跨模態(tài)的語(yǔ)義對齊，例如車(chē)史報告中如提到“左前門(mén)碰撞”，則可以在VR展示中提示出左前門(mén)的狀態(tài)異常。估值、車(chē)史和VR展示將共同呈現于用戶(hù)界面。當用戶(hù)瀏覽通過(guò)PC、APP瀏覽二手車(chē)車(chē)源詳情時(shí)，可在用戶(hù)界面查看車(chē)輛估值信息，查詢(xún)車(chē)史報告，VR全景看車(chē)，從價(jià)值、車(chē)況、外觀(guān)內飾三個(gè)角度來(lái)評估車(chē)輛是否符合需求，決定是否購買(mǎi)或留下購車(chē)線(xiàn)索。

技術(shù)實(shí)現難點(diǎn)估值：車(chē)輛的數據十分復雜，通常包括了區域、車(chē)齡、里程數、車(chē)型、車(chē)系、外觀(guān)、內飾、車(chē)況等多達上百維的特征信息，并且這些特征存在著(zhù)數據的部分缺失或特征間多重共線(xiàn)性的復雜關(guān)系，給二手車(chē)價(jià)格的預測模型帶來(lái)三大挑戰：模型預測的準確率、模型推理的計算效率、模型的可解釋性。雖然現有的機器學(xué)習技術(shù)如神經(jīng)網(wǎng)絡(luò )或梯度提升樹(shù)模型可以端到端地處理復雜特征，但車(chē)輛特征數據的復雜性使得此類(lèi)方法不適合用于二手車(chē)價(jià)格的預測，已有的二手車(chē)估值模型準確率較低。為解決上述三個(gè)問(wèn)題，本估值模型采用了分而治之的思路，將車(chē)源按照省份、城市和車(chē)型分組，再將分組后的車(chē)源數據中與時(shí)間相關(guān)的數據進(jìn)行量化處理，根據相關(guān)性篩選特征，訓練多元線(xiàn)性回歸模型。VR全景：現有的VR外觀(guān)技術(shù)方案是采用單反相機+長(cháng)焦鏡頭拍攝，在自帶轉盤(pán)的影棚內進(jìn)行車(chē)輛外觀(guān)的360°拍攝；或采用單反相機+魚(yú)眼鏡頭拍攝，車(chē)內使用單反進(jìn)行4面拍攝，然后采用人工后期處理的方式完成全景360°圖像的生成。缺點(diǎn)在于單反+影棚+轉盤(pán)造價(jià)高，條件苛刻，拍攝車(chē)輛需要專(zhuān)人負責運輸，效率低，后期圖像處理繁瑣，產(chǎn)出一輛車(chē)的外觀(guān)+內飾圖片過(guò)程長(cháng)，對于人員專(zhuān)業(yè)度要求苛刻。而通過(guò)手機APP引導拍攝+后期人工處理的方法所得圖像不夠精準，后期人工處理耗時(shí)長(cháng)。二手車(chē)VR看車(chē)全新設計研發(fā)了基于模型、車(chē)輛輪廓識別、陀螺儀、磁場(chǎng)傳感器綜合性的對被攝車(chē)輛和場(chǎng)地進(jìn)行計算，給拍攝者提供便捷的定位拍攝方案。車(chē)史檔案：維修保養記錄、碰撞記錄和電池充放電記錄的數據也同樣面臨著(zhù)數據維度巨大、數據質(zhì)量不一、缺乏規范化的問(wèn)題。比如維保記錄和碰撞記錄，有著(zhù)多種形式的數據來(lái)源，既有半結構化的記錄表單，也有記錄文檔，甚至還有拍攝或掃描的文檔圖像，需要對這些數據源進(jìn)行加工處理，規范為統一格式的數據形式。在車(chē)況信息的抽取過(guò)程中，需要根據領(lǐng)域專(zhuān)家知識明確需要抽取的信息類(lèi)型，建立車(chē)況評估和電池狀況評估的知識模型以及相應的標準化術(shù)語(yǔ)詞表，建立車(chē)況和電池的評分、評級模型。
實(shí)現方法

• 估值

圖3 估值模型 對車(chē)輛進(jìn)行估價(jià)，是二手車(chē)交易的重要環(huán)節，在交易過(guò)程中，需要根據車(chē)輛信息對二手車(chē)進(jìn)行評估定價(jià)，獲得較為準確估價(jià)區間。目前，我們基于汽車(chē)之家的二手車(chē)車(chē)源數據研發(fā)了一種車(chē)輛估價(jià)模型,來(lái)滿(mǎn)足商家、用戶(hù)對二手車(chē)車(chē)源價(jià)格的評估。
我們的車(chē)輛估價(jià)模型主要使用的車(chē)源數據包括：地理區域、車(chē)型、行駛里程、上牌時(shí)間、發(fā)布車(chē)輛時(shí)間等，首選我們需要車(chē)源數據中提取地理區域和車(chē)型，并按照地理區域、車(chē)型對車(chē)源數據中的其他維度數據進(jìn)行分組，得到分組數據，再將分組后的車(chē)源數據中與時(shí)間相關(guān)的數據進(jìn)行量化處理，處理后的各組車(chē)源數據作為訓練數據，訓練多元線(xiàn)性回歸模型，模型定義如下：
其中，Y為估價(jià)，θ0為截距，變量t1為上牌時(shí)間，變量t2為行駛里程，變量t3為用戶(hù)發(fā)布車(chē)輛信息時(shí)間，θ1、θ2、θ3為對應的回歸系數。
表1 不同地理區域、不同車(chē)型對應估計模型的截距與回歸系數構建多個(gè)針對各個(gè)地理區域下的、不同車(chē)型的車(chē)輛估價(jià)模型，即每個(gè)省份對應多個(gè)車(chē)輛估價(jià)模型，每個(gè)省份、城市、車(chē)型下對應一個(gè)車(chē)輛估值模型。由于不同省份、車(chē)型的車(chē)輛價(jià)格存在一定的差異，因此針對不同地理區域、車(chē)型訓練不同的估值模型，可以有效減少預測誤差，使模型估計的準確性更高。得到針對各個(gè)地理區域下的、不同車(chē)型的截距與回歸系數。

圖4 根據信息預測估值&歷史成交和建議因此，本估值模型本質(zhì)上是一個(gè)集成模型，頂層是按省份、城市和車(chē)型進(jìn)行的分類(lèi)模型，底層是對應類(lèi)別的多個(gè)預測模型。當利用訓練得到的車(chē)輛估價(jià)模型進(jìn)行估價(jià)時(shí)，首先根據從客戶(hù)端獲取的地理區域、車(chē)型，選擇與地理區域、車(chē)型相對應的車(chē)輛估價(jià)模型，再將從客戶(hù)端獲取的上牌時(shí)間、用戶(hù)發(fā)布車(chē)輛信息時(shí)間、行駛里程輸入以選取的模型，模型輸出對應的高準確性的車(chē)輛估價(jià)。

• VR全景

在VR技術(shù)逐漸普及，可為用戶(hù)提供新穎的內容展現形式的背景下。因二手車(chē)一車(chē)一況，通過(guò)VR技術(shù)采集商家各輛車(chē)的內外圖像數據，隨車(chē)輛信息發(fā)布以后，可為用戶(hù)提供更加直觀(guān)、真實(shí)的車(chē)輛狀況展示，線(xiàn)上車(chē)源360°展現，外觀(guān)、內飾無(wú)死角細節瀏覽，提升瀏覽體驗。提高用戶(hù)決策及線(xiàn)索轉化，提升到店轉化率 。同時(shí)也為商家提供了高質(zhì)線(xiàn)索和用戶(hù)到店率。  圖5  VR全景拍攝技術(shù)流程拍攝方案：載入用戶(hù)選擇的對應年代款的車(chē)輛模型圖30張，一套360°外觀(guān)圖需要拍攝30張不同角度的照片，以車(chē)輛為圓心，12°為一個(gè)點(diǎn)，進(jìn)行站位點(diǎn)劃分，站位點(diǎn)與模型圖角度進(jìn)行強關(guān)聯(lián)，每張圖對應到一個(gè)站位點(diǎn)。使用手機內置陀螺儀+電子羅盤(pán)，經(jīng)過(guò)計算可為拍攝者提供精準的角度位置信息，供拍攝者參考自身占位是否與模型圖匹配；通過(guò)圖像輪廓實(shí)時(shí)識別能力，為拍攝者提供精準的距離指引，免除人工丈量設置拍攝點(diǎn)位的繁瑣步驟；當拍攝者按下拍攝按鈕后，程序對拍攝的圖片進(jìn)行分析識別，保留車(chē)輛輪廓內的車(chē)輛清晰圖片，對輪廓外的背景區域進(jìn)行20%的高斯模糊圖層生成，并對邊緣進(jìn)行羽化處理，拼合所有圖層，得到最終的一個(gè)角度的外觀(guān)圖。本外觀(guān)拍攝方案，簡(jiǎn)化了人工圖像處理步驟，通過(guò)智能識別算法，全自動(dòng)生成預期的車(chē)輛清晰背景虛化的外觀(guān)圖片，極大地簡(jiǎn)化了車(chē)輛外觀(guān)360°的拍攝流程，10分鐘內即可完成外觀(guān)和內飾拍攝，并直接上傳平臺展示。圖6 VR全景多平臺一體化集成方案適配多端拍看一體化技術(shù)方案(手機App拍攝 + App雙端VR播放組件 + H5VR播放組件):  1. 自研手機360°VR外觀(guān)拍攝App組件；2. 自研集成化內飾VR拍攝組件, 支持多品牌VR相機連接拍攝；3. 自研App原生外觀(guān)播放器控件；4. 基于ThreeSixty二次研發(fā)的外觀(guān)H5播放器; 5. 基于Kpano的內飾360°H5內飾播放器。

• 車(chē)史檔案
  

圖7 車(chē)史報告生成圖8 部分車(chē)史報告示例圖9 部分電池報告示例車(chē)輛出險記錄，4S店維修保養記錄和天天拍線(xiàn)下檢測記錄數據形式多樣，部分圖片數據需要先通過(guò)OCR轉換為統一的文檔格式，再從文檔中抽取結構化的信息。首先建立車(chē)況評估和電池狀況評估的知識模型以及相應的標準化術(shù)語(yǔ)詞表，解決了哪些信息需要被抽取，信息彼此之間的關(guān)系是什么，信息該如何利用的問(wèn)題。具體來(lái)說(shuō)，NLP模型抽取出時(shí)間信息，里程數、維修/理賠金額等數量信息，實(shí)體信息（汽車(chē)關(guān)鍵部位，如A柱、B柱等）及相應的方位詞（如正前方、前方左側等）和動(dòng)詞（如切割、鈑金、焊接等），并根據句法標注建立實(shí)體、方位詞和動(dòng)詞之間的關(guān)系，構成形如“左-A柱-焊接”的語(yǔ)義短語(yǔ)，這樣的語(yǔ)義短語(yǔ)是描述車(chē)輛碰撞維修歷史的最小語(yǔ)義單元。由于原始記錄的不規范或OCR識別過(guò)程中的誤差，記錄文檔對汽車(chē)關(guān)鍵部位的描述可能不夠準確或不夠完整，還需要依據預先建立的標準關(guān)鍵部位名詞詞表、動(dòng)詞詞表、方位詞詞表進(jìn)行規范化處理，得到標準化的關(guān)鍵部位名詞、動(dòng)詞，以及相應的語(yǔ)義短語(yǔ)。

圖10 車(chē)況排查分類(lèi)的知識模型 & 圖11：車(chē)史報告與VR圖像的語(yǔ)義對齊根據檢測部位和事件類(lèi)型，將車(chē)況排查分為骨架排查、加強件排查、水泡排查、火燒排查、里程排查、外觀(guān)部件、變速箱/發(fā)動(dòng)機排查、安全氣囊排查8大維度。其中外觀(guān)部件的排查信息可以與VR圖像建立語(yǔ)義上的對齊，進(jìn)而在VR層面進(jìn)行視覺(jué)上的呈現。根據標準化的關(guān)鍵部位名詞與動(dòng)詞關(guān)系，制定了不同維度的車(chē)況評級規則，將抽取出的標準化語(yǔ)義短語(yǔ)映射為“ABCD”四個(gè)等級評級，最后綜合8個(gè)維度的評級和車(chē)輛的出險記錄、理賠金額、新車(chē)指導價(jià)格等信息對車(chē)況做出綜合的評估，分為“優(yōu)、良、中、差”四個(gè)等級。從抽取的語(yǔ)義短語(yǔ)、事件和數量信息生成車(chē)輛的碰撞歷史明細、維修保養歷史明細和歷史里程明細。
隨著(zhù)新能源汽車(chē)市場(chǎng)的迅猛發(fā)展，汽車(chē)之家二手車(chē)也積累了數萬(wàn)的新能源車(chē)源車(chē)主和對新能源車(chē)源有買(mǎi)車(chē)欲望的用戶(hù)。除了獲取車(chē)輛的維保、碰撞、里程車(chē)史，新能源車(chē)用戶(hù)還對電池性能和電池續航能力的評估有著(zhù)強烈需求。為此，二手車(chē)聯(lián)合北理新源，利用新能源車(chē)電池大數據打造了新能源二手車(chē)智能車(chē)況云平臺，將電池數據進(jìn)行加工處理和評級，在汽車(chē)之家、二手車(chē)之家等相關(guān)產(chǎn)品上一鍵生成新能源電池一站式在線(xiàn)檢測報告，實(shí)現電池性能實(shí)時(shí)評估和續航里程在線(xiàn)檢測。
電池檢測報告記錄了電池出廠(chǎng)數據，并對電池評估數據、充放電數據、行駛數據和異常情況數據進(jìn)行綜合排查評估電池性能，計算出參考續航里程。綜合解析以上維度的數據，構建了電池狀況評分和評級模型，預測電池性能的評分并按照評分劃分為優(yōu)、良、中、差四個(gè)等級。

結語(yǔ)

針對二手車(chē)車(chē)輛數據和視覺(jué)展示進(jìn)行了深度探究，我們建立了標準化的數據處理加工流程、方法模型以及可視化展示形式。面對海量的復雜的車(chē)輛數據，以分治思想建立估值的集成模型，極大提高了估值的準確性，使用戶(hù)能夠準確了解當前車(chē)輛的價(jià)值；建立標準化的車(chē)史知識模型，通過(guò)算法模型和規則方法將碰撞、維保、電池的信息結構化，特別是新能源車(chē)電池在線(xiàn)檢測報告，在業(yè)內處于創(chuàng )新領(lǐng)導地位。在視覺(jué)展示層面，創(chuàng )新地利用軟件技術(shù)解決了傳統VR技術(shù)過(guò)于依賴(lài)硬件和人力導致的成本偏高，時(shí)間偏長(cháng)的問(wèn)題，使商家能夠輕松地拍攝360°全景影像，提升購車(chē)用戶(hù)的瀏覽體驗。三個(gè)維度的信息經(jīng)過(guò)數字技術(shù)解析并集成融合，重塑了二手車(chē)買(mǎi)車(chē)的業(yè)務(wù)數字化場(chǎng)景。二手車(chē)買(mǎi)車(chē)業(yè)務(wù)是我們二手車(chē)非常關(guān)鍵的業(yè)務(wù)線(xiàn)，在用戶(hù)做出交易決策的過(guò)程中，可信且完善的車(chē)輛信息以及信息與用戶(hù)的交互起到至關(guān)重要的作用。汽車(chē)之家二手車(chē)的愿景是持續推動(dòng)業(yè)務(wù)的數字化轉型，打造二手車(chē)流通的全數字化系統，實(shí)現非標商品標準化，過(guò)程透明化，建立起一套賦能二手車(chē)行業(yè)數字化轉型的新模式。