DSP很難學(xué)？一文讀懂系統技術(shù)架構

　　前面基本已經(jīng)將DSP的典型模式、主要機制及要點(diǎn)都介紹了?？赡苡行┩瑢W(xué)會(huì )好奇DSP系統內部的技術(shù)架構。下面截取部分DSP系統的技術(shù)架構圖供大家參考，同樣對于非技術(shù)的同學(xué)對此有個(gè)感性認識即可。也不做大篇幅的展開(kāi)了。

　　1. 技術(shù)架構概要

　　如圖7-22所示，DSP系統從技術(shù)架構上涉及：投放平臺、投放設置用戶(hù)交互模塊(setup UI)、報表(Report)、算法引擎等等模塊。算法引擎模塊主要是大數據及算法的機器學(xué)習大量采用分布式技術(shù)(例如hadoop)，對用戶(hù)日志、人群數據進(jìn)行建模及機器智能處理。算法引擎模塊處理好的人群數據、算法模型等等數據通過(guò)海量?jì)却婕夹g(shù)(例如redis)暫存在內存中，便于Bid投放引擎快速查詢(xún)使用，全部暫存在內存中的目的是為了在100ms完成競價(jià)過(guò)程，確保在DSP方<30ms處理完成，為網(wǎng)絡(luò )通訊流出時(shí)間。Bid投放引擎是典型的大集群模式用于響應大并發(fā)的請求，且確保每個(gè)請求<30ms處理完成。Bid投放引擎的投放規則(預算、頻次、投放策略設置等等數據)也都是存在內存中的便于快速查詢(xún)。投放策略設置的數據內容都是用戶(hù)通過(guò)投放設置用戶(hù)交互模塊中的界面完成的。另外還有一些十分重要的輔助模塊，例如：廣告曝光點(diǎn)擊數據回收模塊、idmapping模塊、大數據報表模塊、內置DMP模塊等等。

　　圖7-22 技術(shù)架構概要示例

　　2. DSP內部技術(shù)處理流程概要

　　DSP內部技術(shù)處理主要依賴(lài)一些關(guān)鍵技術(shù)處理設施，主要的包括：原始海量log系統、海量消息并行處理隊列(例如采用spark技術(shù))、海量?jì)却嫦到y(例如采用redis技術(shù))、業(yè)務(wù)系統關(guān)系型數據數據庫等等。如圖7-23所示，一條技術(shù)處理線(xiàn)路是廣告請求處理線(xiàn)：廣告競價(jià)Bidder海量的實(shí)時(shí)廣告請求處理會(huì )產(chǎn)生海量的原始log、同時(shí)Bidder也頻繁的同海量?jì)却嫦到y交互讀寫(xiě)廣告請求相關(guān)的頻次、消耗等等數據，然后廣告請求log經(jīng)過(guò)過(guò)并行處理隊列處理灌入報表數據庫及相應的大數據人群及模型數據庫。另一條技術(shù)處理線(xiàn)路是廣告曝光、點(diǎn)擊等等監測數據的回收，開(kāi)始也是產(chǎn)生大量的原始log、同時(shí)數據回收引擎同海量?jì)却嫦到y交互寫(xiě)如廣告曝光、點(diǎn)擊相關(guān)的頻次、消耗等等數據。然后廣告曝光、點(diǎn)擊log經(jīng)過(guò)過(guò)并行處理隊列處理灌入相應報表數據庫及相應的大數據人群及模型數據庫，同時(shí)并行處理隊列進(jìn)行大量的機器智能分析更新部分人群數據及模型數據，同時(shí)同步更新到Bidder數據庫及內容系統中供Bidder實(shí)時(shí)競價(jià)時(shí)使用。

　　圖7-23 DSP內部技術(shù)處理流程概要示例

　　3. DSP競價(jià)核心處理流程概要(<30ms)

　　如圖7-24所示，DSP的Bidder競價(jià)模塊設計約束核心處理時(shí)間極短，<30ms。為了解決適配不同ADX流量的不同接口。在接受廣告請求，及輸出返回時(shí)，會(huì )針對不同ADX平臺接口使用適配器設計模式采用不同適配器予以處理。但整體處理流程不變。中間業(yè)務(wù)處理部分也使用過(guò)濾器的設計模式，增加新業(yè)務(wù)時(shí)根據業(yè)務(wù)需要增加過(guò)濾器實(shí)現即可。這樣做的好處是整體的Bidder競價(jià)核心模塊處理流程框架相對穩定，不會(huì )隨這業(yè)務(wù)的變化而變化。具備十分強大的業(yè)務(wù)靈活性和應對高性能的水平擴充性。

　　圖7-24 DSP競價(jià)核心處理流程概要示例

　　4. 競價(jià)程序處理過(guò)程概要

　　如圖7-25所示，Bidder競價(jià)處理器內部也會(huì )依據業(yè)務(wù)處理依次分為：索引器快速過(guò)濾廣告(采用索引器的好處是檢索效率極高，當然索引器僅能用戶(hù)簡(jiǎn)單的過(guò)濾條件，例如：尺寸索引、平臺及廣告位索引、瀏覽器索引、操作系統索引、地域索引等等)。廣告過(guò)濾(投放策略相關(guān)規則需計算的過(guò)濾條件是無(wú)法使用索引器，例如：預算、曝光、日期、頻次、人群定向、創(chuàng )意類(lèi)型等等)。上述這兩層過(guò)濾都是為了廣告請求過(guò)濾可供投放的候選廣告列表，然后通過(guò)出價(jià)算法的處理給出該廣告列表中各廣告的出價(jià)(這里可能會(huì )用到動(dòng)態(tài)出價(jià)算法，也可能使用的固定出價(jià)策略(采用何種出價(jià)策略及是否使用算法都是在投放設置界面中有人工設設置的))。然后會(huì )進(jìn)行低價(jià)過(guò)濾(根據廣告請求中的底價(jià)過(guò)濾掉出價(jià)低于底價(jià)的那些候選廣告)。最后排序并決策勝出(根據各候選廣告的出價(jià)及算法附帶給出的優(yōu)先級權重綜合排序，排名第一的勝出，即將以該廣告內容準備競價(jià)返回)。曝光點(diǎn)擊動(dòng)態(tài)代碼生成(以上一步勝出的廣告內容生成曝光點(diǎn)擊動(dòng)態(tài)代碼，生成動(dòng)態(tài)曝光點(diǎn)擊代碼有很多目的，例如防作弊，全程攜帶投放參數追蹤等等)。Bid/Unbid日志記錄(結束處理時(shí)異步啟動(dòng))。

　　圖7-25競價(jià)程序處理過(guò)程概要示例

　　5. 分布式集群概要

　　如圖7-26所示，為了應對海量的廣告競價(jià)業(yè)務(wù)需要，及大數據的分布式計算基礎設施的需要。DSP在系統架構設計上需要支持分布式支持水平擴容，架構支持大并發(fā)、大數據、高可用、高容錯等等特征。

　　圖7-26 分布式集群概要示例