利用模型護欄規范GenAI的行為和輸出

當前，許多企業(yè)機構都在全力推進(jìn)生成式人工智能（GenAI）解決方案的設計和實(shí)施，希望提升解決方案的通用性和創(chuàng )造性，進(jìn)而推動(dòng)業(yè)務(wù)價(jià)值。2023年Gartner企業(yè)人工智能（AI）調研揭示了GenAI用例的三種最主要的實(shí)現方法，74%的受訪(fǎng)者通過(guò)對現有GenAI模型進(jìn)行定制化調整來(lái)滿(mǎn)足自身用例的需求，65%的受訪(fǎng)者嘗試自行訓練定制GenAI模型。

然而，實(shí)施GenAI絕非易事。對于創(chuàng )造性和通用性的追求，往往會(huì )增加GenAI解決方案的復雜性、不確定性和生成非預期結果的可能性，而這也成為了GenAI企業(yè)采用面臨的主要問(wèn)題。GenAI解決方案的創(chuàng )造性和通用性越強，出現非預期行為和輸出（如幻覺(jué)、有害內容超出應用范圍的內容等）的可能性越高（見(jiàn)圖1）。

圖1 在創(chuàng )造性與通用性之間取得平衡

選擇基于GenAI模型自行構建GenAI解決方案的企業(yè)機構，其負責AI工作的數據和分析（D&A）領(lǐng)導者應利用開(kāi)源護欄、商業(yè)護欄和自建護欄這三種護欄工具來(lái)控制GenAI模型的輸入和輸出，驗證并矯正GenAI模型的輸入和輸出，提高模型的可靠性。

評估并優(yōu)化GenAI解決方案的創(chuàng )造性和通用性

GenAI模型可兼具創(chuàng )造性和通用性。企業(yè)機構通常需要在廣泛的場(chǎng)景中使用GenAI解決方案，而這些場(chǎng)景對于解決方案創(chuàng )造性和通用性的需求各不相同。因此，必須根據部署目的和具體場(chǎng)景下的功能需求，確定GenAI解決方案的定位，并根據在創(chuàng )造性和通用性?xún)蓚€(gè)方面的具體需求，利用護欄工具建立控制策略和機制。

負責AI工作的D&A領(lǐng)導者應基于GenAI解決方案的使用場(chǎng)景和方式，確定相應的業(yè)務(wù)風(fēng)險容忍度，具體取決于：

●   業(yè)務(wù)用例的重要性

●   用于內部用途還是面向客戶(hù)

●   是否引入了人工監督

而后，應根據業(yè)務(wù)風(fēng)險容忍度，利用護欄工具管理模型輸入和輸出，建立嚴格或寬松的控制機制，并最終在創(chuàng )造性和通用性之間取得最佳平衡。

利用模型護欄驗證和矯正模型的輸入和輸出

使用護欄工具，是管理GenAI模型創(chuàng )造性和通用性的一個(gè)切實(shí)可行的方法。護欄（在GenAI模型和應用與最終用戶(hù)之間建立防護層）可以監控和管理模型的全部流量，包括用戶(hù)輸入和模型/應用輸出（見(jiàn)圖2）。

圖2 護欄部署在用戶(hù)與GenAI模型之間

以下是兩種典型護欄：

●   用于控制最終用戶(hù)輸入的模型護欄：所有用戶(hù)請求都必須經(jīng)護欄過(guò)濾，以清除非預期的請求，包括超出GenAI解決方案應用范圍的請求和違反可接受使用政策的請求。通過(guò)這種方式，護欄可以將解決方案的通用性控制在可管理的范圍內，就像建立了一個(gè)安全圍欄。

●   用于控制GenAI輸出的模型護欄：所有模型輸出都必須經(jīng)過(guò)護欄的驗證，但不同的用例對于模型創(chuàng )造性的需求存在差異，因而需要對模型施加不同程度的控制。但是，對于開(kāi)發(fā)GenAI驅動(dòng)的企業(yè)級搜索引擎或面向客戶(hù)的聊天機器人的情況，必須對模型輸出進(jìn)行更為嚴格的驗證和控制，以調節模型的創(chuàng )造性，并確保最終用戶(hù)可以得到可靠且符合預期的結果。

需要注意的是，護欄并非“靈丹妙藥”，不能完全解決GenAI解決方案的行為和準確性問(wèn)題。GenAI解決方案必須在準確性與企業(yè)機構的風(fēng)險承受能力之間取得平衡。

此外，伴隨GenAI的快速發(fā)展，護欄技術(shù)也在不斷變化和改進(jìn)。鑒于神經(jīng)網(wǎng)絡(luò )的不可預測性，護欄技術(shù)目前是驗證和矯正GenAI模型輸出的一種切實(shí)可行的方法。長(cháng)期來(lái)看，在基礎GenAI模型變得足夠可靠和可信之前，護欄提供了一種過(guò)渡解決方案，可以幫助企業(yè)機構推動(dòng)GenAI采用。