堅持做行業(yè)大模型，竹間智能給大模型造了一座「模型工廠(chǎng)」（2）

總之，Model factory、Benchmark System 加上 Chat Search，一個(gè)大模型驅動(dòng)的語(yǔ)義搜索引擎，三大要素緊密聯(lián)動(dòng)，使 EmotiBrain 可敏捷應用于復雜及多變的場(chǎng)景中，并給予強大靈活的支持。 

「EmotiBrain 可以在幾天甚至幾個(gè)小時(shí)內幫你選出最適合的大模型，通常需要一個(gè)模型工程師花好幾個(gè)月才能做到，甚至因缺少人才或 know-how 都無(wú)法完成可用的模型，白白浪費的資源?！购?jiǎn)仁賢說(shuō)。 

另外，EmotiBrain 還有一個(gè)非常好用的 GPU 資源調度功能，自動(dòng)幫你調度云資源或本地 GPU 資源。這樣，一般不懂IT業(yè)務(wù)的人員也可以用這個(gè)微調平臺來(lái)訓練自己的模型，「他只要需要知道數據從哪來(lái)的?！?nbsp;

三、如何可控？四步應對模型幻覺(jué) 

可定制化實(shí)現后，還有一個(gè)問(wèn)題。許多創(chuàng )始人對在他們的產(chǎn)品和工作流程中實(shí)施大模型持謹慎態(tài)度，因為這些模型有時(shí)就像小孩子——會(huì )編造事情，對幻想與現實(shí)沒(méi)有牢固的把握。有媒體報道，美國律師使用 ChatGPT 提交法庭簡(jiǎn)報，結果引用的6個(gè)案例都是 ChatGPT 編造的虛假案例。 

「產(chǎn)生幻覺(jué)，其實(shí)是生成式 AI 的一個(gè)特點(diǎn)?！购?jiǎn)仁賢認為，創(chuàng )造力是知識生成的一個(gè)主要來(lái)源，如果百分百避免幻覺(jué)，模型也會(huì )失去創(chuàng )造力。不過(guò)，EmotiBrain 也有辦法幫助企業(yè)更好控制模型的輸出。 

例如，在模型推理階段，用戶(hù)可以根據不同業(yè)務(wù)需求，調整「temperature」的數值，低溫度可以生成更加專(zhuān)注、保守和一致的回答。這種方式在營(yíng)銷(xiāo)人員需要準確、精確的答案或者遵循特定格式或品牌指南的信息時(shí)非常有用。

中溫度的話(huà)，能夠在創(chuàng )造力和一致性之間取得平衡。這種設置非常適用于一般內容生成，因為需要準確性和創(chuàng )新的結合。高溫度可以生成更具創(chuàng )意、多樣化和出人意料的輸出。營(yíng)銷(xiāo)人員可能會(huì )在頭腦風(fēng)暴創(chuàng )新的活動(dòng)想法、制作引人入勝的社交媒體內容或尋求對某個(gè)主題的新鮮視角時(shí)更喜歡使用這種設置。 

除此之外，模型可控能不能做到100%還取決于微調過(guò)程。 

就企業(yè)私域問(wèn)答部分來(lái)說(shuō)，完全可以做到可控。企業(yè)可以花大量精力做好知識準備、知識清洗和審核。訓練后，還可以用人類(lèi)對齊（alignment ）的方式控制輸出質(zhì)量。 

比如，你可以給輸出的答案做標注，告訴模型哪個(gè)是對的、哪個(gè)是錯的，用基于人類(lèi)反饋的強化學(xué)習的方法（RLHF）進(jìn)行再訓練，模型就知道對與錯，自動(dòng)減少胡言亂語(yǔ)的回答，但是RLHF要做得好，對使用數據與標準數量和質(zhì)量就有要求。 

值得一提的是， EmotiBrain 還提供審核機制——「用大模型去做 reflection ，把 reflection 放到大模型里」，讓大模型擁有自我檢視的能力。 

「這個(gè)咖啡很難喝」，在講出這句話(huà)之前，人們會(huì )先問(wèn)自己這句話(huà)對嗎？是不是符合商業(yè)規范或道德標準？有沒(méi)有人身攻擊？有沒(méi)有牽扯到政治？ 

「所有這些環(huán)節，一個(gè)前面的大模型反思模型、加上基于人類(lèi)反饋的強化學(xué)習、私域數據的掌控，還有 temperature 也可以調。我們都會(huì )提供工具和評測去幫助他們做好這些控制?！购?jiǎn)仁賢總結道。 

四、KKBot 的想象力 

除了 EmotiBrain，安裝了這臺發(fā)動(dòng)機四款「車(chē)型」中，最值得關(guān)注、也最具想象力的是 KKBot ，你可以將它視為國內版本的 Office Copilot，可以存在任何地方。

它可以是一個(gè)瀏覽器插件，根據你瀏覽網(wǎng)頁(yè)的內容，答問(wèn)題、做總結，任何 web application，KKBot 都是 Copilot?！窩hrome 能用，我們現在準備適配 IE 瀏覽器?！购?jiǎn)仁賢告訴我們。 

它還會(huì )出現在常用企業(yè)軟件里（例如網(wǎng)頁(yè)版的辦公軟件、竹間智能的產(chǎn)品），根據你的 query 自動(dòng)生成想要的總結、圖片、統計表格、數據分析等。在他看來(lái)，「傳統的 BI 可能會(huì )被大模型顛覆掉?！?nbsp;

它甚至可以在企業(yè) DIY 大模型過(guò)程中，充當助手。如果企業(yè)將自己的私域數據放到 Knowledge Factory ，那么，KK bot 可以在 Knowledge Factory 的文檔與知識庫里，找出大模型生成的一些令人生疑的回答的來(lái)源。如果找不到某句回答出處，大概率是模型在亂講。 

最有意思的是在 KKBot 加持下，公司最暢銷(xiāo)的Bot Factory 脫胎換骨，升級到 Plus。 

竹間智能早在 2017 年就推出了 Bot Factory，企業(yè)客戶(hù)可以在這個(gè)工廠(chǎng)里做各種機器人——智能客服、對話(huà)機器人、問(wèn)診機器人、故障排除機器人、專(zhuān)家機器人等。有些企業(yè)甚至用 Bot Factory 在企業(yè)內部做了 1000 多個(gè)機器人。 

現在，這些經(jīng)過(guò)行業(yè)驗證和打磨的產(chǎn)品又成為竹間智能部署在客戶(hù)側的「尖兵」，也是接入底層大模型能力的關(guān)鍵入口。如果可以幫助企業(yè)輕松定制自己的模型并嵌入到這些入口，無(wú)需帶著(zhù)新品教育市場(chǎng)，竹間智能就能將新的底層能力出售出去。 

以前我們用小模型去訓練可能需要花兩天的時(shí)間?，F在，機器人的問(wèn)答跟知識全部由大模型生成，只要兩個(gè)小時(shí)，運營(yíng)成本降低了90%以上。簡(jiǎn)仁賢解釋道。 

KKBot 可以幫你生成知識，幫你對齊知識。比如，你給它輸入《保險法》，輸入完以后，它自動(dòng)從《保險法》里抽出來(lái)所有的知識跟所有的問(wèn)答，抽出來(lái)之后，自動(dòng)訓練 Bot Factory+ 的對話(huà)機器人，兩個(gè)小時(shí)可以回答上千個(gè)問(wèn)題，95% 以上準確率。 

整個(gè)過(guò)程都是自動(dòng)的，無(wú)需人為干預。跑完以后，再由人工測試。如果對輸出結果滿(mǎn)意，就能發(fā)布上線(xiàn)。 

KKBot 作為 Copilot，還有一個(gè)很大的優(yōu)點(diǎn)。簡(jiǎn)仁賢強調說(shuō)，「它不是一個(gè)模型的Copilot，而是多個(gè)不同模型的 Copilot，可以跟所有模型去兼容，當企業(yè)不同部門(mén)或項目組有多個(gè)模型在運行時(shí)，KKBot 可以選擇不同模型來(lái)回答，完全不受單一模型限制?！?nbsp;

比如，可以接竹間大模型魔力寫(xiě)作與 ChatLLM，華為盤(pán)古大模型的 API，海外用戶(hù)可以去接 GPT-4 或 GPT3.5 Turbo的 API，甚至包括企業(yè)自己訓練出來(lái)放到 EmotiBrain 里的大模型。 

「切換不同的大模型，展現出來(lái)的能力也不一樣?！?nbsp;

五、「租」得起：99萬(wàn)包年 

竹間智能的目標是將人工智能平民化，讓所有的企業(yè)都有自己的大模型，都能負擔得起的大模型?！腹S(chǎng)（factory）」就是實(shí)現這一目標的技術(shù)手段。 

現在，從「工廠(chǎng)（factory）租金」來(lái)看，根據所需GPU的數量不同，「1+4」PaaS 年訂閱服務(wù)的費用也有兩個(gè)檔次。 

如果僅需 1-8 個(gè)GPU，一年訂閱價(jià)格 99 萬(wàn)。超過(guò) 8 個(gè) GPU，一年的套餐價(jià)格 149  萬(wàn)。具體情況，依據不同行業(yè)、不同企業(yè)部門(mén)要求不同。 

例如，訓練一個(gè)比較復雜的模型，假設 330 億參數，用一塊 GPU 可能需要 1-5 天。很多時(shí)候，在預算有限的情況下，99 萬(wàn)的套餐也就夠用了。當然，如果預算比較富裕，企業(yè)也希望數小時(shí)就能訓練好，8 個(gè) GPU 可能不夠用，可以升級到 149 萬(wàn)元的套餐。 

「相比花 2000 萬(wàn)買(mǎi)個(gè)行業(yè)大模型，還冒著(zhù)走彎路的風(fēng)險，我們的產(chǎn)品用起來(lái)比較安心」，簡(jiǎn)仁賢認為，「你只用花 99 萬(wàn)，就可以定制出適合你的模型，而且沒(méi)有限制模型數量，并可以立刻在現實(shí)應用中看到它的價(jià)值，也不受云計算廠(chǎng)商的限制，不用綁定任何云計算資源?！?nbsp;

這些工具都是免費升級，而且做出來(lái)的模型都屬于客戶(hù)，「我們不 own 這個(gè)模型，我們也不賣(mài)模型，我們只是把這個(gè) PaaS 租給你用，讓人去定制模型?！顾a充說(shuō)，「也就是說(shuō)，我租給你的是一個(gè)模型工廠(chǎng)?！?nbsp;

其實(shí)，OpenAI 這樣的公司只是給我們指明了一個(gè)方向。開(kāi)源社區會(huì )根據這個(gè)方向做出更創(chuàng )新的東西，進(jìn)而成為企業(yè)落地大模型的主流。 

簡(jiǎn)仁賢預測，未來(lái) 6-12 個(gè)月，開(kāi)源社區也會(huì )出現更多新的前沿訓練和微調技術(shù)，不斷降低大模型對內存、GPU 依賴(lài)，降低微調和訓練成本，不斷提升訓練速度。更新的模型框架也會(huì )出現，更多的具備通用能力的指令集也會(huì )問(wèn)世，更多的不同語(yǔ)言的訓練集也會(huì )在各國地區的努力下開(kāi)源出來(lái)，全球范圍內的大模型應用會(huì )更加廣泛，進(jìn)而加速 Generative AI 與 LLM 技術(shù)的快速迭代。 

這個(gè)大模型就是每個(gè)企業(yè)應用的「腦」。未來(lái)，每隔一段時(shí)間，與「腦」有關(guān)的技術(shù)都會(huì )取得重要進(jìn)展，比如更好的模型、訓練方式、更高質(zhì)量的數據。 

這個(gè)時(shí)候，大模型的管理和迭代就顯得更加重要。他說(shuō)，有了工廠(chǎng)流水線(xiàn)，換「腦」就變得很容易。