程序員轉型AI高手的8項杰出思維

1   前言

在A(yíng)I大潮流中，程序員(又稱(chēng)碼農)具有的優(yōu)勢是擅長(cháng)挖掘AI開(kāi)源代碼(如免費金礦)。由于互聯(lián)網(wǎng)上有豐富的開(kāi)源AI大模型的代碼(Code)，而程序員熟悉免費拿大模型的代碼，把其參數量調小，搭配企業(yè)自有IP練出企業(yè)自有IP的中小模型了。于是，免費代碼既省成本、又自有IP，豈不美乎。

基于上述的優(yōu)勢技能,程序員可以將AI模型(代碼)視為-種軟件容器(Container),其能程序員擅長(cháng)于代碼，可以表達算法，也包容芯片算力。于是，程序員承接下且致力于組合創(chuàng )新AI容器，以便支持人們的多樣化商且致力于組合創(chuàng )新AI容器，以便支持人們的多樣化商業(yè)應用需求。

程序員的珍貴價(jià)值在于—AI模型代碼的創(chuàng )新組合，其內涵包括:

●   IT延伸人的手腳，AI 擴大人思維空間。

●   LLM強龍與企業(yè)AI地頭蛇的相輔相成。

●   傳統IT、今日AI與人之間，三合協(xié)作。

●   LLM是神鷹，IT是獵狗，您是成吉思汗。

于是，本文就來(lái)說(shuō)明，程序員轉型AI高手的葵花寶典，它包含8項杰出思維和創(chuàng )新組合技能。如下：

1.精準厘清泛化需求，調整模型參數,追求最優(yōu)化。

2.家貓搭配野貓。貓丁興旺，企業(yè)興隆，財源廣闊。

3.優(yōu)化人機的協(xié)作模式。建立<人, AI,IT>的三合。

4.熟悉微調的訓練機制，并搭配GPU性能優(yōu)化策略。

5.區分AI模型的可觀(guān)察空間與隱空間(Latent space)。

6.避免掉入把AI模型應用于<果-果>推論的陷阱里。

7.活用LLM來(lái)優(yōu)化人機接口，拉近科技與人的距離。

8.AIGC不僅能生成作品，也能生成樣本(Samples)。

2   詳細解說(shuō)

2.1   杰出思維(1)：精準厘清泛化需求，調整模型參數，追求最優(yōu)化

●   泛化(Generalization)是大模型的必要特性和能力，因而模型的參數量大增，運算效率下降且更加耗能。[泛化」之意是:當我們的AI模型可以應對未來(lái)的數據，也就是可以被廣泛使用卻仍在我們模型的識別的范圍內，也就是它的適應性很好，這就是泛化。

●   從上所述可知，泛化是導致模型變大、效率下降的原因。所以，縮小泛化的幅度，能有效減小模型、加細觀(guān)察企業(yè)AI應用情境中的泛化需求，然后刪除不必細觀(guān)察企業(yè)AI應用情境中的泛化需求，然后刪除不必要的模型泛化功能、結構，以及數據收集和訓練。

●   例如，在商店<柜臺CLIP招財貓>模型的使用情境里，客人拿來(lái)結賬的商品是自己店家的商品，由柜臺的Camera拍攝照片，才輸入給CLIP 模型。于是，泛化的幅度不需要超出本家產(chǎn)品圖像，只需要涵蓋產(chǎn)品放置的角度不同而拍攝到不同視角的圖像即可。這樣即可大幅縮小參數量、訓練數據量、加速訓練和推理效能，省時(shí)又省能源。

2.2   杰出思維(2):家貓搭配野貓。貓丁興旺，企業(yè)興隆,財源廣闊

●   亦即，訓練自己的家貓(小模型),搭配外來(lái)的野貓(大模型)。貓丁興旺，企業(yè)興隆。

●   精心思考如何來(lái)建立企業(yè)家貓模型，復制企業(yè)專(zhuān)家直覺(jué)，擴大企業(yè)生產(chǎn)力，提升競爭力。亦即，引導企業(yè)內的領(lǐng)域專(zhuān)家、AI工程師，一起攜手為企業(yè)(建立AI模型、訓練模型、應用模型〉。大力延伸企業(yè)專(zhuān)家有效的〈去蕪存菁>剪枝之后，才是企業(yè)最值得信賴(lài)的有效的〈去蕪存菁>剪枝之后，知識力,最能提供客戶(hù)〈比你更懂你)的服務(wù)效能。亦即，才是企業(yè)最值得信賴(lài)的訓練自己的家貓(小模型),搭配外來(lái)的野貓(大模型)。

●   生成式AI大模型是發(fā)散性(加法設計)，如同風(fēng)箏一樣隨風(fēng)飄揚。它需要有一根繩索， 即縮斂性(減法設計)模型，來(lái)精準微調，力求整體和諧。例如，Stable Difusion是發(fā)散性模型，富有創(chuàng )新力。各企業(yè)可以訓練自用Difusion來(lái)生成足夠樣本，來(lái)訓練自用GAN模型，來(lái)?yè)慰s斂的任務(wù)。

●   再如ChatGPT等是發(fā)散性模型,富有幻想創(chuàng )新力。各企業(yè)可基于企業(yè)知識圖(Knowledge Graph)，訓練自用Graph AI模型，來(lái)?yè)慰s斂的任務(wù)。

2.3   杰出思維(3):優(yōu)化人機之間的協(xié)作模式

●   鑒于近年來(lái)AI的發(fā)展，AI(如ChatGPT)愈來(lái)愈善解人意，但是行為卻更加幻覺(jué)。于是，我們可以把機器(計算機)的任務(wù)分為三項: 1) 與人體貼互動(dòng)、2)正確工作行為、3)關(guān)鍵重要決策。

●   其中的第1項任務(wù)可由AI來(lái)打前鋒。而第2項任務(wù)則由傳統IT打前鋒搭配AI輔助。至于攸關(guān)法律責任(或人命關(guān)天)的重要決策，則交給人類(lèi)來(lái)主導&裁決。AI可以比喻為<神鷹>、IT 可比喻為<鬣狗>、善用<神鷹、鬣狗、成吉思汗>的三合架構，則您極善用<神鷹、鬣狗、成吉思汗>的三合架構，則您極可能如成吉思汗，締造史上最大帝國。

●   就如同Uber汽車(chē)，人類(lèi)司機是決策者(需負法律責任，并且人命關(guān)天)。而AI扮演<相>的角色——如幫忙看地圖、比人類(lèi)看得更廣，尋找更佳路線(xiàn)，并實(shí)時(shí)重新探索新路徑。此時(shí)，不是拿人類(lèi)所看到的地圖數據去訓練AI,而是收集更多人類(lèi)視野中看不見(jiàn)的、無(wú)法實(shí)時(shí)看完的巨大數據來(lái)訓練AI。

●   此外，AI還要時(shí)時(shí)刻刻觀(guān)察人類(lèi)的決策，瞬間評估人類(lèi)的決策，實(shí)時(shí)反饋給決策者，避免人類(lèi)將錯誤決策付之<執行>，于是大大降低了決策風(fēng)險。

2.4   杰出思維(4):微調(Fine- tuning)訓練，并搭配GPU性能優(yōu)化策略

●   例如，熟悉LoRA微調三步驟：

●   Step-1:觀(guān)察&測試原模型(如MT5- -Small)的input和output格式

●   Step-2:準備Training data，建立自己的Dataset類(lèi)別，并拿原模型測試訓練。

●   Step-3:將LoRA外掛到原模型(如MT5-Small)，并進(jìn)行協(xié)同訓練及測試。

●   再如，程序代碼指定使用BF16精度、NTWC內存數據格式等，發(fā)揮Intel GPU的高效率潛能，大幅加快訓練效率。以及指定量化(Quantization)模式，提高推論效率、降低功耗。

2.5   杰出思維(5):區分模型里的可觀(guān)察空間與隱空間(Latent space)

●   力求發(fā)揮隱空間的三項特質(zhì)是:架構通用性、內涵復用性、模塊組裝性。這個(gè)架構如同一棵大樹(shù)的主干，向上支持枝葉(即可觀(guān)察空間)的新陳代謝，又能支持根部(如底層GPU芯片)的成長(cháng)，因而創(chuàng )造了整體生生不息的有機次序(Organic Order)。

●   當底層芯片層更改時(shí)，它不會(huì )影響可觀(guān)察層，能大幅降低AI芯片開(kāi)發(fā)的風(fēng)險。因此，基于隱空間架構可以確保芯片底層設計變動(dòng)的自由度，可以實(shí)現<沒(méi)錢(qián)就改版，改版就有錢(qián)>的美好商模。

2.6   杰出思維(6):避免掉入<把AI模型應用于<果果>推論>的陷阱

●   許多人們掉入把AI模型應用于<果果>推論的陷阱里。例如，ECG心電圖數據、血糖檢測數據，其實(shí)都是<果>，不是<因>。而眼睛、腳踝腫大癥狀，也是<果>。 心臟休克，也是<果>。AI模型應用于<果果>預測都不會(huì )準確，都會(huì )失敗!

●   例如在醫學(xué)AI領(lǐng)域，病毒檢測和預測，不能掉入這項迷思里。而要請教醫學(xué)專(zhuān)家:這些果的幕后的<因>是甚么?然后建立兩個(gè)AI模型，第1個(gè)模型：第2個(gè)模型是：從預測出的真正<因>，推論出所需要第2個(gè)模型是:從預測出的真正<因>，推論出所需要的果(如胰臟癌并發(fā)癥)。

●   除了醫學(xué)AI模型之外，其實(shí)各行業(yè)都要留意：所有呈現的數據幾乎都是現象的<果>。而這些現象的真實(shí)的<因>并沒(méi)有呈現于大數據里。

●   因而一般人常常只關(guān)心數據的<真>與<假>。而沒(méi)有深入探索出關(guān)于<因>的潛藏數據。例如，Apple Watch是-項成功的AI商業(yè)案例，人們需要建立<果因推論>的AI模型，而不是僅僅建立<果果>AI模型。

2.7   杰出思維(7):活用LLM優(yōu)化人機交互，拉近科技與人的距離

●   綜觀(guān)計算機科技的發(fā)展史，凡是有科學(xué)技術(shù)或美學(xué)設計來(lái)顯著(zhù)拉近人機之間的距離時(shí)，都會(huì )帶來(lái)巨大的商業(yè)效益。例如，40 年前從DOS+鍵盤(pán)輸入，改進(jìn)到Windows+鼠標輸入，帶給主導企業(yè)可觀(guān)的收益。

●   到了15年前，從平板+觸控筆操作，改進(jìn)到手從輸入關(guān)鍵詞查詢(xún)，又推進(jìn)到LLM的文字(語(yǔ)音)從輸入關(guān)鍵詞查詢(xún)，又推進(jìn)到LLM的文字(語(yǔ)音)輸輸入和交互，也將帶給有關(guān)企業(yè)巨大的商業(yè)利益。

2.8   杰出思維(8): AIGC不僅能生成作品，還能生成樣本(Samples)

來(lái)訓練決策式(或辨別式)AI模型。

●   生成樣本來(lái)訓練AI模型。例如，擅用基因醫學(xué)的GWAS分析，以及IC芯片設計的龐大特征(Features)數來(lái)生成樣本(樣本)，做為決策式AI模型的訓練數據，IC芯片設計、無(wú)人機作戰、企業(yè)投資等決策都有巨大IC芯片設計、無(wú)人機作戰、企業(yè)投資等決策都有巨大商業(yè)意義。

●   與上述的基因檢測分析、腸道菌相檢測分析一樣，因為IC的組成要素(如晶體管)的數量都是高達10億(Billion)級別的。使得這些元素之間的鏈接(Connection)的數據有一項重要特性特征(Feature)的個(gè)數非常大(如幾千~幾十萬(wàn))。因之，AI科技可以給予<半導體IC產(chǎn)業(yè)>一項禮物，即是：高維度大數據運算能力。

4   結束語(yǔ)

AIGC潮流就如同一個(gè)巨大的海流，程序員(碼農)就能水漲船高，積極轉型成為AI模型的組合創(chuàng )新高手。并且促進(jìn)AI與IC芯片兩個(gè)行業(yè)之間的協(xié)同設計(co-design)，融合交流，逐漸成為<豐富美學(xué)&擅用算力>的AI產(chǎn)業(yè)新人才，并主導未來(lái)AI生態(tài)發(fā)展。

（本文來(lái)源于《EEPW》202407）