學(xué)貫中西(4)：AI的時(shí)序性推論技能

1   復習：ML的智慧表達形式

上一期說(shuō)明了人工智能（AI）（ML，機器學(xué)習）的推論技能，和其基于事物或現象之間的關(guān)聯(lián)性( 或稱(chēng)相關(guān)性)。例如，大家都熟悉氣候的運行規律：春暖 → 夏暑 → 秋涼 → 冬寒 → 春暖 → …。四季更替、周而復始，如圖1 所示。這項人類(lèi)已知的智慧( 即關(guān)聯(lián)性)，就可以讓機器( 計算機) 來(lái)學(xué)習、記憶它，然后依據它進(jìn)行推論或預測。

圖1 四季更替規律

于是，我們把這項關(guān)聯(lián)性( 知識) 排列在Excel 畫(huà)面上，從X 對應到Y( 參見(jiàn)圖2)。在上一期里已經(jīng)介紹過(guò)獨熱編碼(OHE，One-Hot Encoding)，這樣就可以讓機器來(lái)學(xué)習人類(lèi)已知的智慧了。

圖2 四季的關(guān)聯(lián)性示意

此時(shí)， 機器會(huì )建立兩組神經(jīng)元之間的連結(Connection)，并且賦予一個(gè)權重(Weight) 值來(lái)表示它所學(xué)習到的關(guān)聯(lián)性，參見(jiàn)圖3。接下來(lái)，按下“學(xué)習”按鈕，就展開(kāi)機器學(xué)習，來(lái)記春暖([1000]) 與夏暑([0100])之間的相生關(guān)系。于是權重( 值) 就會(huì )發(fā)生變化，如圖4 所示。

圖3 學(xué)習的關(guān)聯(lián)性

圖4 里的線(xiàn)條寬度表示權重( 值) 的大小。這樣就記住了春暖與夏暑之間的關(guān)聯(lián)性了。那么，ML 就藉此神經(jīng)網(wǎng)絡(luò )就繼續學(xué)習更多關(guān)聯(lián)性，例如學(xué)習并記住了上述的所有關(guān)聯(lián)性了，如圖5 所示。并且輸出于Excel 畫(huà)面上，如圖6 所示。

圖4 權重值的變化

圖5 機器學(xué)習的關(guān)聯(lián)性變化

圖6 權重的變化關(guān)聯(lián)

以上幫您復習了，如何展開(kāi)機器學(xué)習，來(lái)記住事物之間的關(guān)聯(lián)性。

2   擴大：欣賞ML的時(shí)序性推論技能

在本節里，來(lái)舉大家也熟悉的唐詩(shī)韻律，說(shuō)明其時(shí)序性的關(guān)聯(lián)性。例如，最典型的五言詩(shī)韻律：“仄仄平平仄， 平平仄仄平”。其中具有時(shí)間順序性的關(guān)聯(lián)性，所以稱(chēng)之為韻律。此韻律里包含兩項名目：“平”和“仄”。于是就采取OHE 編碼：以^[10] 代表“平”；并以[01]代表“仄”。接下來(lái)，我們可以觀(guān)察到其中的各種時(shí)間順序性的關(guān)聯(lián)性。例如，從連續兩個(gè)字的韻律，就能推論出第3 個(gè)字的韻律( 平或仄)。例如，連續兩字的韻律是“仄仄”，其后續字的韻律是“平”。再如，連續兩字的韻律是“平仄”，其后續字的韻律是“仄”，如圖7 所示。

圖7 平仄推理的關(guān)聯(lián)性

于是，我們把上述的關(guān)聯(lián)性排列在Excel 畫(huà)面上，從X[] 對應到Y[]。并且按下“學(xué)習”按鈕，機器就迅速學(xué)習，以權重值來(lái)表示其關(guān)聯(lián)性，如圖8 所示。

圖8 平仄權重的變化

這些權重代表這些相關(guān)事物的連結，如圖9 所示。ML 利用這個(gè)神經(jīng)網(wǎng)絡(luò )(NN) 模型，來(lái)記住其關(guān)聯(lián)性?；谶@個(gè)模型里的權重，就能進(jìn)行推論。例如，您問(wèn)它：連續兩字的韻律是“平仄”的話(huà)，其后續字的韻律是什么呢? 此時(shí)，ML 立即取出記憶中的權重來(lái)計算，其計算公式是：X[] * W[] = Y[]。就計算出Y[] 值是：[0.5, 1.5]，最接近于[0, 1]，意味了是韻律“仄”，如圖10 所示。

圖9 權重關(guān)聯(lián)性示意

圖10 平仄權重關(guān)聯(lián)變化

由于“平仄仄”是有時(shí)序性的關(guān)聯(lián)，我們就稱(chēng)之為時(shí)序性的推論。同樣地，一個(gè)句子“寒江雪”三個(gè)字之間也有時(shí)序性關(guān)聯(lián)。ML 也能利用神經(jīng)網(wǎng)絡(luò )(NN) 模型，來(lái)記住其關(guān)聯(lián)性。這句子里包含三項名目：“寒”、“江”和“雪”。于是就采取OHE 編碼：以 [100] 代表“寒”；以[010] 代表“江”；以[001] 代表“雪”。其中最基本的時(shí)序性關(guān)聯(lián)是：

●   第1 個(gè)字是“寒” → 后續的字是“江”；

●   第1 個(gè)字是“寒”，且第2 個(gè)字是“江” → 后續的字是“雪”。

于是，我們把上述的關(guān)聯(lián)性排列在Excel 畫(huà)面上，從X[] 對應到Y[]。并且按下“學(xué)習”按鈕，機器就迅速學(xué)習，以權重值來(lái)表示其關(guān)聯(lián)性，如圖11 所示。

圖11 學(xué)習推論的示意

ML 學(xué)習完成了，就記住其關(guān)聯(lián)性，并能進(jìn)行推論。例如，按下“推論”按鈕，就出現“江”( 圖12)。再按下“推論”按鈕，就出現“雪”( 圖13)。

圖12 江字后的推論

圖13 雪字后的推論

這展現了ML 進(jìn)行時(shí)序性推論的技能。

3   一次學(xué)習多個(gè)語(yǔ)句

剛才學(xué)習了一個(gè)句子“寒江雪”?，F在，可增添更多的語(yǔ)句，讓機器學(xué)習更多。例如，一次學(xué)習兩句子“寒江雪”和“江南曲”。ML 也能利用神經(jīng)網(wǎng)絡(luò )(NN)模型，來(lái)記住其關(guān)聯(lián)性。這兩個(gè)句子里包含5 項名目“寒”、“江”、“雪”、“南”和“曲”。分別給予一個(gè)OHE 編碼。其中最基本的時(shí)序性關(guān)聯(lián)是：

●   第1 個(gè)字是“寒” → 后續的字是“江”；

●   第1 個(gè)字是“寒”，且第2 個(gè)字是“江” → 后續的字是“雪”；

●   第1 個(gè)字是“江” → 后續的字是“南”；

●   第1 個(gè)字是“江”，且第2 個(gè)字是“南” → 后續的字是“曲”。

于是，我們把上述的關(guān)聯(lián)性排列在Excel 畫(huà)面上，從X[] 對應到Y[]。并且按下“學(xué)習”按鈕，機器就迅速學(xué)習，以權重值來(lái)表示其關(guān)聯(lián)性，如圖14 所示。

圖14 全句學(xué)習權重和推論示意

ML 學(xué)習完成了，就記住其關(guān)聯(lián)性，并能進(jìn)行推論。例如，按下“推論”按鈕，就出現“南”。再按下“推論”按鈕，就出現“曲”，如圖15 所示。

圖15 曲字后的推論示意

這展現了ML 可以同時(shí)學(xué)習更多語(yǔ)句，并進(jìn)行時(shí)序性推論。

4   結語(yǔ)

從大數據中探索潛藏的關(guān)聯(lián)性，是ML 的亮麗技能。在本節里，展現了ML 在時(shí)序性規律的學(xué)習、表達和推論?；谶@項技能，還有更多有趣的應用，期待您繼續來(lái)欣賞。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2022年2月期）