ChatGPT被廢黜：Claude如何成為新的AI領(lǐng)導者

在過(guò)去的幾個(gè)月里，我們已經(jīng)習慣了人工智能的不斷突破。 但不是破紀錄的公告，將新標準設定為之前的10倍，這正是Anthropic對其最新版本的聊天機器人Claude所做的，ChatGPT的最大競爭對手。 這簡(jiǎn)直讓周?chē)拿總€(gè)人都感到羞恥。 現在，您很快就會(huì )將數小時(shí)的文本和信息搜索變成幾秒鐘，將生成式 AI 聊天機器人從簡(jiǎn)單的對話(huà)代理發(fā)展成為真正改變游戲規則的工具，適合您和周?chē)娜恕?/p>

推薦：使用NSDT場(chǎng)景編輯器助你快速搭建可二次編輯的3D應用場(chǎng)景

如您所知，通過(guò)GenAI，我們?yōu)锳I打開(kāi)了一個(gè)窗口來(lái)生成文本或圖像之類(lèi)的東西，這很棒。

但與技術(shù)中的任何東西一樣，它伴隨著(zhù)權衡，因為GenAI模型缺乏對“好”或“壞”的認識或判斷。

實(shí)際上，他們已經(jīng)通過(guò)模仿人類(lèi)生成的數據來(lái)實(shí)現生成文本的能力，這些數據通常隱藏著(zhù)有爭議的偏見(jiàn)和可疑的內容。

可悲的是，隨著(zhù)這些模型變得越來(lái)越大，無(wú)論內容如何，簡(jiǎn)單地給它任何你能找到的文本的動(dòng)機都是特別誘人的。

這會(huì )帶來(lái)巨大的風(fēng)險。

由于缺乏判斷力，基礎大型語(yǔ)言模型或通常所說(shuō)的基本LLM特別危險，因為它們非常容易受到學(xué)習訓練數據隱藏的偏見(jiàn)的影響，因為它們重演了相同的行為。

例如，如果數據偏向種族主義，這些LLM就會(huì )成為它的活生生的體現。這同樣適用于同性戀恐懼癥和你能想象到的任何其他歧視。

因此，考慮到許多人將互聯(lián)網(wǎng)視為測試他們不道德和不道德極限的完美游樂(lè )場(chǎng)，LLM已經(jīng)接受了幾乎所有互聯(lián)網(wǎng)的培訓，沒(méi)有任何護欄的事實(shí)說(shuō)明了潛在的風(fēng)險。

值得慶幸的是，像 ChatGPT 這樣的模型是這些基本模型的演變，通過(guò)調整它們對人類(lèi)認為“適當”的反應來(lái)實(shí)現的。

這是使用一種被稱(chēng)為人類(lèi)反饋強化學(xué)習（RLHF）的獎勵機制完成的。

特別是，ChatGPT通過(guò)OpenAI工程師的命令性判斷進(jìn)行了過(guò)濾，將一個(gè)非常危險的模型轉變?yōu)椴粌H偏見(jiàn)少得多，而且在遵循說(shuō)明方面也更有用和出色。

不出所料，這些LLM通常被稱(chēng)為指令調整語(yǔ)言模型。

當然，OpenAI工程師不應該負責決定對世界其他地方的好壞，因為他們也有相當多的偏見(jiàn)（文化，種族等）。

歸根結底，即使是最有道德的人也有偏見(jiàn)。

不用說(shuō)，這個(gè)過(guò)程并不完美。

我們已經(jīng)看到，在一些案例中，這些模型盡管據稱(chēng)是一致的，但對用戶(hù)采取了粗略的、幾乎是卑鄙的方式，正如許多 Bing 所遭受的那樣，迫使Microsoft將交互的上下文限制在事情橫盤(pán)整理之前只有幾條消息。

考慮到所有這些，當兩位前OpenAI研究人員創(chuàng )立Anthropic時(shí)，他們想到了另一個(gè)想法...... 他們將使用人工智能而不是人類(lèi)來(lái)對齊他們的模型，并采用完全革命性的自我對齊概念。

首先，該團隊起草了一部憲法，其中包括《世界人權宣言》或蘋(píng)果的服務(wù)條款。

通過(guò)這種方式，該模型不僅被教導預測句子中的下一個(gè)單詞（就像任何其他語(yǔ)言模型一樣），而且還必須在它給出的每個(gè)響應中考慮決定它可以說(shuō)什么或不說(shuō)什么的憲法。

接下來(lái)，真正的人工智能不是人類(lèi)，而是負責對齊模型，有可能將其從人類(lèi)偏見(jiàn)中解放出來(lái)。

但Anthropic最近發(fā)布的關(guān)鍵消息不是將他們的模型與人類(lèi)可以容忍和利用AI的東西對齊的概念，而是最近的一項公告，使Claude成為GenAI戰爭中堅定不移的主導者。

具體來(lái)說(shuō)，它已將其上下文窗口從 9，000 個(gè)代幣增加到 100，000 個(gè)。前所未有的改進(jìn)，具有無(wú)與倫比的影響。

但這是什么意思，這些含義是什么？

讓我明確一點(diǎn)，這個(gè)“代幣”概念的重要性不容忽視，因為盡管很多人可能會(huì )告訴你，LLM 不會(huì )預測序列中的下一個(gè)單詞......至少不是字面意思。

生成響應時(shí)，LLM 會(huì )預測下一個(gè)標記，該標記通常表示 3 到 4 個(gè)字符，而不是下一個(gè)單詞。

當然，這些標記可以代表一個(gè)單詞，或者單詞可以由其中幾個(gè)組成（作為參考，100 個(gè)標記代表大約 75 個(gè)單詞）。

在運行推理時(shí)，像 ChatGPT 這樣的模型將你提供給它們的文本分解成幾部分，并執行一系列矩陣計算，這個(gè)概念被定義為自我注意，將文本中的所有不同標記組合在一起，以了解每個(gè)標記如何影響其余部分。

這樣，模型就可以“學(xué)習”文本的含義和上下文，然后可以繼續響應。

問(wèn)題是這個(gè)過(guò)程對于模型來(lái)說(shuō)是非常計算密集型的。

準確地說(shuō)，計算要求與輸入長(cháng)度是二次的，因此您提供的文本（稱(chēng)為上下文窗口）越長(cháng)，在訓練和推理時(shí)間中運行模型的成本就越高。

這些迫使研究人員大大限制提供給這些模型的輸入大小，大約在2，000到8，000個(gè)令牌之間的標準比例，后者約為6，000個(gè)單詞。

可以預見(jiàn)的是，限制上下文窗口已經(jīng)嚴重削弱了LLM影響我們生活的能力，使它們成為一個(gè)有趣的工具，可以幫助您解決一些事情。

但是，為什么增加此上下文窗口可以釋放LLM的最大潛力？

嗯，很簡(jiǎn)單，因為它解鎖了LLM最強大的功能，上下文學(xué)習。

簡(jiǎn)而言之，LLM具有一種罕見(jiàn)的能力，使他們能夠“在旅途中”學(xué)習。

如您所知，培訓LLM既昂貴又危險，特別是因為要培訓它們，您必須將您的數據交給他們，如果您想保護您的隱私，這不是最佳選擇。

此外，每天都有新數據出現，所以如果你不得不不斷地微調——進(jìn)一步訓練——你的模型，LLM的商業(yè)案例將絕對被拆除。

幸運的是，LLM擅長(cháng)這個(gè)被描述為上下文學(xué)習的概念，這是他們在不實(shí)際修改模型權重的情況下學(xué)習的能力。

換句話(huà)說(shuō)，他們可以學(xué)會(huì )回答您的查詢(xún)，只需向他們提供所需的數據，同時(shí)您向他們請求您需要的任何內容......無(wú)需實(shí)際訓練模型。

這個(gè)概念，也稱(chēng)為零鏡頭學(xué)習或少鏡頭學(xué)習（取決于它需要多少次看到要學(xué)習的數據），是LLM使用他們以前從未見(jiàn)過(guò)的數據準確響應給定請求的能力，直到那個(gè)時(shí)間點(diǎn)。

因此，上下文窗口越大，您可以提供給它們的數據就越多，因此它可以回答的查詢(xún)就越復雜。

因此，盡管小上下文窗口可以用于聊天和其他更簡(jiǎn)單的任務(wù)，但它們完全無(wú)法處理真正強大的任務(wù)......直到現在。

我會(huì )進(jìn)入正題。

正如我之前提到的，最新版本的 Claude 1.3 版可以一次性攝取 100，000 個(gè)代幣，或大約 75，000 個(gè)單詞。

但這并不能告訴你很多，不是嗎？

讓我給你一個(gè)更好的了解，什么是適合75，000字。

你現在正在閱讀的文章不到2字，比Claude現在一口氣攝入的文章少了000.37倍以上。

但是什么是可比規模的例子？ 好吧，更具體地說(shuō)，75，000字代表：

• 大約瑪麗雪萊的弗蘭肯斯坦書(shū)的總長(cháng)度

• 整本《哈利·波特與魔法石》全書(shū)，共 76，944 字

• 任何納尼亞傳奇書(shū)籍，因為所有書(shū)籍的字數都較小

• 最令人印象深刻的是，它足以包括多達 8 部星球大戰電影的對話(huà)......組合的
  

現在，考慮一個(gè)聊天機器人，它可以在幾秒鐘內讓你有能力向它詢(xún)問(wèn)任何你想要的關(guān)于任何給定文本的信息。

例如，我最近看了一個(gè)視頻，他們給了Claude一個(gè)長(cháng)達五個(gè)小時(shí)的約翰·科馬克播客，這個(gè)模型不僅能夠用幾個(gè)詞總結整個(gè)播客，還能夠在五個(gè)小時(shí)的演講中指出在一個(gè)精確的時(shí)刻所說(shuō)的特定內容。

令人難以置信的是，這個(gè)模型不僅能夠用75，000字的成績(jì)單做到這一點(diǎn)，而且令人興奮的是，它還可以使用它第一次看到的數據。

毫無(wú)疑問(wèn)，對于學(xué)生、律師、研究科學(xué)家以及基本上任何必須同時(shí)處理大量數據的人來(lái)說(shuō)，這是巔峰解決方案。

對我來(lái)說(shuō)，這是人工智能的范式轉變，這是我們很少見(jiàn)過(guò)的。

毫無(wú)疑問(wèn)，真正顛覆性創(chuàng )新的大門(mén)已經(jīng)為法學(xué)碩士打開(kāi)。

令人難以置信的是，人工智能在短短幾個(gè)月內發(fā)生了怎樣的變化，每周的變化速度也有多快。我們唯一知道的是它正在發(fā)生變化......一次一個(gè)令牌。

原文鏈接：ChatGPT被廢黜：Claude如何成為新的AI領(lǐng)導者 (mvrlink.com)