用魔法打敗魔法：抓住AI槍手，ChatGPT檢測器“千呼萬(wàn)喚始出來(lái)”
加入技術(shù)交流群
OpenAI的聊天機器人ChatGPT自從發(fā)布以來(lái)，正變得越來(lái)越強大，從接受普通網(wǎng)友的“調戲”，到“低空飛過(guò)”明尼蘇達大學(xué)法學(xué)院和沃頓商學(xué)院的課程考試，甚至通過(guò)了醫學(xué)考試，以至于開(kāi)始成為學(xué)校老師的“公敵”。如果不加以限制，ChatGPT將會(huì )變成史上最強大的作弊工具——幫助學(xué)生們寫(xiě)作業(yè)，甚至是完成考試論文。
正如我們之前所說(shuō)的，越來(lái)越多的學(xué)校和老師已經(jīng)表達了對ChatGPT作弊能力的擔憂(yōu)。紐約市和西雅圖的公立學(xué)校已經(jīng)禁止學(xué)生和教師在學(xué)區的網(wǎng)絡(luò )和設備上使用ChatGPT。
但是，靠著(zhù)老師和學(xué)校的盯梢，想要讓學(xué)生們避開(kāi)ChatGPT的誘惑，幾乎是不可能的事。所以，打開(kāi)了潘多拉盒子的OpenAI，只好自己出馬，用魔法來(lái)打敗魔法。
| 用魔法打敗魔法
今天，OpenAI官宣推出一個(gè)新工具，立馬又上了頭條：一個(gè)名為AI Text Classifier 的文件檢測器，來(lái)幫助人們檢測一段文本是由人類(lèi)自己創(chuàng )作，還是由AI編寫(xiě)的。
不過(guò)有點(diǎn)戲劇性的是，這個(gè)檢測器也同樣是基于GPT模型。根據OpenAI的介紹，這個(gè)AI文本分類(lèi)器是一個(gè)經(jīng)過(guò)微調的GPT模型，可以檢測一段文本是否是來(lái)自于市面上的各種AI工具， 包括但不限于ChatGPT。
該工具包含一個(gè)文本框，用戶(hù)可以在其中輸入至少 1000 個(gè)字符長(cháng)的文本，點(diǎn)擊提交后，每個(gè)文檔會(huì )被判斷為“非常不可能”、“不太可能”、“不清楚是否是”、“可能是”AI生成的。
根據OpenAI的說(shuō)明，這個(gè)檢測器也有不少限制，包括：
? 至少需要 1,000 個(gè)字符，即大約 150 - 250 個(gè)單詞。
? 結果也并不能保證完全準確；它可能會(huì )錯誤標記 AI 生成的文本和人工編寫(xiě)的文本。
? 人類(lèi)用戶(hù)可以簡(jiǎn)單編輯 AI 生成的文本，以避開(kāi)檢測。
? 檢測器有可能會(huì )錯判兒童寫(xiě)的文本和非英語(yǔ)文本上，因為它主要是針對成人書(shū)寫(xiě)的英語(yǔ)內容進(jìn)行訓練的。
那到底ChatGPT和ChatGPT檢測器，誰(shuí)厲害？硅星人進(jìn)行了測試。
我們先要求 ChatGPT 寫(xiě)一篇超過(guò)1200字的關(guān)于無(wú)人駕駛汽車(chē)的文章，然后全文輸入檢測器，檢測器很準確地識別出來(lái)，將其判斷為“可能由 AI 生成”。
在硅星人的小樣本量測試上，這個(gè)檢測器雖然有一定程度的準確性，但是要迷惑它，對于狡猾的人類(lèi)來(lái)說(shuō)，簡(jiǎn)直是輕而易舉。
OpenAI 顯然也意識到了這個(gè)工具的局限性，因為它在博客里強調，不要僅僅憑借這個(gè)檢測器來(lái)確定內容的真實(shí)性，“在確定文檔是否由 AI 生成時(shí)，檢測結果可能會(huì )有所幫助，但不應成為唯一的證據。”
OpenAI在這個(gè)檢測器里，使用了來(lái)自多個(gè)來(lái)源的 AI 生成的文本樣本和人工編寫(xiě)的樣本來(lái)訓練模型。
AI 生成的文本樣本方面，他們使用了包括 OpenAI在內的 5 個(gè)不同機構開(kāi)發(fā)的 34 個(gè)模型生成的文本來(lái)進(jìn)行訓練。而人工編寫(xiě)的文本有三個(gè)來(lái)源，包括一個(gè)新的維基百科數據集、2019 年收集的WebText 數據集，以及訓練InstructGPT時(shí)收集的部分數據。
OpenAI也對檢測器在進(jìn)行測試時(shí)的準確性進(jìn)行了詳細說(shuō)明：
-大約 5% 的人工撰寫(xiě)的文本和 2% 的人工智能生成的文本，被判定為“非常不可能由 AI 生成”；-大約 15% 的人工編寫(xiě)文本和 10% 的人工智能生成的文本，被歸為“不太可能是 AI 生成”；-大約 50% 的人工編寫(xiě)的文本和 34% 的人工智能生成的文本，被歸為“不清楚是不是AI生成”；-大約 -21% 的人工編寫(xiě)的文本和 28% 的人工智能生成的文本被歸為“可能是 AI 生成”；-大約 9% 的人工編寫(xiě)的文本和 26% 的人工智能生成的文本，被歸為“可能由 AI 生成”。
可以看出來(lái)，想要靠這個(gè)檢測器全部抓住AI槍手，可能真的有些困難了。
| 檢測器成為剛需
正如前文所說(shuō)的，ChatGPT在學(xué)校里已經(jīng)如野火一般蔓延開(kāi)來(lái)。一款簡(jiǎn)單易用的檢測器成為老師們翹首以盼的東西。
早在OpenAI推出自己的檢測器之前，一位年僅22歲的普林斯頓大學(xué)的學(xué)生Edward Tian，就自行開(kāi)發(fā)了一款檢測器——GPTZero。
同樣的，用戶(hù)只需將文本復制并粘貼到GPTZero中。檢測器會(huì )從文本的復雜性、創(chuàng )造性和變化性幾個(gè)方面來(lái)進(jìn)行評估。然后，GPTZero 會(huì )給出一個(gè)分數，并最終得出一個(gè)結果：該文本是由 ChatGPT 生成的，還是由人類(lèi)撰寫(xiě)的。Edward Tian 主修計算機科學(xué)，輔修新聞學(xué)，他利用寒假的一部分時(shí)間創(chuàng )建了 GPTZero，可以“快速有效地”破譯一篇文章是人類(lèi)還是 ChatGPT 撰寫(xiě)的。他在Twitter上稱(chēng)，創(chuàng )建該機器人的動(dòng)機是為了對抗他認為越來(lái)越多的 AI 剽竊行為。
為了確定文章是否由機器人編寫(xiě)，GPTZero 使用兩個(gè)指標：“困惑度（Perplexity）”和“突發(fā)性（Burstiness）”。
一個(gè)指標是用困惑度衡量文本的復雜性。如果 GPTZero 對文本感到困惑，那么該文本具有很高的復雜性并且更有可能是人工編寫(xiě)的。然而，如果文本對機器人來(lái)說(shuō)更熟悉——因為它已經(jīng)接受過(guò)此類(lèi)數據的訓練——那么它的復雜性就會(huì )很低，因此更有可能是由 AI 生成的。
另外一個(gè)指標是用突發(fā)性比較句子的變化。人類(lèi)傾向于以更大的突發(fā)性寫(xiě)作，例如會(huì )綜合使用一些較長(cháng)或復雜的句子與較短的句子，而AI 的句子往往更統一。
1 月 3 日，該網(wǎng)站上線(xiàn)，一周內立馬就有超過(guò) 3萬(wàn) 人試用，以至于程序都崩潰了，更有超過(guò) 700 萬(wàn)人在 Twitter 上觀(guān)看了演示視頻。老師們也馬上注意到這款工具，紛紛聯(lián)系他。現在，他正在開(kāi)發(fā)一款專(zhuān)為教育工作者設計的工具，已經(jīng)有3.3萬(wàn)名教師加入了這款還未開(kāi)發(fā)完成的工具的等待名單（waitlist）。當然，Edward Tian 也承認，他的檢測也并非百分之百準確，一些用戶(hù)也報告了 GPTZero 檢測的錯誤結果，不過(guò)他說(shuō)他仍在努力提高模型的準確性。
開(kāi)源 AI 社區Hugging Face 也推出了一種工具來(lái)檢測文本是否由 GPT-2 創(chuàng )建。GPT-2 是用于開(kāi)發(fā) ChatGPT 的 AI 模型的早期版本。南卡羅來(lái)納州的一位哲學(xué)教授用這個(gè)工具抓獲了一名提交了 AI 編寫(xiě)的作業(yè)的學(xué)生。OpenAI 自己也已表示將致力于從源頭上提高AI生成文本的透明性。此前，OpenAI 專(zhuān)注于 AI 安全的研究員 Scott Aaronson 透露，他們已經(jīng)在研究怎么用“不易察覺(jué)的秘密信號”，為 GPT 生成的文本“加水印”，以讓人們識別其來(lái)源。
另外，根據新聞網(wǎng)站Neowin的消息，包括斯坦福大學(xué)在內的一些機構，聯(lián)合提出一種名為DetectGPT的新方法，來(lái)區分AI生成的文章。
在相關(guān)網(wǎng)站上，該綜述稱(chēng)，DetectGPT 的這種方法不需要訓練單獨的分類(lèi)器、收集真實(shí)或生成的段落的數據集，或顯式地為生成的文本加水印，就可以大檢測一段文本是否為機器編寫(xiě)。
如果該綜述為真，那很有可能人類(lèi)終于可以再次抓住AI的小辮子，把主動(dòng)權重新掌握在自己手中。
圖片來(lái)源：https://ericmitchell.ai/detectgpt/| ChatGPT再進(jìn)化
另外值得一提的是，道高一尺，魔高一丈。雖然不少機構和開(kāi)發(fā)者開(kāi)始推出“AI檢測器”，但是與此同時(shí)，OpenAI也在繼續推動(dòng)ChatGPT的再進(jìn)化，進(jìn)一步補全ChatGPT的短板——數學(xué)。
本周，OpenAI推出了新版本的ChatGPT，表示經(jīng)過(guò)更新，已經(jīng)提升了準確性和真實(shí)性，以及數學(xué)能力，預計 ChatGPT 的最新更新將使其能夠處理復雜的計算并提供更精確的答案。
此前，ChatGPT的數學(xué)飽受詬病，很多基礎數學(xué)問(wèn)題都會(huì )犯錯，尤其是在犯了知名的“老婆說(shuō)的都是對的”錯誤后，更是受到了全網(wǎng)群嘲。
在上一個(gè)版本中，有網(wǎng)友問(wèn)它2+5等于幾，一開(kāi)始ChatGPT給出了正確的回答，但是在網(wǎng)友回復說(shuō)“我老婆說(shuō)是8”之后，ChatGPT飛快改口，說(shuō)自己搞錯了。
圖片來(lái)源：Twitter
新版本發(fā)布后，至少這一點(diǎn)得到了糾正。
不過(guò)，新版本仍舊有不少錯誤。有記者問(wèn)ChatGPT，奧尼爾和姚明誰(shuí)更高，盡管給出了這兩個(gè)人的正確身高，ChatGPT仍然會(huì )出錯。有趣的是，這次在指出它的錯誤后，它會(huì )自行改正。
可能一個(gè)明顯的進(jìn)步在于，ChatGPT 已經(jīng)能夠通過(guò) SAT 的部分數學(xué)試題，而且一如既往地，回答神速：
看著(zhù)它驚人的進(jìn)化速度，究竟ChatGPT和它的檢測器們，誰(shuí)能跑的更快呢？
如果想要自己親手試一試，或者了解檢測器的更多信息，可以查看這里：https://platform.openai.com/ai-text-classifier
注：封面圖來(lái)自于Pixabay，版權屬于原作者。如果不同意使用，請盡快聯(lián)系我們，我們會(huì )立即刪除。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
