Meta 高管澄清:新 AI 模型 Llama 4 訓練“作弊”傳言不屬實(shí)
4 月 8 日消息,Meta 公司的一位高管出面澄清了一則關(guān)于公司新 AI 模型的不實(shí)傳言。該傳言聲稱(chēng) Meta 在其新推出的 Llama 4 Maverick 和 Llama 4 Scout 模型上存在不當行為,即通過(guò)在特定基準測試的“測試集”上進(jìn)行訓練來(lái)提升模型的測試表現,同時(shí)隱藏模型的不足之處。
本文引用地址:http://dyxdggzs.com/article/202504/469133.htmMeta 公司生成式人工智能副總裁艾哈邁德?阿爾?達赫勒(Ahmad Al-Dahle)在社交平臺 X 上發(fā)表聲明稱(chēng),這種說(shuō)法“根本不屬實(shí)”。
在人工智能領(lǐng)域,測試集是用于在模型訓練完成后評估其性能的數據集合。如果在測試集上進(jìn)行訓練,可能會(huì )人為地提高模型的基準測試分數,從而使模型看起來(lái)比實(shí)際更強大。
值得一提的是,Maverick 和 Scout 在某些任務(wù)上的表現不佳,以及 Meta 選擇使用未發(fā)布的實(shí)驗版本 Maverick 來(lái)在基準測試平臺 LM Arena 上獲得更好成績(jì)的決定,都為這一謠言提供了“燃料”。研究人員觀(guān)察到,可公開(kāi)下載的 Maverick 與在 LM Arena 上托管的模型在行為上存在顯著(zhù)差異。
阿爾?達赫勒承認,部分用戶(hù)在使用不同云服務(wù)提供商提供的 Maverick 和 Scout 模型時(shí),確實(shí)遇到了“質(zhì)量參差不齊”的情況。他解釋道:“由于我們在模型準備好后就立即發(fā)布了,我們預計需要幾天時(shí)間才能讓所有公開(kāi)的實(shí)現版本都調整到位。我們將繼續進(jìn)行錯誤修復并與合作伙伴進(jìn)行對接?!?/p>
評論