Meta推出開(kāi)源AI模型Llama 4
由于DeepSeek等競品引發(fā)壓力,Meta推出新一代AI模型集合Llama 4。目前,Llama 4擁有Scout和Maverick兩個(gè)版本,均以開(kāi)源形式發(fā)布。Meta在聲明中表示,Llama 4是一個(gè)多模態(tài)AI系統,能夠處理和整合文本、視頻、圖像、音頻等多種數據類(lèi)型,并能在不同格式之間實(shí)現內容轉換。
本文引用地址:http://dyxdggzs.com/article/202504/469153.htmLlama 4系列是Meta首款采用混合專(zhuān)家架構(MoE)的模型,這一架構在模型訓練及用戶(hù)查詢(xún)回答過(guò)程中展現出更高效率,通過(guò)將模型劃分為多個(gè)專(zhuān)注于特定任務(wù)的“專(zhuān)家”子模型,實(shí)現精準而高效的處理。中國AI實(shí)驗室DeepSeek開(kāi)源模型的成功(其性能與Meta之前的旗艦Llama模型相當甚至更優(yōu))促使Llama開(kāi)發(fā)進(jìn)入加速模式,據說(shuō)Meta組建了緊急工作組,以破解DeepSeek如何降低R1和V3等模型的運行和部署成本。
Scout版本配備170億活躍參數、16個(gè)“專(zhuān)家”模型及1090億總參數;而Maverick版本同樣擁有170億活躍參數,但“專(zhuān)家”模型數量增加至128個(gè),總參數量飆升至4000億。此外,Meta還預告了Llama 4 Behemoth,稱(chēng)其為“全球最聰明的語(yǔ)言模型之一,將作為未來(lái)模型訓練的教師模型”。
Scout和Maverick已在Llama.com和Meta合作伙伴(包括AI開(kāi)發(fā)平臺Hugging Face)上公開(kāi)提供,而B(niǎo)ehemoth仍在訓練中。Meta表示,其AI助手Meta AI已在40個(gè)國家的WhatsApp、Messenger和Instagram等應用中更新為使用Llama 4。多模態(tài)功能目前僅限美國地區使用英語(yǔ)。
Meta尚未發(fā)布的Behemoth將需要更強大的硬件,擁有2880億活躍參數、16位專(zhuān)家和近2萬(wàn)億總參數。Meta的內部基準測試顯示,Behemoth在衡量數學(xué)問(wèn)題解決等STEM技能的多項評估中優(yōu)于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro(但不及2.5 Pro)。
Llama 4模型系列中沒(méi)有一個(gè)是類(lèi)似OpenAI的o1和o3-mini那樣的真正"推理"模型,推理模型會(huì )對其回答進(jìn)行事實(shí)檢查,通常對問(wèn)題的回應更可靠,但因此比傳統的"非推理"模型需要更長(cháng)時(shí)間來(lái)提供答案。另外,Meta表示它調整了所有Llama 4模型,使其拒絕回答"有爭議"問(wèn)題的頻率降低,表示Llama 4在處理它完全不會(huì )回應的提示方面"平衡性大大提高"。
但是值得注意的是,Llama 4在內部基準測試中“表現不佳”,尤其是在數學(xué)處理能力和推理能力方面。雖然目前Llama 4仍需更多時(shí)間優(yōu)化,據稱(chēng)扎克伯格此前給全員下了死命令,4月底是Llama 4交付最后期限。
評論