當(dāng)?shù)貢r(shí)間周一,科技媒體The Information援引一位Meta員工消息報(bào)道稱,該公司計(jì)劃在下周推出兩個(gè)小型的Llama 3大語言模型(LLM),作為夏季推出正式版Llama 3的先行版本。
這兩個(gè)小模型的發(fā)布,預(yù)計(jì)將為Llama 3的正式亮相進(jìn)行鋪墊。Meta在去年7月份發(fā)布了Llama 2,此后,包括谷歌、馬斯克旗下的xAI與Mistral等在內(nèi)的數(shù)家公司發(fā)布了開源的大語言模型,競(jìng)爭十分激烈。
Llama 3直接對(duì)標(biāo)OpenAI的GPT-4,后者已經(jīng)成為一個(gè)強(qiáng)大的多模態(tài)模型,不僅能夠處理更長的文本,還支持圖像輸入。
報(bào)道稱,正式版Llama 3也將支持多模態(tài)處理,即同時(shí)理解和生成文本及圖片;而先行推出的兩個(gè)小版本則不具備這一能力。
一般而言,較小的模型成本更低,運(yùn)行更快,尤其在運(yùn)行大型模型成本高昂的當(dāng)下,其價(jià)值尤為凸顯。小型模型還便于開發(fā)者在移動(dòng)設(shè)備上開發(fā)人工智能軟件。
Meta此前已推出三個(gè)版本的Llama 2,其中最大的一個(gè)擁有700億個(gè)參數(shù),另外兩個(gè)版本分別擁有130億和70億個(gè)參數(shù)。
據(jù)硬AI此前文章,Llama 3的最大版本可能會(huì)擁有超過1400億個(gè)參數(shù)。
Meta還將在Llama 3中改進(jìn)Llama 2在響應(yīng)爭議性話題時(shí)過于保守的問題,研究人員計(jì)劃放松大模型在這一方面的限制,以便它更多地與用戶互動(dòng),提供背景信息,而不僅僅是拒絕回答。