1月13日消息,馬斯克在CES期間接受采訪時(shí)指出,,現(xiàn)實(shí)世界能用來(lái)訓(xùn)練AI模型的資料,,已經(jīng)消耗的差不多了。
馬斯克表示,,基本上,AI訓(xùn)練已經(jīng)將人類累計(jì)的知識(shí)全數(shù)耗盡,,而這個(gè)時(shí)間點(diǎn)就是去年(2024年),。
馬斯克的這一觀點(diǎn)呼應(yīng)了OpenAI前科學(xué)長(zhǎng)Ilya Sutskever在去年12月機(jī)器學(xué)習(xí)會(huì)議“NeurIPS”上的說(shuō)法,Sutskever當(dāng)時(shí)表示,,AI產(chǎn)業(yè)能夠消耗的數(shù)據(jù)已經(jīng)達(dá)到了頂峰,。
面對(duì)現(xiàn)實(shí)世界數(shù)據(jù)的枯竭,馬斯克暗示合成數(shù)據(jù)(synthetic data)將是未來(lái)的發(fā)展方向,。
他指出,,補(bǔ)充現(xiàn)實(shí)世界數(shù)據(jù)的唯一方法就是合成數(shù)據(jù),由AI自行生成用于訓(xùn)練的數(shù)據(jù),通過合成數(shù)據(jù),,AI將能夠?yàn)樽约捍蚍?,并展開自我學(xué)習(xí)的過程。
事實(shí)上,,許多科技巨頭已經(jīng)開始使用合成數(shù)據(jù)來(lái)訓(xùn)練AI模型,,微軟、Meta,、OpenAI及Anthropic等企業(yè)已經(jīng)在其AI模型訓(xùn)練中廣泛應(yīng)用合成數(shù)據(jù),。
科技市場(chǎng)研究機(jī)構(gòu)Gartner估計(jì),2024年AI及分析項(xiàng)目使用的數(shù)據(jù)中,,約60%是合成數(shù)據(jù),。
例如,微軟在1月8日開源的AI模型“Phi-4”就是通過合成數(shù)據(jù)結(jié)合現(xiàn)實(shí)世界數(shù)據(jù)進(jìn)行訓(xùn)練的,,谷歌的“Gemma”模型也采用了類似的方法,。
Anthropic使用部分合成數(shù)據(jù)開發(fā)了表現(xiàn)最佳的系統(tǒng)之一“Claude 3.5 Sonnet”,而Meta則運(yùn)用AI生成數(shù)據(jù)來(lái)微調(diào)其最新推出的Llama系列模型,。