1 月 23 日消息,據(jù)晚點(diǎn) LatePost 報(bào)道,,1 月下旬,,字節(jié)正式設(shè)立代號(hào)為“Seed Edge”的研究項(xiàng)目,核心目標(biāo)是做比預(yù)訓(xùn)練和大模型迭代更長(zhǎng)期,、更基礎(chǔ)的 AGI 前沿研究,Seed Edge 已擬定 5 大研究方向,。
下一代推理:探索更高效且更通用,、提升模型推理能力的方法,。
下一代感知:找到統(tǒng)一生成和理解表示的方法,表示和壓縮真實(shí)世界,,構(gòu)建“世界模型”,。
軟硬一體的模型設(shè)計(jì):從軟硬一體出發(fā),探索 Transformer+GPU 之外的模型設(shè)計(jì),,發(fā)揮下一代硬件的能力,。
下一代范式:在反向傳播、Transformer 架構(gòu),、預(yù)訓(xùn)練 + 對(duì)齊的模式之外,,探索更高效的模型結(jié)構(gòu)和學(xué)習(xí)方法。
下一代 Scaling 方向:在預(yù)訓(xùn)練和推理階段的 Scaling Laws 之外,,探索 Multi-Agent(多智能體)和 Test-Time Training(測(cè)試時(shí)間訓(xùn)練,,動(dòng)態(tài)調(diào)整模型參數(shù))等方向。
據(jù)了解,,Seed Edge 會(huì)先以虛擬項(xiàng)目組的方式運(yùn)行,,探索這些不確定性更強(qiáng)的研究方向。
過(guò)去一年,,字節(jié)跳動(dòng)密集發(fā)布了多款 AI 大模型產(chǎn)品,。就在昨天,字節(jié)跳動(dòng)還推出了豆包大模型 1.5 Pro,,增強(qiáng)了其綜合能力,,在知識(shí)、代碼,、推理,、中文等多個(gè)測(cè)評(píng)基準(zhǔn)上,據(jù)稱綜合得分優(yōu)于 GPT-4o,、Claude 3.5 Sonnet 等模型,。
字節(jié)跳動(dòng)官方介紹稱,豆包大模型 1.5 Pro 宣稱“所有模型訓(xùn)練過(guò)程中,,未使用任何其他模型生成的數(shù)據(jù)”,。豆包大模型 1.5 全產(chǎn)品,包括 Doubao-1.5-pro,,Doubao-1.5-lite,,Doubao-1.5-vision-pro 等,將繼續(xù)保持原有模型價(jià)格不變,,加量不加價(jià),。