當(dāng)大模型不再稀缺:得數(shù)據(jù)者得天下
緊隨OpenAI、谷歌的步伐,國(guó)內(nèi)大模型軍備競(jìng)賽正打得火熱。繼百度、三六零之后,本周阿里、華為、京東等大模型陸續(xù)浮出水面。
大模型不再稀缺之后,AI競(jìng)賽的下一步將走向何處?民生證券分析師呂偉發(fā)表研報(bào)指出,盡管目前表面上大模型百花齊放,但是能夠擁有高質(zhì)量數(shù)據(jù)場(chǎng)景助力持續(xù)迭代,使得逐步性能逼近ChatGPT的大模型預(yù)計(jì)最終仍是“鳳毛麟角”。數(shù)據(jù)將成為差異化競(jìng)爭(zhēng)的關(guān)鍵,最終是得數(shù)據(jù)者得天下。
分析師認(rèn)為,未來(lái)的AI競(jìng)爭(zhēng)中,三類(lèi)企業(yè)將掌控主動(dòng)權(quán):
(資料圖片僅供參考)
1.同時(shí)擁有搜索引擎、瀏覽器、辦公插件等高質(zhì)量數(shù)據(jù)的公司;
2.掌握音箱、攝像頭等物聯(lián)網(wǎng)終端數(shù)據(jù)的公司;
3.垂直行業(yè)有絕佳數(shù)據(jù)卡位優(yōu)勢(shì)的企業(yè)。
具體來(lái)看:
搜索引擎公司
搜索引擎公司天然具備數(shù)十年網(wǎng)絡(luò)爬蟲(chóng)積累的高質(zhì)量互聯(lián)網(wǎng)數(shù)據(jù)資源,而且憑借這一數(shù)據(jù)卡位戰(zhàn)略入口,其數(shù)據(jù)資源與質(zhì)量仍將不斷迭代提升:當(dāng)搜索引擎爬蟲(chóng)完成對(duì)某個(gè)網(wǎng)站或者某個(gè)主題下所有相關(guān)網(wǎng)站的抽取后,需要對(duì)其進(jìn)行處理和分析。這通常包括以下幾個(gè)方面:1)數(shù)據(jù)清洗與去重;2)數(shù)據(jù)挖掘與分析;3)建立索引以便后續(xù)查詢。
繼微軟公司已經(jīng)在其必應(yīng)(Bing)搜索引擎中部署ChatGPT系統(tǒng)背后的技術(shù)后,據(jù)《華爾街日?qǐng)?bào)》4月6日?qǐng)?bào)道,谷歌CEOSundarPichai透露,谷歌計(jì)劃在其搜索引擎中添加AI對(duì)話功能,目前該公司正在對(duì)幾種搜索引擎版本進(jìn)行測(cè)試。他表示,此舉是為了應(yīng)對(duì)ChatGPT等聊天機(jī)器人帶來(lái)的競(jìng)爭(zhēng)和商業(yè)壓力,但聊天機(jī)器人不會(huì)對(duì)谷歌的搜索業(yè)務(wù)構(gòu)成威脅,AI的進(jìn)步反而能進(jìn)一步增強(qiáng)谷歌的信息檢索能力。
從GPT-1的1.17億參數(shù)到GPT-2的15億參數(shù),再到GPT-3劃時(shí)代的1750億參數(shù),OpenAI依托篩選過(guò)的優(yōu)質(zhì)數(shù)據(jù)形成參數(shù)量的階梯式上升,最終帶來(lái)GPT-3乃至ChatGPT具備理解上下文、連貫性等諸多先進(jìn)特征。
在提出GPT-3的論文《LanguageModelsareFew-ShotLearners》中,OpenAI在收集近一萬(wàn)億文字(參數(shù))的數(shù)據(jù)庫(kù)后,放棄直接使用海量數(shù)據(jù)訓(xùn)練模型,而是轉(zhuǎn)向通過(guò)三種模式篩選優(yōu)質(zhì)數(shù)據(jù)進(jìn)行訓(xùn)練,從而從萬(wàn)億參數(shù)歸納出眾人所熟知的1750億參數(shù),其核心原因在于“未經(jīng)過(guò)濾或輕度過(guò)濾的爬蟲(chóng)數(shù)據(jù)往往比篩選后數(shù)據(jù)集質(zhì)量更低”。
物聯(lián)網(wǎng)終端
近期天貓精靈。通過(guò)音箱端接入阿里大模型,做出了一款阿里版ChatGPT個(gè)性化語(yǔ)音助手,標(biāo)志這一趨勢(shì)已經(jīng)開(kāi)啟。AIoT終端的“賣(mài)鏟人”以及視頻攝像頭數(shù)據(jù)入口企業(yè)都擁有巨大優(yōu)勢(shì)。
垂直行業(yè)有絕佳數(shù)據(jù)卡位優(yōu)勢(shì)的企業(yè)
彭博新聞社近期發(fā)布了專(zhuān)門(mén)為金融領(lǐng)域打造的大型語(yǔ)言模型(LLM)—BloombergGPT就是垂直數(shù)據(jù)優(yōu)勢(shì)“挑戰(zhàn)”巨頭通用大模型的案例。
在過(guò)去40年里,彭博收集了海量的金融市場(chǎng)數(shù)據(jù),擁有廣泛的金融數(shù)據(jù)檔案,涵蓋一系列的主題。使用該公司數(shù)據(jù)終端的客戶遍布全球,包括交易員、投行、美聯(lián)儲(chǔ)、美國(guó)其他官方機(jī)構(gòu)以及全球各大央行等。這些特有數(shù)據(jù),使得BloombergGPT比ChatGPT擁有更專(zhuān)業(yè)的訓(xùn)練語(yǔ)料。
據(jù)彭博社發(fā)布的報(bào)告中可以看出,研究人員利用彭博社現(xiàn)有的數(shù)據(jù),對(duì)資源進(jìn)行創(chuàng)建、收集和整理,構(gòu)建了一個(gè)3630億個(gè)標(biāo)簽的數(shù)據(jù)集,并基于通用和金融業(yè)務(wù)的場(chǎng)景進(jìn)行混合模型訓(xùn)練,以支持金融行業(yè)內(nèi)各種各樣的自然語(yǔ)言處理(NLP)任務(wù)。
映射至國(guó)內(nèi),掌握垂直優(yōu)質(zhì)數(shù)據(jù)的公司,將有機(jī)會(huì)開(kāi)發(fā)自己的BloombergGPT。
本文主要觀點(diǎn)來(lái)自民生證券呂偉(執(zhí)業(yè):S0100521110003)發(fā)表的研報(bào)《當(dāng)大模型不再稀缺:得數(shù)據(jù)者得天下》,有刪節(jié)
風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn),投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議,也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。關(guān)鍵詞: