特邀國(guó)盛證券所長(zhǎng)助理、計(jì)算機(jī)首席分析師【劉高暢】帶來(lái)最新的觀點(diǎn)。

1、產(chǎn)業(yè)變革看什么：巨大的潛在空間和顛覆性，落地速度快不是核心，空間大更關(guān)鍵。

2、DeepSpeed Chat的優(yōu)勢(shì)是效率和經(jīng)濟(jì)性比較好，它的效率比其他系統(tǒng)快15倍以上，且具有出色的擴(kuò)展性支持，可以應(yīng)用于各種模型。

(相關(guān)資料圖)

3、Deep Speed-Chat應(yīng)用的三種方式：

第一種方式是通過(guò) Fine-tune微調(diào)這種方式來(lái)進(jìn)行行業(yè)化，和know-how的融合；

第二種方式是通過(guò) plugin 接入到其他應(yīng)用程序中，調(diào)用接口并使用其他工具；

第三種方式則是通過(guò)多模態(tài)的方式，使用的輸入輸出信號(hào)除了文字，還包括圖像、視頻輸出信號(hào)以及機(jī)器人指令。

4、在應(yīng)用的爆發(fā)后，推理側(cè)的算力需求才是真正的爆發(fā)。使用量越大，對(duì)算力的需求就越高。

正文：

1999年整個(gè)互聯(lián)網(wǎng)行業(yè)的發(fā)展特點(diǎn)：巨大的潛在空間和顛覆性

在之前的幾次關(guān)于整個(gè) AI 時(shí)代的分享中，我們?cè)谌ツ甑姿械男袠I(yè)策略中強(qiáng)調(diào)了 AI 這一重要方向。然而，事實(shí)證明 AI 的演變速度和擴(kuò)散程度超出了我們的預(yù)期。與去年年底我們撰寫年度策略時(shí)相比，AI 在這幾個(gè)月的演進(jìn)中得到了質(zhì)的提升。因此，我們將其作為幾個(gè)主線中最核心的方向之一。

以前我們列出了三個(gè)并列的主線，但現(xiàn)在我們認(rèn)為 AI 是首選的主線。市場(chǎng)和產(chǎn)業(yè)發(fā)生了許多變化，主持人剛才也提到了 "AutoGPT" 和 "DeepSpeed chat"。市場(chǎng)有許多相關(guān)認(rèn)知和領(lǐng)域方面的錯(cuò)誤理解，我們今天分享的重點(diǎn)是這個(gè)行業(yè)的最新更新，幫助大家理清思路。

從行業(yè)中期的角度來(lái)看，我們之前撰寫了一份有趣的報(bào)告，分析了 1999 年互聯(lián)網(wǎng)市場(chǎng)。我們認(rèn)為，從產(chǎn)業(yè)的角度出發(fā)，我們應(yīng)該淡化對(duì)投資本身的理解，那么這些年唯一可比的科技周期就是 1999 年。因此，我們回顧了當(dāng)時(shí)的互聯(lián)網(wǎng)行情，并發(fā)現(xiàn)它們有幾個(gè)特點(diǎn)。

它們都是巨大的行業(yè)變革，同時(shí)處于產(chǎn)業(yè)的早期階段，因此很難看到營(yíng)收和盈利的變化。在早期階段，甚至產(chǎn)品形態(tài)、商業(yè)模式和競(jìng)爭(zhēng)格局都不是很明確。然而，它們最可比的特點(diǎn)是具有巨大的潛在空間和顛覆性。

當(dāng)我們回顧1999年整個(gè)互聯(lián)網(wǎng)行業(yè)的市場(chǎng)表現(xiàn)時(shí)，發(fā)現(xiàn)它的持續(xù)時(shí)間遠(yuǎn)比大家預(yù)期的要長(zhǎng)。這一行情從1998年7、8月開(kāi)始，一直持續(xù)到2000年年底。在這一過(guò)程中，出現(xiàn)了許多倍數(shù)增長(zhǎng)的牛股，股票的漲幅多達(dá)8倍、10倍或者15倍，甚至更多。

因此，在大型科技行業(yè)的早期，整個(gè)產(chǎn)業(yè)積極地?fù)肀Я诉@種新技術(shù)的變革，全社會(huì)也響應(yīng)積極。市場(chǎng)也會(huì)給予這種可能性極強(qiáng)的獎(jiǎng)勵(lì)。這一輪人工智能的發(fā)展，與當(dāng)時(shí)的情況非常相似。巨大的技術(shù)變革和極大的社會(huì)影響力，它的影響不僅限于計(jì)算機(jī)行業(yè)的400家公司，也不僅限于A股的4000家公司，它影響的是全體民眾的生活和工作，以及整個(gè)社會(huì)形態(tài)。它有可能極大地提升社會(huì)生產(chǎn)力，為我們民眾帶來(lái)巨大的便利性。但同時(shí)，它也具有極強(qiáng)的顛覆效應(yīng)。因此，某些行業(yè)可能會(huì)受到影響，整個(gè)形態(tài)也可能會(huì)發(fā)生較大的變化。

DeepSpeed Chat的優(yōu)勢(shì)和應(yīng)用

近期的 DeepSpeed Chat很多公眾號(hào)報(bào)道時(shí)寫得非?？鋸?，稱其為“全民大模型”，好像這樣的大模型開(kāi)始變得不值錢了，但事實(shí)上，DeepSpeed Chat并不是一個(gè)訓(xùn)練預(yù)訓(xùn)練大模型的工具，它更多的是在預(yù)訓(xùn)練好的大模型的基礎(chǔ)上進(jìn)行強(qiáng)化學(xué)習(xí)調(diào)優(yōu)，也就是所謂的Fine-tune或微調(diào)方式。雖然絕大多數(shù)大模型具有非常強(qiáng)的通用性，但在具體細(xì)分領(lǐng)域可能無(wú)法提供足夠的準(zhǔn)確性。

例如，如果將 ChatGPT在3.5階段的模型用于醫(yī)療診斷，準(zhǔn)確率可能只有 87%。因此，我們需要使用行業(yè)化、專業(yè)的數(shù)據(jù)和知識(shí)，以及know-how來(lái)訓(xùn)練模型，使其成為一個(gè)準(zhǔn)確性更高的醫(yī)生。

在這個(gè)過(guò)程中，F(xiàn)ine-tune需要特定領(lǐng)域的數(shù)據(jù)，以及一定模型的基礎(chǔ)，在傳統(tǒng)原有模型的基礎(chǔ)上，再來(lái)訓(xùn)練提高準(zhǔn)確性。這種過(guò)程類似于強(qiáng)化學(xué)習(xí)， Deep Speed-Chat 主要加速的就是這個(gè)環(huán)節(jié)。該引擎具有三個(gè)主要優(yōu)點(diǎn)：

第一個(gè)優(yōu)勢(shì)是效率和經(jīng)濟(jì)性比較好，它的效率比其他系統(tǒng)快15倍以上。它相對(duì)高效地利用了GPU，不像其他方式可能只能利用GPU的10％或甚至5％性能。

第二個(gè)優(yōu)勢(shì)是它具有出色的擴(kuò)展性支持，可以應(yīng)用于各種模型，不僅僅是像Hugging Face的Bloom這樣的模型，還包括像openAI的ChatGPT，GPT-3還有各類的GPT3模型。它一天之內(nèi)的訓(xùn)練速度也很快，可以對(duì)一個(gè)龐大的175B模型進(jìn)行Fine-tune。并且它的算力消耗也很親民，只需要一個(gè)GPU就可以支持超過(guò)130億個(gè)參數(shù)的模型。

Deep Speed-Chat會(huì)帶來(lái)非常明確的影響，應(yīng)用主要通過(guò)三種方式：

第一種方式是通過(guò) Fine-tune微調(diào)這種方式來(lái)進(jìn)行行業(yè)化，和know-how的融合；

第二種方式是通過(guò) plugin 接入到其他應(yīng)用程序中，調(diào)用接口并使用其他工具；

第三種方式則是通過(guò)多模態(tài)的方式，使用的輸入輸出信號(hào)除了文字，還包括圖像、視頻輸出信號(hào)以及機(jī)器人指令。通過(guò)使用 DeepSpeed Chat，也可以降低某些工程難度，使中小型應(yīng)用程序制造商能更輕松地將 ChatGPT 用于各種應(yīng)用程序，如醫(yī)生、老師、金融分析師等，并且可以用于其他方案。

因此，整個(gè) ChatGPT 的可能性擴(kuò)張速度將會(huì)加快，這種完整的開(kāi)發(fā)工具對(duì)應(yīng)用的成型有非常強(qiáng)的幫助。

另外一點(diǎn)容易被誤解的是，使用DeepSpeed Chat后，訓(xùn)練時(shí)需要的大量算力就會(huì)縮減，但事實(shí)上，這種觀點(diǎn)是有偏差的。正如我們之前所提到的，在整個(gè)訓(xùn)練過(guò)程中，包括預(yù)訓(xùn)練階段和強(qiáng)化學(xué)習(xí)階段，還有很多InstructGPT 的過(guò)程，這是一個(gè)教育和指導(dǎo)的過(guò)程，就像我們教小孩子一樣，我們會(huì)指導(dǎo)他們遵循正確的指令和提升道德水平。預(yù)訓(xùn)練階段，包括編寫代碼的階段更多地提高了它的邏輯水平。

相比于預(yù)訓(xùn)練階段，強(qiáng)化學(xué)習(xí)在整個(gè)訓(xùn)練過(guò)程中所需的計(jì)算資源占比非常小，如果僅僅是強(qiáng)化學(xué)習(xí)的話，它可能只占整個(gè)訓(xùn)練過(guò)程的千分之一以下。

但結(jié)合一些其他的 Fine-tune，可能需求會(huì)多一些。但總體而言，在整個(gè)訓(xùn)練過(guò)程中，它的占比會(huì)非常少。

另一個(gè)知識(shí)點(diǎn)是，在強(qiáng)化學(xué)習(xí)中訓(xùn)練的占比已經(jīng)足夠小了。在整個(gè)模型的訓(xùn)練和推理過(guò)程中，我們認(rèn)為在應(yīng)用的爆發(fā)后，推理側(cè)的算力需求才是真正的爆發(fā)。使用量越大，對(duì)算力的需求就越高。

相對(duì)于訓(xùn)練端，這種需求可能是5倍、10倍，甚至更高。因此，需要多少算力取決于應(yīng)用。DeepSpeed Chat加速了各種應(yīng)用的落地，因此我們認(rèn)為中期算力需求有望迎來(lái)一個(gè)極大的爆發(fā)。

AutoGPT是什么

很多人關(guān)注AutoGPT。AutoGPT是一種自主反饋和改進(jìn)的行為。初始時(shí)，它有許多身份設(shè)定和目標(biāo)存在。該產(chǎn)品展示了整個(gè)流程，并提供了一些演示和連接，比如你可以輸入AI名稱和角色來(lái)定位身份。在此輸入的AI是為了自動(dòng)發(fā)展和實(shí)現(xiàn)商業(yè)目標(biāo)，如增加凈值。

所以交易中的 GPT是指定增加凈值的，設(shè)定五個(gè)目標(biāo)是為了完成任務(wù)。GPT 開(kāi)始產(chǎn)生邏輯鏈以實(shí)現(xiàn)這些目標(biāo)，給出理由并制定計(jì)劃。完成目標(biāo)的計(jì)劃通過(guò)反思和下一步操作來(lái)實(shí)現(xiàn)。這個(gè)過(guò)程循環(huán)不停以達(dá)到目標(biāo)。

在這個(gè)例子中，展示了一個(gè) Chef GPT，即廚師的 GPT。它的設(shè)計(jì)初衷是通過(guò)瀏覽網(wǎng)頁(yè)和觀察事件來(lái)創(chuàng)造一個(gè)獨(dú)特的菜單，這個(gè)菜單能夠與特定的主題相匹配。它的一個(gè)目標(biāo)就是發(fā)明一個(gè)不在菜單中的菜譜，然后將其保存下來(lái)以適應(yīng)這個(gè)特定事件。在完成這個(gè)目標(biāo)前，它會(huì)不斷推導(dǎo)和搜索相關(guān)的新聞和事件，以形成新的菜單。如果沒(méi)有形成菜單，它會(huì)將其跳過(guò)并繼續(xù)搜索，這個(gè)過(guò)程中會(huì)有不斷的思考。
AutoGPT就是這樣的一個(gè)過(guò)程，它把 GPT融合起來(lái)，形成了一個(gè)能夠自我反饋、自我思考，不斷去演繹邏輯的方案。等于把一個(gè)簡(jiǎn)單的指令和目標(biāo)指出來(lái)后，讓它發(fā)散，然后讓它去審視之后的結(jié)果。

所以 AutoGPT是一個(gè)很有意思的產(chǎn)品，它的應(yīng)用空間也比較大，給一個(gè)簡(jiǎn)單的指令，就可以不斷的去擴(kuò)展、去融合，所以想象空間就比較大。這里強(qiáng)調(diào)一下，微軟 Copilot 大家也看得比較多了，SAM也是大家最近看的比較多的一個(gè)方向。事實(shí)上，SAM并不能夠取代機(jī)器視覺(jué)，因?yàn)?SEM 只是去分割任務(wù)，大家可以看到這個(gè)我們分割出來(lái)的效果，如果分割的效果比較好，那么識(shí)別的準(zhǔn)確率也會(huì)大大提高。

互動(dòng)環(huán)節(jié)

見(jiàn)智研究：對(duì)于DeepSpeed Chat 來(lái)說(shuō)，企業(yè)會(huì)用到開(kāi)源的模型對(duì)這種類 ChatGPT 進(jìn)行微調(diào)，那么對(duì)企業(yè)來(lái)說(shuō)他們可能會(huì)遇到哪些難點(diǎn)？

劉高暢：

對(duì)企業(yè)來(lái)說(shuō)的，首先還是要有一定的大模型的知識(shí)，也不是說(shuō)所有企業(yè)的都有微調(diào)的基礎(chǔ)，也是需要專業(yè)的團(tuán)隊(duì)來(lái)做。

第二點(diǎn)就是在微調(diào)的過(guò)程中，都是為了強(qiáng)化某一個(gè)領(lǐng)域的效果，這個(gè)時(shí)候，需要對(duì)這個(gè)場(chǎng)景有一個(gè)好的理解，并且要結(jié)合所需要的場(chǎng)景和應(yīng)用，然后儲(chǔ)備足夠好的數(shù)據(jù)。

不是泛泛而談的數(shù)據(jù)，而是真的對(duì)這種場(chǎng)景應(yīng)用有很大支撐的數(shù)據(jù)，然后進(jìn)行強(qiáng)化學(xué)習(xí)和訓(xùn)練，才能很好地提升這個(gè)領(lǐng)域的效果。

第三點(diǎn)，對(duì)企業(yè)來(lái)說(shuō)，F(xiàn)ine-tune強(qiáng)化學(xué)習(xí)的過(guò)程當(dāng)中，不只是單單地把它的專業(yè)度提升，它還有一個(gè)優(yōu)點(diǎn)就是我們可以把這個(gè)模型做小，因?yàn)榇蠹抑来竽Ｐ偷膮?shù)規(guī)模都會(huì)比較大，對(duì)算力的消耗也比較大，那么在推理應(yīng)用端的話經(jīng)濟(jì)性不足。

那么Fine-tune 的微調(diào)，所需要考慮的就是有沒(méi)有辦法在保持效果的情況下，把模型做得相對(duì)來(lái)說(shuō)小一些，那么它的經(jīng)濟(jì)效益就會(huì)更好。

見(jiàn)智研究：怎樣看待中小企業(yè)自己研發(fā)大模型的路徑？

劉高暢：

中小企業(yè)研發(fā)大模型，就是你也不能太小，因?yàn)槲覀兛紤]過(guò)你這個(gè)模型需要先做大再做小，你即使做行業(yè)模型，一般來(lái)說(shuō)也是這種多模態(tài)的模型，基本上模型規(guī)模我們認(rèn)為融合起來(lái)至少也是在 500 億參數(shù)以上，純視覺(jué)大模型你是可以做到幾十億參數(shù)的，不過(guò)那個(gè)意義不大。

一旦和 GPT 融合，然后用這種視覺(jué)大模型的形式，我們認(rèn)為至少有一定的泛化能力，至少應(yīng)該是在一個(gè)小幾百億參數(shù)，這個(gè)是必須的。小幾百億參數(shù)，這種行業(yè)的模型要達(dá)到比較好的效果和比較好的應(yīng)用，我們認(rèn)為整個(gè)研發(fā)的投入，應(yīng)該也在一兩個(gè)億以上。而且它對(duì)于這種人才的儲(chǔ)備，還有行業(yè)的客戶數(shù)據(jù)的儲(chǔ)備，還有 know-how 的儲(chǔ)備，其實(shí)要求都還是比較高的。

所以我們認(rèn)為很多初創(chuàng)公司有人才的基礎(chǔ)上，它是可以做這樣的大模型的，但是對(duì)所有的絕大部分的中小企業(yè)來(lái)說(shuō)，我們認(rèn)為這個(gè)門檻相對(duì)來(lái)說(shuō)比較高，所以盡量不要一開(kāi)始就做大模型，最好是結(jié)合一些比較成型的，比如說(shuō)像開(kāi)源的hugging face等等。

見(jiàn)智研究：對(duì)專用領(lǐng)域的企業(yè)來(lái)說(shuō)是否會(huì)傾向于模型壓縮以及本地化的部署？

劉高暢：

對(duì)很多場(chǎng)景來(lái)說(shuō)模型壓縮應(yīng)該就是蒸餾和裁剪這兩個(gè)方式，這個(gè)是一定會(huì)做的。我們剛才講 Fine-tune的時(shí)候，它也進(jìn)行了這種方式。所以你在具體的細(xì)分行業(yè)，你是可以蒸餾和裁剪的比例是比較高的。像ChatGPT ，它在應(yīng)用的過(guò)程當(dāng)中它為了保持通用性，它大概裁剪的模型規(guī)模，就是對(duì)算力的損耗大概是降低了90%。那可能在細(xì)分的領(lǐng)域來(lái)講，這種模型的蒸餾和裁剪我們認(rèn)為應(yīng)該是可降低在 90% 以上，好的話可以在 95% 以上這樣的水平。本地化部署，我們覺(jué)得相對(duì)來(lái)講難度會(huì)比較高。

見(jiàn)智研究：對(duì)于開(kāi)源模型來(lái)說(shuō)，開(kāi)源商的授權(quán)問(wèn)題是否值得關(guān)注？

劉高暢：

開(kāi)源商的授權(quán)問(wèn)題是肯定需要關(guān)注的，因?yàn)闊o(wú)論是在這種 GitHub 還是像 hugging face 里面，如果自己用還好，但是如果說(shuō)來(lái)進(jìn)行這種商業(yè)化去推廣，你的整個(gè)合法性就會(huì)受到考驗(yàn)。在一些非允許的區(qū)域或者說(shuō)領(lǐng)域內(nèi)，你用它的底層的模型，開(kāi)源模型做訓(xùn)練。就像我們之前，比如中國(guó)軟件以前做操作系統(tǒng)這種服務(wù)器操作系統(tǒng)，它的麒麟操作系統(tǒng)的底層可能是 CentOS。一旦把這一塊禁了之后，大規(guī)模的商業(yè)化就會(huì)受影響，很多客戶也會(huì)不愿意用這樣的一個(gè)合法性存疑的模型，所以在商業(yè)化的過(guò)程中是受影響的。但是在這個(gè)自己就是說(shuō)單獨(dú)使用的過(guò)程當(dāng)中，這個(gè)是不受影響的。

見(jiàn)智研究：Meta 的SAM 模型在是否在產(chǎn)業(yè)當(dāng)中已經(jīng)有一些最新的進(jìn)展了？

劉高暢：

SAM它整個(gè)推出來(lái)的時(shí)間不長(zhǎng)，我們這里也講了它的功能主要是分割，也叫 segment anything model，然后它這里面其實(shí)是融合了很多算法，包括像 ViT 這種算法一些思想也是融在其中。這個(gè)后面就是它對(duì)這種通用的視覺(jué)。比如說(shuō)在機(jī)器人的運(yùn)行過(guò)程當(dāng)中，那么它可以去區(qū)分，要讓每一塊物體進(jìn)行這種自動(dòng)的分割，然后你的注意力注意到哪個(gè)模塊，它才進(jìn)行這種識(shí)別。

那這樣的自動(dòng)分割，然后再加識(shí)別的方式，它對(duì)節(jié)省算力，還有像人一樣的這個(gè)智能其實(shí)是非常像的，就是我們一看看到眼中的圖像當(dāng)中，我們可以其實(shí)知道是很多模塊，但是我們不仔細(xì)去看某一個(gè)領(lǐng)域，我們可能很多細(xì)節(jié)很多點(diǎn)是看不清楚的。那么它這個(gè)就是先分割，然后再重點(diǎn)關(guān)注再識(shí)別，這個(gè)可以大大的去提升視覺(jué)的效率還有準(zhǔn)確度。

見(jiàn)智研究：多模態(tài)在視頻應(yīng)用上有什么最新的進(jìn)展？

劉高暢：

多模態(tài)視頻這個(gè)其實(shí)是大家的一個(gè)誤區(qū)，大家覺(jué)得視頻才是真實(shí)的世界，但實(shí)際上視頻的話就是一秒 24 幀的這個(gè)圖片。在多模態(tài)發(fā)展到今天的話，其實(shí)產(chǎn)業(yè)都在進(jìn)步。在分割的這個(gè)環(huán)節(jié)上有 SAM 出來(lái)，然后在識(shí)別的這個(gè)環(huán)境上，我們也看到了像這種 Google 2 月份發(fā)的這個(gè)ViT-22B，也就是大家講的這個(gè)視覺(jué)大模型，真正就真的把這個(gè)大模型從 30 億參數(shù)擴(kuò)展到了 220 億，再加上這樣的一個(gè)圖生文的模型之后，我們看到 GPT 的發(fā)展有這種智能化的這個(gè)反饋了。

現(xiàn)階段我們看到的是搜索輔助編程、聊天機(jī)器人的應(yīng)用，但是未來(lái)我們會(huì)看到很多這種簡(jiǎn)單多模態(tài)的方案，像這種智能家居的工業(yè)視覺(jué)，工業(yè)檢測(cè)，通用的AGV等等。

落地速度快其實(shí)不是一個(gè)選擇的標(biāo)準(zhǔn)，未來(lái)的發(fā)展空間大才是最好的一個(gè)選擇標(biāo)準(zhǔn)。現(xiàn)階段的話我們看到的比較快的是搜索，是輔助的編程，是各種聊天機(jī)器人的變種落地快，在中期來(lái)看的話，既能快速落地，又有比較大的空間。我們看到是 office 類的工具，簡(jiǎn)單多模態(tài)的這種方案，行業(yè)的專家智能助理，接下來(lái)的這個(gè)半年到 3 年內(nèi)，應(yīng)該會(huì)給大家不斷地產(chǎn)生各種各樣驚喜。

未經(jīng)授權(quán)，禁止轉(zhuǎn)載。

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：