AI見聞日報:OpenAI遭客戶抱怨,都怪GPU太缺貨,英偉達訂單竟延到年底?| 見智研究_天天視點
今日要點:
(資料圖片)
1、OpenAI遭客戶抱怨,都怪GPU太缺貨;
2、 OpenAI最新訓(xùn)練方法:用過程監(jiān)督法降低“幻覺現(xiàn)象”;
3、中文AI大模型首個反歧視對抗性開源項目:每個人提出100道“有毒”問題;
4、 阿里云AI助手“通義聽悟”公測,應(yīng)用落地速度超預(yù)期。
海外AI
1、OpenAI遭客戶抱怨,都怪GPU太缺貨
OpenAI目前遭到客戶最大的抱怨是API的可靠性和速度。OpenAI的CEO Sam Altman 承認當(dāng)下GPU非常緊缺,這不得不推遲了許多的短期計劃,微調(diào) API 、專用容量產(chǎn)品都受到GPU 可用性的限制。不過,OpenAI還會提供專用容量,為客戶提供模型的私人副本,但如若訪問此服務(wù),客戶必須預(yù)先承諾支付100萬美元。
此外,Sam Altman重申了他對開源重要性的信念,并表示OpenAI正在考慮開源GPT-3。
見智研究認為:在生成式AI需求的推動下,GPU產(chǎn)品會面臨持續(xù)性的缺貨和漲價,英偉達目前的交貨周期還在不斷拉長,從之前一個月到現(xiàn)在基本上需要三個月或者更久,甚至部份訂單到年底才能交付。
GPU與CPU最大的不同就是擁有大量的并行計算單元,可以同時執(zhí)行多個任務(wù),特別是在大模型處理數(shù)據(jù)的時候能夠顯著提高速度,因此GPU的不足會直接影響API(程序之間的接口)之間的傳輸速度。
此外,大模型的開源路徑已經(jīng)成大勢所趨,無論是語言大模型還是多模態(tài)大模型,Meta、Google以及Stable Diffusion都紛紛選擇開源,現(xiàn)在連封閉大模型鼻祖openAI也選擇逐漸開源的路徑,可見大模型的發(fā)展趨勢已經(jīng)明朗。
2、OpenAI最新訓(xùn)練方法:用過程監(jiān)督法降低“幻覺現(xiàn)象”
OpenAI發(fā)表最新的論文:《Let"s Verify Step by Step》通過獎勵每一個正確的推理步驟("過程監(jiān)督"),而不僅僅是獎勵正確的最終結(jié)果(“結(jié)果監(jiān)督”),對思考鏈條中的每一個單獨步驟提供反饋,能夠極大解決諸如GPT4“胡說八道”和邏輯錯誤的這種“幻覺現(xiàn)象”。
見智研究認為:無論是過程監(jiān)督還是結(jié)果監(jiān)督都是對大模型生成結(jié)果可靠性和準(zhǔn)確性的一種訓(xùn)練機制,而從過程開始監(jiān)督的方式會比獎勵正確結(jié)果的表現(xiàn)更快速,優(yōu)先評估過程會使得結(jié)果可靠性更趨向于人類所期待的,從而排除更多推理結(jié)果錯誤的概率。
但是,過程監(jiān)督仍也存在一定的難度:數(shù)據(jù)獲取過程長,需要收集數(shù)據(jù)訓(xùn)練的完成過程,包括輸入和響應(yīng)操作以及決策,時間跨度更大,同時增加了樣本的復(fù)雜性以及成本。
國內(nèi)AI
1、中文AI大模型首個反歧視對抗性開源項目:每個人提出100道“有毒”問題
業(yè)內(nèi)首個大語言模型治理開源中文數(shù)據(jù)集100PoisonMpts發(fā)布,十多位知名專家學(xué)者成為了首批“給AI的100瓶毒藥”的標(biāo)注工程師。標(biāo)注人各提出100個誘導(dǎo)偏見、歧視回答的刁鉆問題,并對大模型的回答進行標(biāo)注,完成與AI從“投毒”和“解毒”的攻防。
相比國外廠商的治理方法,100PoisonMpts數(shù)據(jù)集在技術(shù)方法有幾個特點:
更完整的標(biāo)注流程。標(biāo)注人同時設(shè)置問題、對回答質(zhì)量排序、對最優(yōu)回答評分、并人工改寫回答。
更隱性的問題領(lǐng)域。如首批數(shù)據(jù)就重點針對了反歧視領(lǐng)域,包含人群、知識、法律等多維度復(fù)雜問題。
探索更全面的有效性。標(biāo)注數(shù)據(jù)對模型在繼續(xù)訓(xùn)練、微調(diào)、強化學(xué)習(xí)、線上服務(wù)等多環(huán)節(jié)產(chǎn)生效益。
見智研究認為:數(shù)據(jù)標(biāo)注是在大模型過程中至關(guān)重要的步驟,用標(biāo)注后的“安全數(shù)據(jù)集”進行模型訓(xùn)練才能夠得到趨近理想的訓(xùn)練結(jié)果。但是數(shù)據(jù)標(biāo)準(zhǔn)一直伴隨有主觀、宗教、個人偏好的特色,所以如果用國外的數(shù)據(jù)集進行訓(xùn)練,某種程度上會“水土不服”,而搭建本地訓(xùn)練數(shù)據(jù)集就顯得非常重要。中文AI首個反歧視對抗項目凝聚力眾多行業(yè)專家,之后會成為國內(nèi)開源大模型訓(xùn)練的高標(biāo)準(zhǔn)數(shù)據(jù)集之一。
2、阿里云AI助手“通義聽悟”公測,應(yīng)用落地速度將超預(yù)期
阿里云智能發(fā)布了工作學(xué)習(xí)AI助手“通義聽悟”,開始正式公測??勺饔迷跁h討論、教學(xué)培訓(xùn)、調(diào)研訪談、視頻觀看等場景,可進行實時語音識別,實現(xiàn)對話的實時記錄、多語言翻譯、發(fā)言總結(jié)、提取PPT、內(nèi)容規(guī)整等。
值得關(guān)注的是:在內(nèi)容總結(jié)方面,飛書妙記還只能給出關(guān)鍵詞;而針對不同嘉賓的發(fā)言,聽悟都能給出對應(yīng)的發(fā)言總結(jié)。
聽悟已經(jīng)和阿里云盤打通,存放在云盤中的音視頻內(nèi)容可以一鍵轉(zhuǎn)寫,在線播放云盤視頻時還能自動顯示字幕。并且在企業(yè)版本中,AI整理后的音視頻文件將來還可以在內(nèi)部快速分享。
見智研究認為:國內(nèi)大模型在應(yīng)用領(lǐng)域的落地進展非常迅猛,通義聽悟主要應(yīng)用于音頻、視頻領(lǐng)域,為用戶帶來音頻和視頻內(nèi)容記錄和閱讀的全新體驗。而傳統(tǒng)軟件的用戶粘性很快就會被打破。
通義聽悟是采用阿里達摩院的語音識別模型Paraformer,不僅在推理效率上較傳統(tǒng)模型提升10倍,剛推出時還“屠榜”多個權(quán)威數(shù)據(jù)集,刷新語音識別準(zhǔn)確率SOTA。在專業(yè)第三方全網(wǎng)公共云中文語音識別評測SpeechIO TIOBE白盒測試中,目前,Paraformer-large仍是準(zhǔn)確率最高的中文語音識別模型。
此外,更應(yīng)關(guān)注語音大模型在移動端的應(yīng)用進展,比如智能音箱就是非常好的端口。
風(fēng)險提示及免責(zé)條款 市場有風(fēng)險,投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議,也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負。關(guān)鍵詞: