號(hào)稱(chēng)史上最強(qiáng)AI的ChatGPT知道自己每天排放多少二氧化碳嗎？一番溝通后，華爾街見(jiàn)聞得到了否定的答案。

(資料圖片)

看來(lái)暫時(shí)只能由人腦來(lái)替它回答了。

環(huán)球零碳研究中心研究員唐淑姝告訴華爾街見(jiàn)聞，如果粗略合算ChatGPT的總生命周期碳足跡，自2022年11月30日運(yùn)行60余天來(lái)，其制造設(shè)備碳排放超過(guò)33.41噸，模型訓(xùn)練碳排放超過(guò)552噸，運(yùn)行60天碳排放約為229.2噸；三者相加，ChatGPT上線(xiàn)后的碳排放超過(guò)814.61噸。

要想從大氣中吸收這些二氧化碳，相當(dāng)于需要栽種超過(guò)6.5萬(wàn)棵樹(shù)。

雖然“虛擬”的屬性讓人們?nèi)菀缀鲆晹?shù)字產(chǎn)品的碳賬本，但事實(shí)上，互聯(lián)網(wǎng)卻無(wú)疑是地球上最大的煤炭動(dòng)力機(jī)器之一。

訓(xùn)練機(jī)器成碳排“大戶(hù)”

聊天機(jī)器人、數(shù)字助理以及來(lái)自流媒體服務(wù)的電影和音樂(lè)推薦都依賴(lài)于“深度學(xué)習(xí)”——一種訓(xùn)練計(jì)算機(jī)模型以識(shí)別數(shù)據(jù)模式的過(guò)程。

這種訓(xùn)練需要強(qiáng)大的計(jì)算機(jī)和大量的能量支撐。對(duì)于ChatGPT全生命周期的碳足跡數(shù)據(jù)，這個(gè)階段是名副其實(shí)的排放大戶(hù)。

最精細(xì)的深度學(xué)習(xí)模型之一，目標(biāo)就是產(chǎn)生類(lèi)似人類(lèi)的語(yǔ)言。在ChatGPT問(wèn)世前，OpenAI公司先開(kāi)發(fā)了一套復(fù)雜的自然語(yǔ)言模型，命名為GPT-3。ChatGPT和GPT-3都是在大量文本數(shù)據(jù)上訓(xùn)練而成的，允許它們對(duì)文本輸入產(chǎn)生類(lèi)似人類(lèi)的響應(yīng)，但由于后者專(zhuān)門(mén)為會(huì)話(huà)任務(wù)而設(shè)計(jì)，GPT-3則更通用一些，所以參數(shù)庫(kù)要小100多倍。

“ChatGPT是基于GPT-3的一個(gè)升級(jí)版本，在GPT-3的模型架構(gòu)基礎(chǔ)上又進(jìn)行了優(yōu)化并在訓(xùn)練時(shí)期增加了強(qiáng)化學(xué)習(xí)?！碧剖珂瓕?duì)華爾街見(jiàn)聞分析，“所以要估算ChatGPT在訓(xùn)練階段的碳排，可以參考GPT-3的排放值?！?/p>

有數(shù)據(jù)顯示，當(dāng)時(shí)訓(xùn)練 GPT-3 消耗了1287MWh，排放出552噸溫室氣體。

“GPT-3 的大量排放可以部分解釋為它是在較舊、效率較低的硬件上進(jìn)行訓(xùn)練的，但因?yàn)闆](méi)有衡量二氧化碳排放量的標(biāo)準(zhǔn)化方法，這些數(shù)字是基于估計(jì)，另外，這部分碳排放值中具體有多少應(yīng)該分配給訓(xùn)練ChatGPT，標(biāo)準(zhǔn)也是比較模糊的，需要注意的是，由于強(qiáng)化學(xué)習(xí)本身還需要額外消耗電力，所以ChatGPT在模型訓(xùn)練階段所產(chǎn)生的的碳排放應(yīng)該大于這個(gè)數(shù)值。”可持續(xù)數(shù)據(jù)研究者卡斯帕-路德維格森如是分析。

僅以552噸排放量計(jì)算，這些相當(dāng)于126個(gè)丹麥家庭每年消耗的能量。

運(yùn)行階段的碳成本

用戶(hù)在操作ChatGPT時(shí)的動(dòng)作耗電量很小，但由于全球每天可能發(fā)生十億次，累積之下使其成為了第二大碳排放來(lái)源。

唐淑姝對(duì)華爾街見(jiàn)聞表示，可以將另一個(gè)大型語(yǔ)言模型BLOOM作為類(lèi)比來(lái)推測(cè)ChatGPT運(yùn)行階段的碳排放。BLOOM曾在具有16個(gè)Nvidia A100 40GB GPU的Google Cloud Platform實(shí)例上部署并運(yùn)行了18天，共432小時(shí)。

“BLOOM與ChatGPT前身GPT-3的模型大小大致相同，假設(shè)把相同的硬件用于ChatGPT，并在16個(gè)Nvidia A100 40GB GPU上運(yùn)行，并推測(cè)硬件利用率始終為100%，”唐淑姝通過(guò)使用ML CO2 Impact計(jì)算機(jī)，估算出ChatGPT的每日碳排放為25.92 kg。

Databoxer聯(lián)合創(chuàng)始人克里斯·波頓則解釋了另一種計(jì)算方法。

“首先，我們估計(jì)每個(gè)響應(yīng)詞在A100 GPU上需要0.35秒，假設(shè)有100萬(wàn)用戶(hù)，每個(gè)用戶(hù)有10個(gè)問(wèn)題，產(chǎn)生了10000000個(gè)響應(yīng)和每天300000000個(gè)單詞，每個(gè)單詞 0.35 秒，可以計(jì)算得出每天A100 GPU運(yùn)行了29167個(gè)小時(shí)?！?/p>

Cloud Carbon Footprint列出了Azure數(shù)據(jù)中心中A100 GPU的最低功耗46W和最高 407W，由于很可能沒(méi)有多少ChatGPT處理器處于閑置狀態(tài)，以該范圍的頂端消耗計(jì)算，每天的電力能耗將達(dá)到11870kWh。

“美國(guó)西部的排放因子為 0.000322167 噸/kWh，所以每天會(huì)產(chǎn)生3.82噸二氧化碳當(dāng)量，美國(guó)人平均每年約15噸二氧化碳當(dāng)量，換言之，這與93個(gè)美國(guó)人每年的二氧化碳排放率相當(dāng)?！笨死锼埂げD說(shuō)。

Ai的能源賬

依據(jù)唐淑姝的觀點(diǎn)，從全生命周期角度看還應(yīng)該包含ChatGPT在制造階段的隱性碳排。仍以BLOOM作為參照，訓(xùn)練總時(shí)間共持續(xù)108萬(wàn)小時(shí)，平均使用48個(gè)計(jì)算節(jié)點(diǎn)上的384個(gè)GPU，可以估計(jì)與模型訓(xùn)練相關(guān)的服務(wù)器隱含碳排放大約為7.57噸和GPU3.64噸，總計(jì)約11.2噸。

“ChatGPT的訓(xùn)練時(shí)間大約比BLOOM長(zhǎng)3倍，單從這個(gè)角度估算，估算ChatGPT中模型訓(xùn)練的隱含碳排放總量約為33.6噸?！碧剖珂瓕?duì)華爾街見(jiàn)聞解釋道。

事實(shí)上，學(xué)界對(duì)于人工智能與環(huán)境成本的關(guān)系頗為關(guān)切。伯克利大學(xué)關(guān)于功耗和人工智能主題的研究認(rèn)為，人工智能幾乎吞噬了能源。

比如谷歌的預(yù)訓(xùn)練語(yǔ)言模型T5使用了86兆瓦的電力，產(chǎn)生了47公噸的二氧化碳排放量；谷歌的多輪開(kāi)放領(lǐng)域聊天機(jī)器人Meena使用了232兆瓦的電力，產(chǎn)生了96公噸的二氧化碳排放；谷歌開(kāi)發(fā)的語(yǔ)言翻譯框架-GShard使用了24兆瓦的電力，產(chǎn)生了4.3公噸的二氧化碳排放；谷歌開(kāi)發(fā)的路由算法Switch Transformer使用了179兆瓦的電力，產(chǎn)生了59公噸的二氧化碳排放。

深度學(xué)習(xí)中使用的計(jì)算能力在2012年至2018年間增長(zhǎng)了300000倍，這讓GPT-3看起來(lái)成為了對(duì)氣候影響最大的一個(gè)。然而，當(dāng)它與人腦同時(shí)工作，人腦的能耗僅為機(jī)器的0.002%。

據(jù)估計(jì)，全球科技行業(yè)占全球溫室氣體排放量的1.8% 至 3.9%。盡管這些排放量中只有一小部分是由人工智能和機(jī)器學(xué)習(xí)引起的，但人工智能的碳足跡對(duì)于技術(shù)中的單個(gè)領(lǐng)域來(lái)說(shuō)仍然非常高。

發(fā)表于Nature的一項(xiàng)計(jì)算碳成本的研究揭示了與人工智能相關(guān)的碳足跡在各種云計(jì)算數(shù)據(jù)中心訓(xùn)練一系列模型。結(jié)果表明，在美國(guó)中部或德國(guó)的數(shù)據(jù)中心訓(xùn)練 BERT（一種常見(jiàn)的機(jī)器學(xué)習(xí)語(yǔ)言模型）會(huì)排放22-28公斤二氧化碳。這是在挪威（大部分電力來(lái)自水力發(fā)電）或在主要依賴(lài)核能的法國(guó)進(jìn)行相同實(shí)驗(yàn)產(chǎn)生的排放量的兩倍多。

而一天中進(jìn)行實(shí)驗(yàn)的時(shí)間同樣重要。例如，在美國(guó)華盛頓州，當(dāng)該州的電力僅來(lái)自于水力發(fā)電時(shí)，在夜間訓(xùn)練人工智能導(dǎo)致的排放量低于在白天訓(xùn)練，因?yàn)槟菚r(shí)的電力來(lái)自于燃?xì)庹尽?/p>

通過(guò)更好地了解 AI系統(tǒng)消耗了多少能源，或許有助于人類(lèi)權(quán)衡做出在污染和成本之間的更優(yōu)選擇。

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶(hù)特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶(hù)應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞： 二氧化碳 人工智能 數(shù)據(jù)中心