從Transformer到腦機(jī),蘋(píng)果發(fā)布會(huì)透露的遠(yuǎn)不止MR | 見(jiàn)智研究_天天通訊
被吐槽價(jià)格太貴,實(shí)用性差,帶著外接電池…但見(jiàn)智研究看來(lái),蘋(píng)果昨晚的發(fā)布會(huì),超越預(yù)期。
蘋(píng)果一直以來(lái)引以為傲的并不是炫技,而是把所有黑科技運(yùn)用于應(yīng)用,為用戶(hù)創(chuàng)造最好的交互體驗(yàn),這一次在蘋(píng)果的MR設(shè)備Vision?Pro上,蘋(píng)果再次做到了。
(相關(guān)資料圖)
無(wú)需手柄的空中直接操控,設(shè)備間的無(wú)縫投屏切換,流暢的UI操控實(shí)時(shí)反饋,3D攝像機(jī)等等,這一切看似簡(jiǎn)單的交互組合在一起就不再是簡(jiǎn)單,而是真正的軟硬結(jié)合的實(shí)力。
沒(méi)有炫技,卻看到了蘋(píng)果把黑科技應(yīng)用落地
蘋(píng)果WWDC23大會(huì),沒(méi)有主打炫技術(shù),但處處都是黑科技。腦機(jī)接口、Transformer?AI 模型等應(yīng)用在了產(chǎn)品的交互體驗(yàn)中。
其中給見(jiàn)智研究印象最深的要數(shù)兩只手在空中操控而Vision Pro得到的及時(shí)反饋。有過(guò)無(wú)線設(shè)備使用經(jīng)驗(yàn)的朋友一定會(huì)對(duì)延遲這件事深?lèi)和唇^,但是從蘋(píng)果的宣傳中可以看到,這些操作幾乎是完全實(shí)時(shí)進(jìn)行。
市場(chǎng)都在認(rèn)為,這是蘋(píng)果在Vision Pro前安裝的多顆攝像頭的功勞。
但見(jiàn)智研究從今早蘋(píng)果的一位神經(jīng)功能開(kāi)發(fā)者的推特中獲得了答案,遠(yuǎn)不止攝像頭這么簡(jiǎn)單!
根據(jù)蘋(píng)果神經(jīng)技術(shù)設(shè)計(jì)師Sterling Crispin所述:
這種全新的腦機(jī)接口方式已經(jīng)成為專(zhuān)利技術(shù),對(duì)瞳孔變化進(jìn)行監(jiān)測(cè),能夠被用來(lái)預(yù)測(cè)之后的行為,并且該技術(shù)已經(jīng)被驗(yàn)證是有效的,通過(guò)這種監(jiān)測(cè)瞳孔的方式來(lái)實(shí)時(shí)進(jìn)行UI創(chuàng)建,這是一種非??岬捏w驗(yàn)。
用戶(hù)在混合現(xiàn)實(shí)或虛擬現(xiàn)實(shí)體驗(yàn)中,AI模型試圖預(yù)測(cè)用戶(hù)是否感到好奇、思維游離、害怕、注意、回憶過(guò)去的經(jīng)歷,或其他一些認(rèn)知狀態(tài)。
這些可以通過(guò)眼球追蹤、大腦中的腦電活動(dòng)、心臟跳動(dòng)和節(jié)律、肌肉活動(dòng)、血液密度、血壓、皮膚傳導(dǎo)等測(cè)量來(lái)推斷,使預(yù)判行為成為可能。
與此同時(shí),Sterling Crispin還提到Vision Pro采用了機(jī)器學(xué)習(xí)監(jiān)測(cè)身體和大腦的信號(hào),來(lái)預(yù)測(cè)人類(lèi)的情緒,從而創(chuàng)建更適合的虛擬環(huán)境來(lái)增強(qiáng)用戶(hù)體驗(yàn)。
由此可見(jiàn),Vision Pro的這種腦機(jī)預(yù)測(cè)行為方式,突破了以往交互延遲慢的問(wèn)題,配合攝像頭,讓UI延遲大幅降低,體驗(yàn)的流暢度達(dá)到了全新的高度。
此前XR設(shè)備的發(fā)展路徑一直是拼硬件升級(jí),但最大的問(wèn)題還是在于交互體驗(yàn)感、沉浸感難以提高。而蘋(píng)果Vision Pro就很好的解決了這個(gè)問(wèn)題,這正是在此前蘋(píng)果硬件規(guī)格已經(jīng)傳遍市場(chǎng)后仍超預(yù)期的地方。
蘋(píng)果:人與人不應(yīng)是賽博朋克下的符號(hào)
從另外一些細(xì)節(jié)讓蘋(píng)果的理念更加凸顯——不想讓人與人之間變成賽博朋克下的符號(hào)。
蘋(píng)果創(chuàng)造性的在Vision Pro的正面渲染顯示了人的眼睛(一向熱衷黑科技的付鵬老師也在第一時(shí)間換了頭像),蘋(píng)果強(qiáng)調(diào)了在人與人交流時(shí),眼神的互動(dòng)。
這并不是蘋(píng)果第一次強(qiáng)調(diào)人與人對(duì)話時(shí),眼神交流的重要性。蘋(píng)果早在多個(gè)版本前的FaceTime中,就對(duì)視頻時(shí)眼球位置進(jìn)行了AI調(diào)整,將我們看著屏幕時(shí)歪掉的注意力方向調(diào)整為注視對(duì)方的方向。
而在Vision Pro中,蘋(píng)果進(jìn)一步增強(qiáng)了人與人眼神交互,當(dāng)眼睛和正面走來(lái)的人進(jìn)行交流的時(shí)候,透過(guò)MR設(shè)備還能夠直接進(jìn)行交流,而不需要摘下設(shè)備,當(dāng)瞳孔行為發(fā)生變化時(shí),又可再次進(jìn)入沉浸式虛擬空間。
在使用Vision Pro的FaceTime功能時(shí),對(duì)方會(huì)看到一個(gè)利用深度學(xué)習(xí),渲染出來(lái)的實(shí)時(shí)的你,通過(guò)空間操作系統(tǒng)VisionOS把數(shù)字內(nèi)容融入真實(shí)世界。
蘋(píng)果自己的AI也來(lái)了
市場(chǎng)認(rèn)為,蘋(píng)果此次發(fā)布會(huì)沒(méi)有任何關(guān)于AI模型的內(nèi)容,但這個(gè)也是有誤的。
見(jiàn)智研究發(fā)現(xiàn),在最新升級(jí)的iOS17系統(tǒng)介紹中,蘋(píng)果宣布使用Transformer語(yǔ)言模型用于輸入和語(yǔ)音識(shí)別文字。
通過(guò)Transformer模型,蘋(píng)果能夠隨著用戶(hù)每次打字不斷改進(jìn)體驗(yàn)與準(zhǔn)確度,進(jìn)行自動(dòng)語(yǔ)言語(yǔ)法糾正,方便于用戶(hù)在打字時(shí)獲得實(shí)時(shí)預(yù)測(cè)文字推薦,只要輕點(diǎn)空格鍵就能添加整個(gè)單詞或完成句子,讓文字輸入比以往更加快捷。聽(tīng)寫(xiě)功能利用全新語(yǔ)言識(shí)別模型,準(zhǔn)確度進(jìn)一步提升。
Transformer正是OpenAI等一系列大模型的基礎(chǔ)。而根據(jù)蘋(píng)果一向的隱私政策,毫無(wú)意外,這項(xiàng)技術(shù)也是純本地化運(yùn)行。
蘋(píng)果將語(yǔ)言預(yù)測(cè)模型引入輸入法和語(yǔ)音傳輸中,是有一次將前沿技術(shù)和應(yīng)用結(jié)合的最好案例。Transformer是人機(jī)對(duì)話助手最強(qiáng)的底層技術(shù)支持,而蘋(píng)果是第一個(gè)將該技術(shù)內(nèi)嵌在移動(dòng)端產(chǎn)品系統(tǒng)中的公司,之后iOS 17在語(yǔ)音語(yǔ)言輸入體驗(yàn)上會(huì)帶來(lái)全新的感受。
同時(shí)我們可以期待的是,蘋(píng)果明年很可能會(huì)給用戶(hù)帶來(lái)本地化LLM大模型,本地化的判斷一方面是因?yàn)樘O(píng)果對(duì)用戶(hù)隱私的關(guān)心程度實(shí)在太高,另一方面蘋(píng)果在處理硬件上已經(jīng)積累了相當(dāng)?shù)募夹g(shù),軟硬一體化的大模型應(yīng)用會(huì)更加有效。
如同Mac帶入個(gè)人計(jì)算時(shí)代,iPhone帶入移動(dòng)計(jì)算,Vision pro將帶入空間計(jì)算時(shí)代。
見(jiàn)智研究認(rèn)為:Vision pro的出現(xiàn)將真正開(kāi)啟新的計(jì)算時(shí)代,而生成式AI對(duì)蘋(píng)果MR設(shè)備或許也是相互成就,因?yàn)榇饲癕R的實(shí)時(shí)渲染對(duì)算力的消耗要遠(yuǎn)大于生成式AI。此前我們?cè)贏I+XR將成為下一代移動(dòng)端戰(zhàn)場(chǎng)一文進(jìn)行過(guò)分析,認(rèn)為生成式AI的快速發(fā)展與MR的結(jié)合將會(huì)帶來(lái)移動(dòng)端產(chǎn)品的全面升級(jí),特別是在應(yīng)用內(nèi)容創(chuàng)新方面會(huì)突破此前的開(kāi)發(fā)方式,極大改善現(xiàn)階段XR爆款內(nèi)容匱乏的問(wèn)題。
生成式AI和蘋(píng)果MR就是時(shí)勢(shì)和英雄。
綜上
7年來(lái),蘋(píng)果在用搬山的能力處理Vision Pro的每一個(gè)細(xì)節(jié),這個(gè)軟硬結(jié)合的能力并不是誰(shuí)隨便都能模仿的來(lái)的;每一個(gè)細(xì)小的問(wèn)題都能看出來(lái)蘋(píng)果是花了非常大的功夫在解決。
這也是發(fā)布會(huì)前,即便是蘋(píng)果MR的硬件BOM清單到處流傳,但Vision?Pro亮相之后還是讓見(jiàn)智研究認(rèn)為超預(yù)期的原因。
風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn),投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶(hù)應(yīng)考慮本文中的任何意見(jiàn)、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。關(guān)鍵詞: