大模型重塑一切的浪潮，正在加速涌向移動應用。

不久前，高通剛在MWC上露了一手純靠手機跑Stable Diffusion，15秒就能出圖的騷操作:

3個月后的CVPR2023上，參數加量到15億，ControlNet也已在手機端閃亮入場，出圖全程僅用了不到12秒:

更令人意想不到的速度是，高通技術企業產品管理高級副總裁兼AI負責人Ziad Asghar吐露:

從技術角度來說，把這些10億+參數大模型搬進手機，只需要不到一個月的時間。

并且這還只是個開始。

在與量子位的溝通中，Ziad認為:

大模型日前迅速重塑人機交互的方式。這會讓移動應用的使用場景和使用方式發生翻天覆地的變化。

“大模型改變終端交互方式”

每一個看過《鋼鐵俠》的人，都很難不羨慕鋼鐵俠無所不可的助手賈維斯。

即使語音助手曾經不是什么新鮮事物，但其現此刻的形態多少仍然離科幻電影中的智能助手有點差距。

而大模型，在Ziad看來，正是一個破局者。

大模型有能力真正重塑我們與應用交互的方式。

這種改變的一種具體的表現，就是all in one。

也就是說，經過大模型加持下的數字助手這一個應用入口，人們就可以在手機這樣的終端上操控一切:

經過自然語言指令，數字助手能自動幫你管理所有手機上的APP，完成辦理銀行業務、撰寫電子郵件、制定旅程并訂票等等各種操作。

更為重大的是，這樣的數字助手還能做到“私人訂制”——

手機上的個性化數據，與或將理解文字、語音、圖像、視頻等多模態輸入的大語言模型相融合，就能使數字助手更為正確地駕馭使用者的偏好。

并且這樣的個性化體驗，允許在不犧牲隱私的情況下實行。

從技術的角度來說，背后緊要，其實就是當下把Stable Diffusion和ControlNet搬進手機的混入AI架構及當成支撐的量化、編譯和硬件加速優化等AI技術。

混合AI，指的是終端和云端共同工作，在適當場景和時間下分配AI計算的工作負載，以更為高效地利用算力資源。

量化、編譯和硬件加速優化，則是完成混入AI的關鍵AI技術，受到高通等終端AI廠商的長期關注和押注。

量化，是將更大的模型在精度不變的情況下，從浮點數轉變成整數，節省計算時間;又或是在確保模型性能的同時，對其大小進行壓縮，使之更容易部署在終端。

編譯器是AI模型抑或以最高性能和最低功耗高效運行的要緊。AI編譯器將輸入的神經網絡轉化為可以在目標硬件上運行的代碼，同時針對時延、性能和功耗進行優化。

硬件加速方面，以高通為例，其AI引擎中的重大核心Hexagon處理器，采用專用供電系統，支持微切片推理、INT4精度、Transformer網絡加速等，也許在供給更高性能的同時，降低能耗和內存占用。

數據涌現，Transformer加速大幅提升了生成式AI中充分使用的多頭留心力機制的推理速度，在使用MobileBERT的注定用例中能帶來4.35倍的AI性能提升。

以Stable Diffusion為例，目前，高通的思索人員通過量化、編譯和硬件加速優化，已經可能在搭載第二代驍龍8移動平臺的手機上，以15秒20步推理的速度運行這一模型，生成出512×512像素的圖片。

△圖源油管@TK Bay

這樣一來，整個推理工序可以完全只靠手機兌現——開著飛行模式不聯網也能做到。

這類AI技術的部署并非易事，Ziad表態在相關軟件、工具和硬件方面，高通準備了2-3年的時間。

但當今，當高通AI模型增效工具包、高通AI軟件棧和高通AI引擎等軟硬件工具齊備之后，正如前文所言，高通只花了不到一個月的時間，就達成了Stable Diffusion在驍龍平臺上的高速運行。

也就是說，當基礎技術準備就緒，涵蓋大模型在內的生成式AI部署，就會更加容易，原本無從想象的“大模型部署到終端變成數字助手”，現在看來也并非不恐怕。

具體而言，在硬件上融入AI和軟件AI技術的“雙重”架構下，部署在手機等終端中的大模型，可以在終端側根據用戶習慣不斷優化和更新用戶畫像，從而增強和打造定制化的生成式AI提示。這些提示會以終端側為中心進行處置，只在必要時向云端分流任務。

Ziad也逐步向我們解釋說:

云不了解你，但終端設備了解你。假使模型允許在設備上進行微調，那它的功能將相當強大。

這也是突破大模型幻覺和記憶瓶頸的方式之一。高通可以做到通過一種類技術讓大模型在不聯網的情況下，借助終端設備數據長時間供應“專屬”服務，同時也保護了用戶隱私。

值得關注的是，Ziad還吐露，在Stable Diffusion和ControlNet之外，基于高通全棧式的軟件和硬件能力，探求人員而今將更多生成式AI模型遷移到手機之中，參數量也當下向百億級別進發。

很快，你就會在終端上看到像LLaMA7B/13B這樣的模型。一切工具早已就緒，剩下的只是時間問題。

而且，雖然目前能在終端側部署的只是“確定”的大模型，但隨著技術的不斷應用成熟，能部署的大模型數量、模態類型和部署形式，都會飛速進化。Ziad表示:

隨著更多更好的AI算法被開源出來，我們也能更快地沿用這套軟硬件技術將它們部署到終端側，這其中就包括文生視頻等各種多模態AI。

這樣來看，未來用戶將自己想用的大模型遷移到手機端，成為超級助手的核心，也并非不能能兌現。

大模型當前重塑移動互聯網

實際上，手機上的交互變革，還只是冰山一角。

早在生成式AI、大模型技術爆發之前，在移動互聯網時代，AI需求已經顯露出向邊緣設備轉移的趨勢。

正如Ziad的看法“終端側AI是AI的未來”肖似，隨著以大模型為代表的生成式AI浪潮加速改變人機交互方式，更多終端側如筆記本電腦、AR/VR、汽車和物聯網終端等，也都會源于這場變革迎來重塑，甚至反過來加速AI規?；涞?。

在這個過程中，不僅硬件會誕生新的衡量標準，軟件上以大模型為核心的超級AI應用，更是有可能顯露。

首先是硬件上，源于終端側算力會成為延展生成式AI落地應用無法或缺的一部分，對于移動端芯片本身來說，AI處置能力也會日益凸顯，甚至成為新的造型基準之一。

隨著大模型變得更受歡迎、更多應用不斷接入其能力，更多潛在的用戶也會意識到大模型具備的特長，從而導致這類技術使用次數的迅猛上升。

但云端算力終究有限。Ziad認為:

隨著AI計算需求的增加，云端算力肯定無法承載如此崇高的計算量，從而導致單次查詢成本急劇填補。

要解決這一問題，就應當讓更多算力需求“外溢”到終端，仰仗終端算力來緩解這一問題。

為了讓更多大模型在終端就能處置甚至運行，從而降低調用成本，必需需要在確保用戶體驗的同時，抬高移動端芯片處理AI的能力。

長此以往，AI處置能力會成為衡量硬件能力的benchmark，如同過去手機芯片比拼通用算力和ISP影像能力一樣，成為整個移動端芯片的新“賽點”。

誰能在設計移動端芯片時將之酌量進去，誰就更有或者取得這場大模型較量的話語權。

不止是硬件。軟件上，通過改變人機交互的方式，大模型將重塑涵蓋娛樂、內容創作、加工力在內的所有移動應用。

在這種情況下，越來越多的大模型、抑或說生成式AI會參與其中，重塑不同移動端AI應用，而這些應用隨著不同移動端算力和應用場景的差異，又會有所不同:

在智能手機端，正如前文所述，這種重塑會率先出如今搜索和“智能助手”上。譬如，只需要一句“打算5人會議”，大模型就能將以往需要用內部信件反復確認的資訊簡化成一條指令，自動發出到其他人的日歷上。

而在筆記本電腦和PC上，最大的作用沒準是工具生產影響的提高，如使用Office的方式不再需萬一仰仗打字輸入內容，而是聊聊天就能達成自己設法寫的報告、處理的PPT。

至于在汽車端，率先受到影響的能夠會是數字助理和自動駕駛軟件，像使用導航軟件時不再需要點擊目的地，而是直奔告訴它“我想去XX，中途打算一個吃飯的地點，別太貴”，大模型就能讀懂人話，自動規劃汽車路線。

又或是XR更吸引人的應用重塑，在于3D內容創作和沉浸式體驗;物聯網的改變，則恐怕發生在運營效率和客戶支持應用上……

當然，這并不意味著AI小模型的“消失”。大模型呈現之前，圖像應用曾經成為移動端AI落地最顯著的領域，網羅AI修圖、暗景視頻拍攝去噪算法等在內已有不少成熟的AI應用。

Ziad認為，生成式AI的顯示并不會替代已有AI應用，甚至在其刺激下，CPU、GPU、AI處置器的升級進化，會逐步提升去噪等傳統AI算法的能力。

同時，移動端應用之間并非“孤島”。無論智能手機、電腦、汽車、物聯網還是XR，一旦大模型促使某個真正的“殺手級”應用顯示，勢必也會在各個移動端之間部署。

因此在這波大模型浪潮下，怎么讓開發的應用快速適配到不同移動端，實行“一次開發多端互聯”，也是不可或缺的技術趨勢。

總而言之，從硬件的芯片設計、軟件的應用程序，到應用的整體開發方式，大模型都在給移動端、甚至是整個移動互聯網帶來改變。

那么，高通在這場大模型變革浪潮中會扮演什么樣的角色?

Ziad認為，高通將要指導技術前沿，成為引領這場變革的核心:

在終端側，不論是從硬件仍舊軟件而言，高通都處在領先地位。不僅僅是手機，在電腦、AR、VR、汽車、物聯網等領域都是如此。

而這份信心的來源，是高通長期的AI技術積累，“一切工具都曾經就緒”。

不論是硬件上的Hexagon AI處理器、讓生成式AI在云端和終端之間“無縫”應用的混合AI，依然軟件上所具備的量化、壓縮、神經網絡架構搜索（NAS）和編譯等技術，高通都曾經具備了將大模型隨時應用到終端側的技術儲備。

一旦成功將大模型部署到某個終端側，如智能手機，就能經過高通AI軟件棧將之迅速部署到其他所有端側設備上，一步步加速大模型的規?；涞?。

像10億參數Stable Diffusion模型，在部署到手機上以后，也已經實目下搭載驍龍計算平臺的筆記本上運行。

面對這波大模型浪潮下生成式AI帶來的機遇和挑戰，不少科技公司都在尋找應對之策，以研討如何跟進其中的技術。

至少在終端側，高通早已以技術玩家的身份，為行業率先打了個樣。

One More Thing

在這波生成式AI熱潮下，大模型是否抑或帶來新的如微信相仿的“殺手級”應用?高通應該看待這個觀點?

Ziad回應稱，也許會，而且這類“殺手級”應用，更也許率先在國內映現:

倘或按發展趨勢來看的話，我國確實或者會更快展現這類應用。

—完—

（舉報）