2024北京車展丨商湯絕影真·端到端自動(dòng)駕駛解決方案UniAD上車首秀

    近日，商湯科技發(fā)布全新升級(jí)的“日日新SenseNova 5.0”大模型，廣受好評(píng)！

    6000億參數(shù)的“日日新5.0”采用混合專家架構(gòu)（MOE），具備更強(qiáng)的知識(shí)、數(shù)學(xué)、推理及代碼能力，成為國(guó)內(nèi)首個(gè)全面對(duì)標(biāo)甚至超越GPT-4 Turbo的大模型，多模態(tài)能力領(lǐng)先GPT-4V。基于端云結(jié)合的架構(gòu)，商湯端側(cè)大模型大幅超越同量級(jí)大模型，越級(jí)比肩7B、13B大模型，更適合車端部署。

    依托“日日新SenseNova 5.0”行業(yè)領(lǐng)先硬核實(shí)力，商湯絕影打造了一系列大模型車端產(chǎn)品，并在2024北京車展“上車”首秀。

    本屆車展，商湯絕影參展的核心關(guān)鍵詞是：原生態(tài)大模型、真·端到端自動(dòng)駕駛UniAD“上車” 、多模態(tài)場(chǎng)景大腦和全新3D交互，帶來(lái)AGI時(shí)代的全新出行體驗(yàn)。

    智駕方面，商湯絕影首次向公眾展示了面向量產(chǎn)的真·端到端自動(dòng)駕駛解決方案UniAD(Unified Autonomous Driving)的道路測(cè)試表現(xiàn)。

    作為全球首個(gè)提出感知決策一體化自動(dòng)駕駛通用模型的公司，商湯絕影的技術(shù)落地速度也“絕速引領(lǐng)”。

    商湯絕影還帶來(lái)了以多模態(tài)場(chǎng)景大腦為核心的AI大模型座艙產(chǎn)品矩陣以及全新座艙3D交互演示，以通用人工智能（AGI）技術(shù)，驅(qū)動(dòng)靈活自適應(yīng)、深度個(gè)性化、安全可信賴、有人文關(guān)懷的未來(lái)出行全新體驗(yàn)。

    商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛表示：“未來(lái)汽車智能化的競(jìng)爭(zhēng)，本質(zhì)上是通用人工智能技術(shù)融合應(yīng)用的比拼。商湯絕影致力于成為加速智能汽車駛?cè)階GI時(shí)代的核心技術(shù)伙伴，給智能汽車產(chǎn)業(yè)帶來(lái)生產(chǎn)效率和交互體驗(yàn)的雙重革新，將攜手合作伙伴提供通用人工智能技術(shù)驅(qū)動(dòng)的智能汽車全新體驗(yàn)，共同定義未來(lái)出行�！�

像人一樣開(kāi)車！真·端到端自動(dòng)駕駛解決方案UniAD上車首秀

    2023年，商湯及其聯(lián)合實(shí)驗(yàn)室提出的行業(yè)首個(gè)感知決策一體化自動(dòng)駕駛通用模型UniAD榮獲CVPR 2023最佳論文，引發(fā)行業(yè)轟動(dòng)！

    僅一年后，UniAD已經(jīng)“上車”！

    真·端到端，無(wú)需高精地圖，僅靠視覺(jué)感知。

    無(wú)論是復(fù)雜城市道路還是無(wú)中線的鄉(xiāng)村道路上，車輛都能搞定一系列高難度操作——大角度左轉(zhuǎn)上橋、避讓占道車輛、施工區(qū)域、繞行跑步行人……做到“像人一樣開(kāi)車”！

    今年以來(lái)，受特斯拉FSD V12版本的端到端自動(dòng)駕駛方案影響，行業(yè)號(hào)稱“端到端”智駕方案不斷涌現(xiàn)，但大多由感知和決策兩個(gè)模型組成的 “兩段式”架構(gòu)，存在信息傳遞過(guò)濾或丟失的問(wèn)題。

    UniAD將感知、決策、規(guī)劃等模塊都整合到一個(gè)全棧Transformer端到端模型，實(shí)現(xiàn)感知決策一體化的真·端到端自動(dòng)駕駛。

UniAD真·端到端：感知決策一體化的通用模型

    為什么端到端智駕方案如此重要且緊迫？

    一方面是智駕場(chǎng)景（尤其城區(qū)場(chǎng)景）計(jì)算的復(fù)雜度呈指數(shù)級(jí)增長(zhǎng)，另一方面?zhèn)鹘y(tǒng)方法人力成本高且難以應(yīng)對(duì)長(zhǎng)尾路況(corner case)，而端到端技術(shù)可高效、低成本應(yīng)對(duì)這些問(wèn)題。

    具體而言，商湯絕影端到端模型泛化能力強(qiáng)、迭代效率快，可以幫助車企低成本快速開(kāi)城，純視覺(jué)感知的無(wú)圖方案，進(jìn)一步降低系統(tǒng)的軟硬件成本，助力智駕普及。

    在端到端系統(tǒng)基礎(chǔ)上，商湯絕影還在車展期間帶來(lái)了新一代自動(dòng)駕駛大模型DriveAGI，推動(dòng)自動(dòng)駕駛從數(shù)據(jù)驅(qū)動(dòng)向認(rèn)知驅(qū)動(dòng)的躍遷。

新一代自動(dòng)駕駛大模型DriveAGI：可感知、可交互、可信賴

    依托多模態(tài)大模型，DriveAGI將是目前最貼近人類思維模式、最能理解人類意圖并有最強(qiáng)解決駕駛困難場(chǎng)景能力的技術(shù)方案，向完全無(wú)人駕駛邁出重要一步。

    多模態(tài)場(chǎng)景大腦 讓智能座艙“真”懂你！

    前不久上市的小米SU7將AI大模型帶進(jìn)座艙，而商湯“日日新”大模型也全面助力小愛(ài)同學(xué)車載語(yǔ)音場(chǎng)景應(yīng)用。

    本次車展，商湯絕影展示了以多模態(tài)場(chǎng)景大腦為核心的一系列全景感知、主動(dòng)關(guān)懷且富有創(chuàng)造力的大模型座艙產(chǎn)品。

    多模態(tài)場(chǎng)景大腦讓智能汽車可以高效準(zhǔn)確地全景感知和深度理解用戶需求和周圍環(huán)境，打通不同應(yīng)用，將離散的單點(diǎn)功能聚合在一起。

多模態(tài)大模型可以準(zhǔn)確感知并識(shí)別車外信息

    比如，可以基于地理位置推薦符合用戶喜好的餐廳，介紹用戶感興趣的外部自然景物，準(zhǔn)確感知識(shí)別車型、標(biāo)志性建筑物等車外信息，打破座艙本身的限制，讓用戶享受更為自由無(wú)束縛的出行體驗(yàn)。

    以商湯“大醫(yī)”醫(yī)療健康大模型為橋梁的“旅醫(yī)”，讓用戶在座艙內(nèi)就可以獲得專業(yè)及個(gè)性化的健康管理服務(wù)，讓出行更安心。

    而基于AIGC大模型技術(shù)的“神筆”，可以把用戶簡(jiǎn)單的繪畫(huà)線條轉(zhuǎn)變成具有美感的藝術(shù)作品，增添駕乘樂(lè)趣。

    去年Apple Vision Pro的問(wèn)世展現(xiàn)了3D交互的創(chuàng)新體驗(yàn)和應(yīng)用潛力，本次車展，商湯絕影將3D Gaze高精視線交互和3D 動(dòng)態(tài)手勢(shì)交互這兩大全新座艙3D交互演示帶到現(xiàn)場(chǎng)，帶來(lái)如同“Vision Pro”裸眼上車、更符合人類直覺(jué)的自然交互體驗(yàn)。

3D

Gaze高精視線交互是商湯絕影全球首創(chuàng)的能夠通過(guò)視線定位與屏幕圖標(biāo)進(jìn)行交互的智能座艙技術(shù)，讓用戶無(wú)需點(diǎn)按屏幕，通過(guò)眼神即可精準(zhǔn)控制中控圖標(biāo)，完成多種交互操作

3D 動(dòng)態(tài)手勢(shì)交互是行業(yè)領(lǐng)先的支持動(dòng)態(tài)手勢(shì)和手部微動(dòng)作識(shí)別的智能座艙技術(shù)，用戶通過(guò)手勢(shì)“隔空”實(shí)現(xiàn)各類座艙精細(xì)化的交互，打破傳統(tǒng)按鍵和屏幕觸控方式的繁瑣和局限

    商湯絕影還在進(jìn)一步探索艙駕融合，實(shí)現(xiàn)智能駕駛和智能座艙在硬件、軟件及應(yīng)用層面的全面融合，提升用戶體驗(yàn)、降低系統(tǒng)成本，進(jìn)一步打破艙內(nèi)外的界限和束縛，涌現(xiàn)更多創(chuàng)新功能，帶來(lái)更安全、更加全方位，更具人文關(guān)懷的新體驗(yàn)。

    加速智能汽車駛?cè)階GI時(shí)代 商湯絕影與哪吒汽車全面深化戰(zhàn)略合作

    AGI的突破掀起技術(shù)范式的革新，堅(jiān)實(shí)的核心研發(fā)能力成為行業(yè)競(jìng)爭(zhēng)的關(guān)鍵。商湯絕影率先構(gòu)建了四大技術(shù)基座，正在成長(zhǎng)為加速智能汽車駛?cè)階GI時(shí)代的核心技術(shù)伙伴。

    SenseCore商湯大裝置是行業(yè)領(lǐng)先的AI基礎(chǔ)設(shè)施，能夠以高達(dá)12,000 petaFLOPS的豐沛算力支持商湯絕影系列原生態(tài)大模型的高效迭代；

    商湯絕影為智能汽車前瞻構(gòu)建了UniAD、DriveAGI以及面向座艙的多模態(tài)場(chǎng)景大腦等系列原生態(tài)大模型，加速端到端自動(dòng)駕駛和大模型在智能座艙場(chǎng)景的落地；

    端云協(xié)同和艙駕融合的創(chuàng)新軟硬件架構(gòu)，讓智能汽車降本增效、涌現(xiàn)創(chuàng)新功能；

    全棧的數(shù)據(jù)生產(chǎn)管線，實(shí)現(xiàn)大模型的高質(zhì)量訓(xùn)練。

    車展上，哪吒汽車官宣與商湯絕影全面深化戰(zhàn)略合作，雙方將開(kāi)啟合作新篇章。商湯絕影將以大算力和原生態(tài)汽車垂類大模型更好地助力哪吒汽車智能化發(fā)展，共同探索更前沿的智能駕駛技術(shù)以及多模態(tài)場(chǎng)景大腦帶來(lái)的全新智慧出行體驗(yàn)。

    未來(lái)一到兩年，智能汽車處在一個(gè)關(guān)鍵的時(shí)間節(jié)點(diǎn)，它與通用人工智能的深度融合將開(kāi)啟一個(gè)全新的時(shí)代，車企需要強(qiáng)有力的核心技術(shù)伙伴攜手共進(jìn)。商湯絕影正是行業(yè)稀缺的同時(shí)具備“算力+算法+量產(chǎn)經(jīng)驗(yàn)”全棧技術(shù)領(lǐng)先的核心供應(yīng)商，是一匹應(yīng)勢(shì)而躍的千里馬，能夠助力合作伙伴在AGI時(shí)代持續(xù)領(lǐng)先。