近日，中科院旗下互聯(lián)網(wǎng)周刊聯(lián)合社科院信息化研究中心等發(fā)出了中國生成式人工智能服務(wù)TOP100，仙途智能先知大模型位列其中，與騰訊元寶、字節(jié)豆包、阿里千問等一同代表了國內(nèi)領(lǐng)先的大模型。
隨著自動駕駛技術(shù)的不斷演進，無人駕駛實時決策能力與安全保障機制已成為衡量技術(shù)成熟度的核心標(biāo)準(zhǔn)。在核心技術(shù)深研上，仙途智能實現(xiàn)重要躍遷，通過車端化部署先知大模型，為自動駕駛系統(tǒng)賦予更強的實時響應(yīng)能力與更高的安全冗余。
本文將深入解析先知大模型核心技術(shù)架構(gòu)，探討如何賦能車端實現(xiàn)高效決策與全方位安全監(jiān)督，并結(jié)合實際部署場景，展現(xiàn)無人駕駛車在真實運營環(huán)境中的應(yīng)用表現(xiàn)。
傳統(tǒng)云端部署依賴強大的算力資源，需將傳感器數(shù)據(jù)上傳至云端處理并回傳指令，這一模式對網(wǎng)絡(luò)環(huán)境高度敏感，弱網(wǎng)或斷網(wǎng)場景下易導(dǎo)致決策延遲甚至誤判，無人駕駛車安全與作業(yè)穩(wěn)定性難以保證。針對這一問題，仙途智能先知大模型通過多階段訓(xùn)練與系統(tǒng)化優(yōu)化流程，實現(xiàn)了大模型技術(shù)從云端到車端的技術(shù)演進，實現(xiàn)了自動駕駛智能化水平的關(guān)鍵突破。
先知大模型通過“本地生成-本地處理-本地決策”的閉環(huán)鏈路，直接將傳感器數(shù)據(jù)輸入送入模型，推理結(jié)果即時用于軌跡規(guī)劃與車輛控制，從而徹底擺脫對外部網(wǎng)絡(luò)的依賴，使自動駕駛系統(tǒng)能夠以更快的速度應(yīng)對突發(fā)狀況。此外，車輛行駛軌跡、實時環(huán)境感知數(shù)據(jù)等敏感信息均在車載終端完成處理，有效規(guī)避了數(shù)據(jù)跨網(wǎng)絡(luò)傳輸帶來的泄露風(fēng)險，構(gòu)筑起堅實的數(shù)據(jù)安全防護壁壘。
圖1：車端部署先知大模型技術(shù)架構(gòu)
在技術(shù)實現(xiàn)路徑上，仙途智能以業(yè)界領(lǐng)先的開源視覺語言大模型作為基礎(chǔ)架構(gòu)，融合海量開源自動駕駛數(shù)據(jù)進行專業(yè)化訓(xùn)練構(gòu)建起具備復(fù)雜場景理解能力的視覺大模型體系。在此基礎(chǔ)上，進一步引入仙途智能8年累積的無人駕駛車運營數(shù)據(jù)，通過精細標(biāo)注與深度訓(xùn)練，使得先知大模型具備實戰(zhàn)作戰(zhàn)能力。這一過程實質(zhì)上是讓AI“閱讀”學(xué)習(xí)數(shù)百萬公里的真實道路場景，真正實現(xiàn)從“數(shù)據(jù)驅(qū)動”到“自主進化”的人工智能賦能自動駕駛。
在模型優(yōu)化階段，仙途智能在部署過程中克服了諸多工程難題，例如，通過采用知識蒸餾技術(shù)將原始70B參數(shù)的大模型“精華”提取至更為輕量的8B/2B版本，同時借助AWQ（Activation-aware Weight Quantization）量化技術(shù)實現(xiàn)了模型體積的進一步壓縮，在保持推理精度的前提下顯著降低計算資源需求。
此外，為適應(yīng)車載環(huán)境的嚴(yán)苛限制，對交互指令（prompt）進行結(jié)構(gòu)化簡化，減少輸入和輸出指令的復(fù)雜度。而針對車載版本穩(wěn)定性要求，在Jetson和Drive多個穩(wěn)定版本環(huán)境上部署了支持Flash Attention與KV Cache的高效推理框架，提升了推理效率——這些技術(shù)優(yōu)化使得模型能夠在Jetson Orin和 DriveOS Orin等車載計算平臺上流暢運行，為自動駕駛系統(tǒng)提供實時、精準(zhǔn)的場景理解與決策支持。
在自動駕駛安全體系中，輔助決策與安全監(jiān)督正成為技術(shù)演進的關(guān)鍵方向。仙途智能先知大模型初版模型以閉集場景理解為核心，通過1vN遠程運營架構(gòu)輔助安全員識別已知風(fēng)險并觸發(fā)接管指令，從而大幅提升遠程干預(yù)效率。然而現(xiàn)實道路環(huán)境復(fù)雜多變，在實際運營中仍面臨長尾場景不可預(yù)知及安全員接管延遲等挑戰(zhàn)，因此車端模型需直接參與決策，實時輔助無人駕駛車輛完成安全駕駛決策。
圖2：先知大模型冗余安全機制
基于此需求迭代，先知大模型構(gòu)建了一套獨立于傳統(tǒng)自動駕駛模塊化鏈路系統(tǒng)的冗余安全機制，專門對規(guī)劃決策進行實時異常監(jiān)督。通過歷史積累的實際運營數(shù)據(jù)以及公開的事故數(shù)據(jù)，技術(shù)團隊系統(tǒng)性地合成了各類反事實決策場景數(shù)據(jù)庫，包括各種潛在的碰撞風(fēng)險、車輛誤入非道路區(qū)域以及違反交通規(guī)則的情形。這種合成方法解決了現(xiàn)實駕駛中危險場景罕見導(dǎo)致的數(shù)據(jù)稀缺問題，為模型提供了豐富的訓(xùn)練素材。模型通過“合成→判定→校驗→訓(xùn)練”形成閉環(huán)迭代：首先對合成軌跡進行安全性預(yù)判，再由專家團隊標(biāo)注驗證，最終將驗證后的數(shù)據(jù)集重新納入訓(xùn)練集。
圖3：軌跡聚類
圖4：軌跡投影（發(fā)生碰撞場景）
圖5：軌跡投影（無人駕駛車上路沿場景）
例如，在現(xiàn)實場景中無人駕駛車上路沿、闖紅燈、發(fā)生碰撞等高風(fēng)險場景很少出現(xiàn)，場景挖掘的結(jié)果難以覆蓋模型訓(xùn)練和測試的需求。先知大模型首先對實際的較長的規(guī)劃軌跡進行聚類，并投影，合成各類反事實決策場景。
以實際場景為例，在無人駕駛車運行過程中，面臨突然出現(xiàn)小狗，或者碰撞路沿的潛在風(fēng)險（如圖6、圖7），先知大模型會對這些決策軌跡進行兜底判定，確保決策的安全性與合理性。
圖6：碰撞風(fēng)險
圖7：不可行駛區(qū)域
通過一系列技術(shù)突破，先知大模型的能力邊界實現(xiàn)了質(zhì)的飛躍：從傳統(tǒng)的閉集任務(wù)（如環(huán)境感知、車輛識別和場景理解）擴展到更為復(fù)雜的開集問題領(lǐng)域，包括對自車決策軌跡的全面分析能力；精確識別與預(yù)測多種復(fù)雜情境下的安全隱患：動態(tài)預(yù)測障礙物碰撞風(fēng)險、監(jiān)測車輛是否進入施工區(qū)或?qū)ο蜍嚨赖炔豢尚旭倕^(qū)域、評估駕駛行為是否符合各類明文和潛規(guī)則的交通法規(guī)。通過這種全方位的安全監(jiān)督，先知大模型成為自動駕駛系統(tǒng)的智能守護者，為實現(xiàn)安全可靠的自動駕駛提供了強有力的技術(shù)支撐。
在自動駕駛這場關(guān)乎未來出行的技術(shù)競速中，技術(shù)成熟度與安全性已然成為決定行業(yè)格局的關(guān)鍵賽道。仙途智能將始終以安全為基石，進一步提升先知大模型對復(fù)雜場景的理解和預(yù)測能力，構(gòu)建起更具前瞻性的安全決策體系，推動行業(yè)邁向安全、高效、智能的新紀(jì)元。
【免責(zé)聲明】【廣告】本文僅代表作者本人觀點，與和訊網(wǎng)無關(guān)。和訊網(wǎng)站對文中陳述、觀點判斷保持中立，不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考，并請自行承擔(dān)全部責(zé)任。郵箱：news_center@staff.hexun.com
最新評論