在過(guò)去很長(zhǎng)一段時(shí)間里，行業(yè)內(nèi)主流的感知方案是基于目標(biāo)檢測(cè)的思維方式，也就是在三維空間中尋找特定的物體，并用一個(gè)緊湊的長(zhǎng)方體框?qū)⑺鼈內(nèi)Χǔ鰜?lái)。這種被稱(chēng)為“3D目標(biāo)檢測(cè)”的方法在處理常見(jiàn)的汽車(chē)、行人和自行車(chē)時(shí)表現(xiàn)得非常高效，它能告訴車(chē)輛前方有一輛多少米長(zhǎng)、多少米寬的小轎車(chē)。

　　然而，現(xiàn)實(shí)交通環(huán)境的復(fù)雜程度遠(yuǎn)超實(shí)驗(yàn)室里預(yù)定義的標(biāo)簽庫(kù)。當(dāng)?shù)缆飞铣霈F(xiàn)一輛側(cè)翻的油罐車(chē)、一個(gè)散落的紙箱，或者是一個(gè)伸出吊臂的起重機(jī)時(shí)，傳統(tǒng)的畫(huà)框式算法就會(huì)顯得捉襟見(jiàn)肘，因?yàn)檫@些東西的形狀極不規(guī)則，很難用一個(gè)標(biāo)準(zhǔn)的方盒子去準(zhǔn)確描述。

　　為了解決這些“不在名單上”的風(fēng)險(xiǎn)，占用網(wǎng)絡(luò)應(yīng)運(yùn)而生。它不再?lài)L試去辨認(rèn)每個(gè)物體的具體身份，而是將整個(gè)物理世界切分成無(wú)數(shù)個(gè)微小的、邊長(zhǎng)通常只有十幾厘米的立方體，這些小方塊被稱(chēng)為“體素”。

　　占用網(wǎng)絡(luò)只需要判斷每一個(gè)體素是否被物理實(shí)體所占據(jù)。這種從“物體檢測(cè)”到“空間占據(jù)預(yù)測(cè)”的邏輯轉(zhuǎn)變，讓自動(dòng)駕駛系統(tǒng)具備了識(shí)別任何形狀障礙物的能力。

　　傳統(tǒng)視覺(jué)感知有何痛點(diǎn)?

　　在深入探討占用網(wǎng)絡(luò)之前，有必要先厘清下傳統(tǒng)感知方案在面對(duì)異形物體時(shí)的痛點(diǎn)。早期的自動(dòng)駕駛算法高度依賴(lài)“分類(lèi)”邏輯，也就是系統(tǒng)必須先知道一個(gè)東西是什么，才能確定它在哪。這種邏輯在處理“本體裂紋”或“語(yǔ)義裂縫”時(shí)非常脆弱。

　　舉個(gè)例子，如果一個(gè)算法的訓(xùn)練集里全都是標(biāo)準(zhǔn)的貨車(chē)，當(dāng)它在路上遇到一輛拉著長(zhǎng)木材、木材向后延伸出車(chē)廂數(shù)米的拖掛車(chē)時(shí)，系統(tǒng)可能只會(huì)把車(chē)頭和車(chē)廂識(shí)別為一個(gè)長(zhǎng)方體，而忽略掉那些向外延伸的木材。

　　對(duì)于自動(dòng)駕駛汽車(chē)來(lái)說(shuō)，這種對(duì)空間理解的缺失是非常致命的，因?yàn)檫@意味著規(guī)劃器可能會(huì)認(rèn)為車(chē)后方的空間是空的，從而在變道時(shí)發(fā)生碰撞。

　　此外，傳統(tǒng)3D目標(biāo)檢測(cè)還存在著形狀剛性的挑戰(zhàn)。它嘗試用一個(gè)長(zhǎng)、寬、高固定的立方體去套住所有物體，但在現(xiàn)實(shí)中，很多障礙物是可變形的或者是中空的。

　　像是一輛正在施工的灑水車(chē)，它噴出的水霧在視覺(jué)上可能很模糊，或者一輛造型奇特的工程車(chē)，其吊臂懸浮在半空中。傳統(tǒng)的方盒子無(wú)法描述這種“懸空”或“非連續(xù)”的物理占據(jù)，就會(huì)將吊臂下方的空地也標(biāo)記為不可通行，或者干脆完全漏掉懸空的吊臂。

　　這種對(duì)空間細(xì)節(jié)的粗糙處理，使得車(chē)輛在復(fù)雜的城市窄路或施工區(qū)域行駛時(shí)，表現(xiàn)得畏首畏尾或者極度危險(xiǎn)。

　　視覺(jué)感知還有一個(gè)固有缺陷是深度信息的缺失。雖然我們可以通過(guò)算法將二維圖像轉(zhuǎn)化為三維坐標(biāo)，但在遠(yuǎn)距離場(chǎng)景下，這種轉(zhuǎn)化的誤差會(huì)呈指數(shù)級(jí)增長(zhǎng)。僅靠幾個(gè)像素點(diǎn)的變化來(lái)推斷地平線(xiàn)上一個(gè)物體的距離是非常不可靠的。激光雷達(dá)雖然能通過(guò)物理反射解決距離問(wèn)題，但其成本限制了自動(dòng)駕駛的大規(guī)模普及。

　　在這種背景下，如何用廉價(jià)的攝像頭實(shí)現(xiàn)媲美激光雷達(dá)的空間建模能力，成為了感知技術(shù)演進(jìn)的核心驅(qū)動(dòng)力。占用網(wǎng)絡(luò)正是在這種需求下，通過(guò)將感知空間從二維平面提升到三維體素，為純視覺(jué)方案補(bǔ)齊了最后一塊短板。

　　占用網(wǎng)絡(luò)的是如何實(shí)現(xiàn)場(chǎng)景理解的?

　　占用網(wǎng)絡(luò)的核心理念是將車(chē)輛周?chē)奈锢砜臻g徹底“數(shù)字化”。它不再?lài)L試去理解具體的物體語(yǔ)義，而是將感知的焦點(diǎn)回歸到最原始的問(wèn)題，這個(gè)點(diǎn)上到底有沒(méi)有東西。

　　為了實(shí)現(xiàn)這一點(diǎn)，系統(tǒng)會(huì)通過(guò)環(huán)視攝像頭捕獲360度的圖像數(shù)據(jù)，然后利用特征提升，將這些二維的像素特征映射到一個(gè)三維的向量空間中。

　　在這個(gè)過(guò)程中，Transformer架構(gòu)起到了至關(guān)重要的作用。它像是一組敏銳的探測(cè)波，在三維空間中進(jìn)行“位置查詢(xún)”，通過(guò)注意力機(jī)制去尋找不同視角的圖像中哪些像素點(diǎn)指向了同一個(gè)物理空間點(diǎn)，從而在系統(tǒng)內(nèi)部構(gòu)建起一個(gè)密集的、充滿(mǎn)了特征信息的立體網(wǎng)格。

　　這種體素化的表示方法與傳統(tǒng)的點(diǎn)云數(shù)據(jù)有著異曲同工之妙，但它比點(diǎn)云更進(jìn)一步。點(diǎn)云僅僅是物體的表面反射點(diǎn)，而占用網(wǎng)絡(luò)生成的體素網(wǎng)格是連續(xù)的、稠密的。它不僅記錄了物體的表面，還隱含了空間的占據(jù)狀態(tài)。

　　特斯拉的占用網(wǎng)絡(luò)可以在大約10毫秒內(nèi)完成一次全局的空間預(yù)測(cè)，這個(gè)速度遠(yuǎn)超人類(lèi)的反應(yīng)極限。它會(huì)將世界劃分為一個(gè)個(gè)極小的立方體，并為每個(gè)立方體賦予一個(gè)“占據(jù)概率”。如果某個(gè)位置的占據(jù)概率超過(guò)了設(shè)定的閾值，規(guī)劃器就會(huì)將其視為障礙物，從而在路徑搜索中自動(dòng)繞開(kāi)該區(qū)域。

　　值得一提的是，占用網(wǎng)絡(luò)在提升空間分辨率方面也有一套精妙的算法。由于車(chē)載芯片的內(nèi)存和算力是有限的，系統(tǒng)不可能對(duì)所有的空間都進(jìn)行同樣精細(xì)的劃分。

　　因此，先進(jìn)的算法會(huì)采用“按需分配”的策略，在靠近車(chē)輛行駛路徑的區(qū)域，體素劃分得非常細(xì)致，足以看清路面上一個(gè)小小的路障;而在遠(yuǎn)離車(chē)輛或者天空中不影響行駛的區(qū)域，則使用較粗的網(wǎng)格以節(jié)省計(jì)算資源。

　　這種“分辨率在關(guān)鍵處發(fā)力”的設(shè)計(jì)，使得占用網(wǎng)絡(luò)能夠在實(shí)時(shí)性與準(zhǔn)確性之間找到完美的平衡點(diǎn)。

　　為了確保預(yù)測(cè)的準(zhǔn)確性，現(xiàn)代占用網(wǎng)絡(luò)還會(huì)引入時(shí)序融合機(jī)制。它不只是根據(jù)當(dāng)前的一幀畫(huà)面做判斷，還會(huì)參考過(guò)去幾十毫秒甚至幾百毫秒的特征流。這種跨時(shí)間的特征比對(duì)，不僅能過(guò)濾掉單幀圖像中可能出現(xiàn)的噪點(diǎn)，還能讓系統(tǒng)感知到物體是如何在三維空間中移動(dòng)的。

　　這種時(shí)空的交織，讓車(chē)輛不僅擁有“立體感”，還擁有了某種程度上的“物理常識(shí)”。如當(dāng)系統(tǒng)看到一組體素正在向前快速移動(dòng)時(shí)，它能通過(guò)歷史數(shù)據(jù)的一致性判斷出這大概率是一個(gè)動(dòng)態(tài)的交通參與者，而不是路邊靜止的建筑殘骸。

　　占用網(wǎng)絡(luò)如何解決“看不見(jiàn)的風(fēng)險(xiǎn)”?

　　占用網(wǎng)絡(luò)最引以為傲的能力，就是它對(duì)“長(zhǎng)尾障礙物”或異形物體有極高魯棒性。在傳統(tǒng)的自動(dòng)駕駛邏輯中，異形物體幾乎就是“無(wú)法識(shí)別”的。但是因?yàn)檎加镁W(wǎng)絡(luò)本質(zhì)上是在做三維空間的幾何重構(gòu)，它對(duì)物體的外觀(guān)、顏色或者類(lèi)別完全不敏感。它只關(guān)心一點(diǎn)，如果在一個(gè)特定的空間坐標(biāo)上，攝像頭觀(guān)察到了持續(xù)的視覺(jué)遮擋和特征反饋，那么這個(gè)空間就是“被占據(jù)”的。

　　這就好比在黑夜中用手摸索前方的障礙。傳統(tǒng)算法像是必須通過(guò)手感猜出摸到的是椅子還是桌子才能避開(kāi)，而占用網(wǎng)絡(luò)則只要發(fā)現(xiàn)手伸不過(guò)去，就立刻認(rèn)定那里有東西。

　　這種“幾何優(yōu)先”的思維方式徹底解決了語(yǔ)義裂縫問(wèn)題。無(wú)論障礙物是一輛翻倒的灑水車(chē)、一堆凌亂的建筑材料，還是一棵橫在路中央的斷樹(shù)，占用網(wǎng)絡(luò)都能精準(zhǔn)地描繪出它們?cè)谌S空間中的實(shí)際輪廓，而不會(huì)像傳統(tǒng)算法那樣，試圖用長(zhǎng)方體去強(qiáng)行套住這些形狀奇詭的東西。

　　此外，占用網(wǎng)絡(luò)對(duì)于處理“懸空障礙物”具有天然的優(yōu)勢(shì)。這是BEV(鳥(niǎo)瞰圖)技術(shù)在升維過(guò)程中最容易遺失的信息。在傳統(tǒng)的BEV架構(gòu)下，所有東西都被壓扁到了一個(gè)二維的地平面上，系統(tǒng)很難區(qū)分一個(gè)物體到底是長(zhǎng)在地上，還是懸在空中。

　　而占用網(wǎng)絡(luò)通過(guò)在Z軸(高度軸)上的多層體素劃分，可以清晰地識(shí)別出路面上的隔離帶和橫跨路面的限高桿之間的空間差異。它能告訴車(chē)輛，底盤(pán)可以安全通過(guò)某些低矮的坑洼，但車(chē)頂可能會(huì)撞上前方低垂的樹(shù)枝。這種全方位的幾何理解，讓自動(dòng)駕駛汽車(chē)在應(yīng)對(duì)復(fù)雜的施工現(xiàn)場(chǎng)或不規(guī)則的立交橋下空間時(shí)，具備類(lèi)似人類(lèi)駕駛員的直覺(jué)。

　　此外，占用網(wǎng)絡(luò)還具備卓越的“腦補(bǔ)”能力，這在處理遮擋問(wèn)題時(shí)尤為關(guān)鍵。當(dāng)一輛大貨車(chē)遮擋住了后方的部分視野時(shí)，傳統(tǒng)的點(diǎn)云方案只能看到貨車(chē)的側(cè)面，而無(wú)法知道貨車(chē)后面是否還藏著其他東西。

　　占用網(wǎng)絡(luò)通過(guò)深度學(xué)習(xí)積累的幾何先驗(yàn)，可以在一定程度上預(yù)測(cè)被遮擋區(qū)域的占據(jù)狀態(tài)，并將這些預(yù)測(cè)信息提供給下游的避障算法。這種對(duì)未知空間的防御性建模，極大地提升了車(chē)輛在十字路口或視線(xiàn)受阻區(qū)域行駛時(shí)的安全性。

　　占用流如何實(shí)現(xiàn)預(yù)測(cè)能力?

　　如果說(shuō)三維體素解決了空間識(shí)別的問(wèn)題，那么“占用流”(Occupancy Flow)則賦予了系統(tǒng)對(duì)動(dòng)態(tài)世界的預(yù)測(cè)能力。

　　占用流不僅能告訴我們哪些空間被占用了，還能給出每一個(gè)被占用體素的運(yùn)動(dòng)矢量。通過(guò)分析這些矢量的顏色和方向，規(guī)劃算法可以清晰地預(yù)判周?chē)矬w的運(yùn)動(dòng)軌跡。

　　占用流的引入，本質(zhì)上是引入了物理世界的守恒定律。它意識(shí)到，一個(gè)體素如果現(xiàn)在被占據(jù)了，它下一刻要么留在原地，要么會(huì)移動(dòng)到相鄰的體素位置。這種局部的連貫性約束，使得系統(tǒng)在處理行人鬼探頭、車(chē)輛緊急加塞等高風(fēng)險(xiǎn)場(chǎng)景時(shí)，能夠比傳統(tǒng)基于目標(biāo)追蹤的方法更快地做出反應(yīng)。

　　系統(tǒng)不再需要經(jīng)歷“識(shí)別物體-關(guān)聯(lián)歷史幀-計(jì)算速度-生成預(yù)測(cè)軌跡”的長(zhǎng)鏈條，而是直接觀(guān)察體素占據(jù)狀態(tài)的流轉(zhuǎn)趨勢(shì)。這種毫秒級(jí)的響應(yīng)速度提升，往往就是避免一場(chǎng)碰撞的關(guān)鍵。

　　在模型訓(xùn)練中，占用網(wǎng)絡(luò)也利用了許多前沿的技術(shù)手段來(lái)提升自身的進(jìn)化速度。由于人工標(biāo)注三維體素是一項(xiàng)幾乎不可能完成的任務(wù)，行業(yè)內(nèi)普遍采用“NeRF(神經(jīng)輻射場(chǎng))”等離線(xiàn)重建技術(shù)進(jìn)行自動(dòng)標(biāo)注。

　　車(chē)輛在行駛過(guò)程中會(huì)通過(guò)眾包的形式收集海量的視覺(jué)數(shù)據(jù)，在云端通過(guò)NeRF技術(shù)還原出極其真實(shí)的3D場(chǎng)景，并以此作為真值來(lái)訓(xùn)練車(chē)端的小模型。這種“云端重構(gòu)、車(chē)端預(yù)測(cè)”的閉環(huán)，讓占用網(wǎng)絡(luò)能夠從全球數(shù)百萬(wàn)輛車(chē)的日常行駛中不斷學(xué)習(xí)，從而持續(xù)增強(qiáng)其泛化能力。