18video性欧美19sex,欧美高清videosddfsexhd,性少妇videosexfreexxx片中国,激情五月激情综合五月看花,亚洲人成网77777色在线播放

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于全局特征的自頂向下分類的混合錨系統(tǒng)

3D視覺工坊 ? 來源:自動駕駛之心 ? 作者:石頭 ? 2022-10-09 15:16 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

1. 介紹

車道檢測是自動駕駛和高級駕駛輔助系統(tǒng)(ADAS)的基本組成部分,用于識別和定位道路上的車道標記。雖然深度學(xué)習(xí)模型已經(jīng)取得了巨大的成功,但仍有一些重要和具有挑戰(zhàn)性的問題有待解決。

第一個是效率問題。在實際應(yīng)用中,由于下游任務(wù)對檢測速度要求較高,在車輛計算設(shè)備有限的情況下,車道檢測算法被快速執(zhí)行來提供實時的感知結(jié)果。此外,以往的車道檢測方法主要基于分割,采用密集的自底向上的學(xué)習(xí)范式,這導(dǎo)致難以取得較快的運行速度。

fd4cd698-3e19-11ed-9e49-dac502259ad0.png

除了效率問題,另一個挑戰(zhàn)是無視覺線索問題,如圖1所示。車道檢測任務(wù)是尋找車道的位置,不管車道是否可見。因此,如何處理嚴重遮擋和極端光照條件下沒有可見信息的場景是車道檢測任務(wù)中的一個主要難點。為了緩解這個問題,能夠潛在影響檢測結(jié)果的額外線索是至關(guān)重要的。例如,道路形狀、車輛行駛方向趨勢、不被遮擋的車道線端點等都有利于檢測。為了利用額外線索,通過擴大感受野來利用更多信息對車道檢測是可取的。

這就提出了一個自然的問題:我們能否找到一種具有大感受野快速且全局的范式用于車道檢測任務(wù)?基于上述動機,我們提出了一個稀疏的自頂向下的范式來解決效率問題和無視覺線索問題。首先,我們提出了一種新穎的 row-anchor-driven 的車道表示。一條車道可以用一系列預(yù)定義的行錨上的坐標表示。由于一個車道可以很好地由一組關(guān)鍵點表示(在一個固定的稀疏行錨系統(tǒng)中),效率問題可以通過錨驅(qū)動表示的稀疏性來解決。其次,我們提出了一種基于分類的方式來學(xué)習(xí)錨驅(qū)動表示的車道坐標。使用基于分類的方式(與整個全局特征一起工作),感受野與整個輸入一樣大。它使網(wǎng)絡(luò)能夠更好地捕獲全局和長程信息用于車道檢測,有效地解決了無視覺線索的問題。

fd6a07a4-3e19-11ed-9e49-dac502259ad0.png

此外,我們在此次工作中把車道線的行錨表示擴充為混合錨系統(tǒng)。根據(jù)我們的觀察,行錨不能很好地適用于所有的車道線,而且會導(dǎo)致放大的定位問題。如圖2a和2b所示,使用行錨時,側(cè)邊車道的定位精度明顯低于當前車道。如果我們使用列錨呢?在圖2c中,我們可以看到相反的現(xiàn)象,列錨系統(tǒng)對當前車道的定位能力較差。這個問題使得行錨難以定位水平車道(側(cè)車道),同樣也使得列錨難以定位垂直車道(當前車道)。根據(jù)上述觀察結(jié)果,我們建議使用混合錨(行錨和列錨)來分別表示不同的車道。具體地說,我們對當前車道使用行錨,對側(cè)邊車道使用列錨。這樣可以緩解放大定位誤差問題,提高性能。

在混合錨系統(tǒng)中,一條車道線可以用錨系統(tǒng)上的坐標表示。如何有效地學(xué)習(xí)這些坐標是另一個重要的問題。最直接的方法是使用回歸。通常,回歸方法只進行局部范圍的預(yù)測,而對長期和全局定位的建模則相對較弱。為了應(yīng)對全局范圍預(yù)測,我們提出了基于分類的方式學(xué)習(xí)車道坐標,不同的坐標用不同的類別表示。在這項工作中,我們進一步把原始分類擴展為有序分類。在序數(shù)分類中,相鄰類之間有密切的序數(shù)關(guān)系,這與原始分類不同。例如,在ImageNet[18]分類任務(wù)中,第7類是黃貂魚(一種魚),第8類是公雞。在我們的工作中,類是有序的(例如,第8類的車道坐標總是在第7類的車道坐標的右側(cè))。有序分類的另一個性質(zhì)是類的空間是連續(xù)的。例如,7.5類這樣的非整數(shù)類是有意義的,它可以被視為第7類和第8類之間的中間類。為了實現(xiàn)序數(shù)分類,我們提出了兩個損失函數(shù)來建模類之間的順序關(guān)系,包括基本的分類損失和數(shù)學(xué)期望損失。利用順序關(guān)系和連續(xù)類別空間性質(zhì),我們能使用數(shù)學(xué)期望代替argmax來得到連續(xù)的預(yù)測類。期望損失是為了約束被預(yù)測的連續(xù)類等于真值。同時約束基本損失和期望損失,可以使輸出具有更好的順序關(guān)系,有利于車道的定位。

總而言之,我們工作的主要貢獻有三個方面。

我們提出了一種新穎、簡單、有效的車道檢測范式。與之前的方法相比,我們的方法將車道表示為anchor-based坐標,并以基于分類的方式學(xué)習(xí)坐標。這個范式在解決沒有視覺線索的問題時是非常快速和有效的。

在此基礎(chǔ)上,提出了一種混合錨系統(tǒng),進一步擴展了之前的行錨系統(tǒng),可以有效降低定位誤差。進一步將基于分類的學(xué)習(xí)擴展到有序分類問題,利用自然順序關(guān)系進行分類定位。

所提出的方法達到了最先進的速度和性能。我們最快的模型可以達到300+ FPS,與最先進的性能相當。

本文是我們之前會議出版物[20]的擴展。與會議版本相比,本文有如下擴展:

Hybrid Anchor System通過對放大誤差問題的觀察,我們提出了一種新的混合錨系統(tǒng),與之前的文章相比,可以有效地減少定位誤差。

Ordinal Classification Losses我們提出了新的損失函數(shù),將車道定位視為一個有序分類問題,進一步提高了性能。

Presentation & Experiments論文的大部分內(nèi)容被重寫,以提供更清晰的陳述和插圖。我們提供更多的分析、可視化和結(jié)果,以更好地覆蓋我們的工作空間。這個版本還提供了更強的結(jié)果,在相同的速度下性能提高了6.3個點。

2. 相關(guān)工作

自底向上的車道線檢測建模

傳統(tǒng)方法通常使用low-level 圖像處理技術(shù)來解決車道線檢測問題。通過使用low-level 圖像處理,傳統(tǒng)方法本質(zhì)上是以自底向上的方式工作的。他們的主要想法是通過HSI顏色模型和邊緣提取算法等圖像處理來利用視覺線索。Gold是使用立體視覺系統(tǒng)的邊緣提取算法檢測車道線和障礙物的最早嘗試之一。除了利用不同顏色模型和邊緣提取方法的特征外,[25]還提出利用射影幾何和逆透視基于來利用現(xiàn)實世界中車道通常是平行的先驗信息。雖然許多方法嘗試了不同的傳統(tǒng)車道特征,但從low-level 圖像處理中獲得的語義信息在復(fù)雜場景中仍然相對不足。這樣,tracking是一種受歡迎的后處理解決辦法,它增強了魯棒性。除tracking外,還采用馬爾可夫和條件隨機場作為后處理方法。此外,還提出了一些采用模板匹配、決策樹、支持向量機等學(xué)習(xí)機制的方法。

隨著深度學(xué)習(xí)的發(fā)展,一些基于深度神經(jīng)網(wǎng)絡(luò)的方法在車道檢測中顯示出優(yōu)越性。這些方法通常使用表示車道存在性和位置的heatmap來處理車道線檢測任務(wù)。在這些早期的嘗試之后,主流方法開始將車道檢測視為分割問題。例如VPGNet提出了一種由消失點引導(dǎo)的多任務(wù)分割網(wǎng)絡(luò),用于車道和道路標記檢測。為了擴大像素級分割的接收域,提高分割性能,SCNN在分割模塊中采用了特殊的卷積運算。它通過對切片特征進行處理,將不同維度的信息一一疊加在一起,類似于循環(huán)神經(jīng)網(wǎng)絡(luò)。RONELD提出了一種通過分別尋找和構(gòu)造直線和曲線動態(tài)車道線來增強SCNN的方法。RESA也提出了一種類似的方法,通過周期性特征平移來擴大感受野。由于分割方法的計算量較大,一些研究試圖探索用于實時的輕量級方法。自注意力蒸餾(Self-attention distillation)采用注意力蒸餾機制,將上層和下層的注意力分別視為教師和學(xué)生。IntRA-KD還利用inter-region affinity distillation來提高學(xué)生網(wǎng)絡(luò)的性能。這樣,通過注意力蒸餾,一個淺層網(wǎng)絡(luò)可以有與深層網(wǎng)絡(luò)相似的表現(xiàn)。CurveLane-NAS引入神經(jīng)體系結(jié)構(gòu)搜索技術(shù)來搜索為車道線檢測量身定制的分割網(wǎng)絡(luò)。在LaneAF中,提出了以基于分割的affinity fields形式的投票檢測車道線的方法。FOLOLane采用自底向上的方式,利用全局幾何解碼器對局部模式進行建模,實現(xiàn)全局結(jié)構(gòu)的全局預(yù)測。

自頂向下的車道線檢測建模

除了主流的分割范式,一些工作也試圖探索其他范式的車道檢測。在[39]中,采用長短期記憶(LSTM)網(wǎng)絡(luò)來處理車道的長線結(jié)構(gòu)。同樣的原理,F(xiàn)ast-Draw預(yù)測每個車道點的車道方向,然后按順序?qū)⑵淅L制出來。在[41]中,將車道線檢測問題視為通過聚類二值分割段進行實例分割。E2E提出通過可微最小二乘擬合檢測車道線,并直接預(yù)測車道線多項式系數(shù)。同樣,Polylanenet和LSTR也分別提出通過深度多項式回歸和Transformer[45]預(yù)測車道多項式系數(shù)。LaneATT提出使用以圖像中的線條為錨的目標檢測流水線。然后從密集線錨中對車道進行分類和定位。按照利用消隱點先驗和目標檢測流水線,SGNet 提出使用消失點引導(dǎo)的線錨。與2D視角的先前工作不同,也有很多方法嘗試以3D的形式表示車道線。

與以往自下而上的工作不同,我們的方法是一種自頂向下的建模方法。通過自頂向下建模,該方法自然可以更多地關(guān)注全局信息,有利于解決無視覺線索問題。與以往的自頂向下方法相比,我們的方法旨在建立一種新的基于行錨和混合錨的車道檢測范式,可以大大降低學(xué)習(xí)難度,加快檢測速度。通過之前會議版本[20]中提出的范式,我們的工作已經(jīng)成功地采用并推廣到其他方法[52]。

fda8b364-3e19-11ed-9e49-dac502259ad0.png

3. ULTRA FAST LANE DETECTION

在本節(jié)中,我們將描述方法的細節(jié)。首先,我們在提出的混合錨系統(tǒng)上演示了用坐標表示車道線的方法。其次,展示了網(wǎng)絡(luò)架構(gòu)的設(shè)計和相應(yīng)的有序分類損失。最后,闡述了復(fù)雜性分析。

3.1 使用anchors的車道線表示

為了表示車道,我們引入行錨進行車道檢測,如圖3所示。線用行錨上的點表示。但是,行錨系統(tǒng)可能會造成放大定位誤差的問題,如圖2所示。這樣,我們將行錨系統(tǒng)進一步擴展為混合式錨系統(tǒng)。

fdf78304-3e19-11ed-9e49-dac502259ad0.png

產(chǎn)生這個問題的原因如圖5所示。假設(shè)在沒有任何錨系統(tǒng)的情況下,理想的最小定位誤差為,該誤差可由網(wǎng)絡(luò)偏差、標注誤差等因素引起。我們可以看到行錨系統(tǒng)的誤差帶需要乘以一個系數(shù) 。當車道線和錨的角度非常小時,放大因子 會趨近于無窮大。例如,當車道是嚴格水平的,就不可能用行錨系統(tǒng)來表示車道。這個問題使得行錨難以定位更水平的車道(通常是側(cè)邊車道),同樣地,它也使得列錨難以定位更垂直的車道(通常是當前車道)。相反,當車道線和錨垂直時,錨系統(tǒng)引入的誤差最小(),它等于理想定位誤差。

基于上述觀察結(jié)果,我們進一步提出使用混合錨來表示車道。針對不同類型的車道線,采用不同的錨系統(tǒng)來減小被放大的定位誤差。具體來說,規(guī)則是:一條車道線只能分配一種錨,選擇更垂直的錨類型。在實際操作中,CULane[2]、TuSimple[53]等車道檢測數(shù)據(jù)集只標注了兩個當前車道和兩個側(cè)邊車道,如圖2a所示。這樣,我們將行錨用于當前車道,列錨用于側(cè)邊車道,混合錨系統(tǒng)可以緩解放大定位誤差問題。

對于混合錨系統(tǒng),我們可以將車道表示為錨上的一系列坐標,如圖4所示。表示為行錨的數(shù)量,為列錨的數(shù)量。對于每個車道線,我們首先分配相應(yīng)的定位誤差最小的錨系統(tǒng)。然后我們計算車道線和每個錨之間的線-線交點,記錄交點的坐標。如果車道線與某些固定的anchors不相交,坐標將被設(shè)置為-1. 設(shè)行錨的車道線數(shù)為,列錨的車道線數(shù)為。圖像中的車道線可以用一個固定大小的target T表示,其中每個元素要么是車道的坐標,要么是-1,其長度為 . T可以被分成兩部分 和,對應(yīng)于行錨和列錨的部分,大小分別是.

fe0e0dfe-3e19-11ed-9e49-dac502259ad0.png

3.2 基于anchor的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

我們設(shè)計網(wǎng)絡(luò)的目標是利用混合錨的車道表示方法,采用分類方式學(xué)習(xí)固定大小的目標和。為了采用分類方式學(xué)習(xí)和,我們將和中的不同坐標映射到不同的類。假設(shè)和被歸一化(和的元素范圍為0到1或等于- 1,即“無車道”的情況),類別的數(shù)量為和。映射可以寫成:

ffcda9ec-3e19-11ed-9e49-dac502259ad0.png

其中,和是坐標的映射類別標簽, 是向下取整, 是 的第i行第j列中的元素。這樣,我們就可以將混合錨上的坐標學(xué)習(xí)轉(zhuǎn)化為兩個維數(shù)分別為和的分類問題。對于無車道情況,即和 等于 -1,我們使用額外的二分類表示:

fff070a8-3e19-11ed-9e49-dac502259ad0.png

其中為坐標存在性的類別標簽,為第i行第j列的元素。列錨的存在性target與之類似:

0019732c-3e1a-11ed-9e49-dac502259ad0.png

通過以上推導(dǎo),整個網(wǎng)絡(luò)就是學(xué)習(xí),,,,,有兩個分支,分別是定位分支和存在性分支。

假設(shè)輸入圖像的深度特征為,則網(wǎng)絡(luò)可以寫成:

0032ab6c-3e1a-11ed-9e49-dac502259ad0.png

其中和為定位分支和存在性分支,為分類器,為展平操作。和的輸出都由兩部分組成(, , 和),分別對應(yīng)行錨和列錨。, 的大小分別為,其中和為行錨和列錨的映射分類維度。和的大小分別為。在等式 4中,我們直接將來自主干的深度特征展平,并將其提供給分類器。傳統(tǒng)的分類網(wǎng)絡(luò)使用了GAP (global average pooling)。我們之所以使用flatten而不是GAP,是因為我們發(fā)現(xiàn)空間信息對基于分類的車道檢測網(wǎng)絡(luò)至關(guān)重要。使用GAP會消除空間信息,導(dǎo)致性能較差。

3.3 有序分類損失

由式1可以看出,上述分類網(wǎng)絡(luò)的一個基本性質(zhì)是類之間存在順序關(guān)系。與傳統(tǒng)的分類不同,我們的分類網(wǎng)絡(luò)將相鄰類定義為緊密有序的關(guān)系。為了更好地利用順序關(guān)系的先驗性,我們提出使用基本分類損失和期望損失?;痉诸悡p失定義如下:

0053a290-3e1a-11ed-9e49-dac502259ad0.png

其中 是交叉熵損失, 為第i個車道分配給行錨和第j個行錨的預(yù)測,為對應(yīng)的分類標簽 ,為第m個車道分配給列錨和第n個列錨對應(yīng)的分類標簽, 對應(yīng)的分類標簽,為獨熱編碼函數(shù)。由于類別是有序的,因此預(yù)測的期望可以看作是平均投票結(jié)果。為方便起見,我們將期望表示為:

00794c48-3e1a-11ed-9e49-dac502259ad0.png

其中表示索引操作符。的定義為:

009788f2-3e1a-11ed-9e49-dac502259ad0.png

這樣,我們就可以約束預(yù)測的期望,使其更接近真實值。因此,我們有如下期望損失:

00b27b3a-3e1a-11ed-9e49-dac502259ad0.png

其中 是平滑L1損失。

00f77460-3e1a-11ed-9e49-dac502259ad0.png

期望損失的說明如圖7所示。我們可以看到,期望損失可以將預(yù)測分布的數(shù)學(xué)期望推向真值位置,從而有利于車道的定位。

另外存在性分支的損失函數(shù)定義為:

01320cec-3e1a-11ed-9e49-dac502259ad0.png

最終,所有的損失可以被寫為:

015ed1dc-3e1a-11ed-9e49-dac502259ad0.png

其中是loss的系數(shù)。

3.4 網(wǎng)絡(luò)推理

在本節(jié)中,我們將展示如何在推理期間獲得檢測結(jié)果。以行錨系統(tǒng)為例,設(shè)和是第i車道和第j個錨的預(yù)測。那么和的長度分別為和。每個車道位置的概率可以寫成:

0174882e-3e1a-11ed-9e49-dac502259ad0.png

其中,的長度為,然后根據(jù)預(yù)測分布的數(shù)學(xué)期望得到車道線的位置。并且根據(jù)存在性分支的預(yù)測濾除不存在的車道的預(yù)測:

01957606-3e1a-11ed-9e49-dac502259ad0.png

最后,對得到的位置進行縮放以適應(yīng)輸入圖像的大小。網(wǎng)絡(luò)架構(gòu)的總體示意圖如圖6所示。

01b2b8a6-3e1a-11ed-9e49-dac502259ad0.png

分析和討論

在這一節(jié)中,我們首先分析了我們的方法的復(fù)雜度,并給出了我們的方法能夠?qū)崿F(xiàn)超高速的原因。為了分析復(fù)雜度,我們使用分割作為基準。我們的公式(以行錨為例)和分割的差異如圖8所示??梢钥闯?,我們的范式比常用的分割要簡單得多。假設(shè)圖像大小為。由于分割是像素分類,所以需要進行分類。對于我們的方法,包含混合錨上車道線的坐標的學(xué)習(xí)目標T的長度為。因為我們只需要少量錨點來表示車道線,則, 。和車道分別為行錨和列錨的車道數(shù),這和其他變量相比是很小的。這樣,我們有:

01d0d78c-3e1a-11ed-9e49-dac502259ad0.png

其中#CLS表示“分類數(shù)量”.以CULane數(shù)據(jù)集的設(shè)置為例,我們有。我們的方法的分類數(shù)為118,而分割的分類數(shù)為??紤]到分類維度,我們的方法的理想計算數(shù)為,而分割的理想計算數(shù)為。我們的分類頭和分割頭使用ERFNet的計算代價分別為和。

01e8d65c-3e1a-11ed-9e49-dac502259ad0.png

除理論分析外,本文方法的實際前向推理耗時如圖9a所示。我們可以看到骨干占據(jù)了大部分的時間。相比之下,基于分類的車道檢測頭效率高,只花費不到整個推理時間的5%。

4. 實驗

在本節(jié)中,我們通過大量的實驗證明了我們方法的有效性。以下章節(jié)主要圍繞三個方面展開:1)實驗設(shè)置。2)本方法的消融研究。3)四種主要車道檢測數(shù)據(jù)集的結(jié)果。

0239777e-3e1a-11ed-9e49-dac502259ad0.png

4.1.3 實現(xiàn)細節(jié)

超參數(shù)設(shè)置如表3所示。關(guān)于錨數(shù)量和類別維度的消融研究分別見4.2.4節(jié)和4.2.5節(jié)。在優(yōu)化過程中,CULane和TuSimple上的圖片大小分別調(diào)整為1600×320和800×320。式10中的損失函數(shù)系數(shù)α和β分別設(shè)為0.05和1。batch size設(shè)置為每個GPU 16個,所有數(shù)據(jù)集的訓(xùn)練epoch總數(shù)設(shè)置為30個。使用SGD優(yōu)化器,學(xué)習(xí)率被設(shè)置為0.1,并在第25個epoch降低10倍。所有模型均使用PyTorch[60]和Nvidia RTX 3090 gpu進行訓(xùn)練和測試。

4.1.4 特征級測試時數(shù)據(jù)增強

在這一部分,我們展示了我們的方法的測試時數(shù)據(jù)增強方法。因為我們的方法以基于全局特征的分類方式工作,這為我們提供了一個在特征級別上進行快速測試時間增加的機會。與目標檢測中通常需要反復(fù)計算整個骨干的TTA不同,我們直接在骨干特征的基礎(chǔ)上進行FLTTA。主干特征計算一次,然后在向上、向下、向左、向右的方向進行空間平移。然后,將5個增強特征副本批量輸入分類器。最后,對輸出進行集成,以便在測試過程中提供更好的預(yù)測。由于主干特征只計算一次,分類器的計算以批處理的方式工作,這利用了gpu的并行機制,所以FLTTA的工作速度幾乎與沒有TTA的普通測試一樣快。圖9b為FLTTA前向推理的時序餅圖。

4.1.5 數(shù)據(jù)增強

在調(diào)整大小和裁剪等簡單的數(shù)據(jù)增強條件下,該方法可以快速地對整個訓(xùn)練集進行過擬合(訓(xùn)練精度接近100%,但在測試集上的表現(xiàn)較差)。為了克服過擬合問題,我們提出了一種空間平移數(shù)據(jù)增強方法,在空間上隨機移動整個圖像和車道線標注,使網(wǎng)絡(luò)能夠?qū)W習(xí)車道線的不同空間模式。由于空間變換后部分圖像和車道線標注被裁剪,我們將車道線標注擴展到圖像邊界。圖10顯示了增強效果。

027c96b2-3e1a-11ed-9e49-dac502259ad0.png

4.2 消融實驗

在本節(jié)中,我們通過幾個消融研究來驗證我們的方法。實驗設(shè)置均與4.1節(jié)相同。所有消融實驗都是在ResNet-18網(wǎng)絡(luò)的主干上進行的。

4.2.1 混合anchor系統(tǒng)的高效性

正如我們在3.1節(jié)中所述,行錨和列錨系統(tǒng)在車道線檢測中發(fā)揮著不同的作用。基于此,我們提出了一種混合錨系統(tǒng),該系統(tǒng)將不同的車道線分配給相應(yīng)的錨類型。

為了驗證混合錨系統(tǒng)的有效性,我們在CULane上進行了三個實驗。結(jié)果如表4所示。

0322a160-3e1a-11ed-9e49-dac502259ad0.png

可見,混合錨系統(tǒng)相比行錨和列錨有明顯的改善,證明了混合錨的有效性。

4.2.2 有序分類的有效性

我們的方法將車道檢測定義為一個有序分類問題。一個很自然的問題是,與其他方法如回歸和常規(guī)分類相比如何呢?對于回歸方法,我們用一個相似的回歸頭替換管道中的分類器頭。training loss替換為Smooth L1 loss。對于傳統(tǒng)的分類方法,我們使用與流水線中相同的分類器頭。分類與有序分類的區(qū)別在于損失和后處理。

1)分類設(shè)置只使用交叉熵損失,而順序分類設(shè)置則使用Eq. 10中的三種損失。2)分類設(shè)置使用argmax作為標準后處理,有序分類設(shè)置使用期望。比較如表5所示。

035f9caa-3e1a-11ed-9e49-dac502259ad0.png

我們可以看到,期望分類方法可以獲得比標準分類方法更好的性能。同時,基于分類的方法始終優(yōu)于基于回歸的方法。

4.2.3 有序分類損失的消融

如3.3節(jié)所述,我們將車道檢測問題建模為有序分類問題。為了驗證該模塊的有效性,我們展示了有序分類損失的消融研究。如表6所示,我們提出的期望損失約束有效地提高了車道檢測的性能。與標準交叉熵損失相比,所提出的期望損失具有不同的幾何性質(zhì),即期望損失類似于通過減少遠離真實值的logits和增加接近真實值的logits來逐步將預(yù)測的期望推向真實值。同時,與傳統(tǒng)分類方法相比,平均定位誤差也有所降低。

03840c3e-3e1a-11ed-9e49-dac502259ad0.png

4.2.4 分類維度的影響

如Eq. 4所示,我們使用基于分類的范式來檢測車道線,不同的車道線位置用不同的類別表示。這就產(chǎn)生了一個問題,需要多少類來進行車道線檢測。為了討論這個問題,我們首先設(shè)置行錨的分類維數(shù)為200,列錨的分類維數(shù)為25、50、100、200進行實驗。結(jié)果如圖11a所示。然后,我們將設(shè)定為100,并在為50、100、200、400時進行實驗。結(jié)果如圖11b所示。我們可以看到,隨著分類維度的增加,性能呈現(xiàn)先增加后降低的趨勢。維度越小,分類就越容易,但每個類代表的位置范圍就越大,即每個類的定位能力就越差。維度越大,每個類代表的位置范圍就越窄(每個類的本地化能力就更好),但是分類本身就更難。最終的性能是分類難度和每個類的定位能力之間的權(quán)衡。所以我們設(shè)置為100,為200。

03a6f1c2-3e1a-11ed-9e49-dac502259ad0.png

4.2.5 錨數(shù)量的影響

在我們的方法中還有另一個重要的超參數(shù):用于表示車道的錨點數(shù)量(和)。這樣,我們將行錨定的數(shù)量設(shè)置為18,并將列錨定的數(shù)量設(shè)置為10、20、40、80和160進行實驗。結(jié)果如圖12a所示。然后,我們將設(shè)為40,并將設(shè)為5、9、18、36和72進行實驗。結(jié)果如圖12b所示。

03e5799c-3e1a-11ed-9e49-dac502259ad0.png

我們可以看到,隨著行錨數(shù)量的增加,性能也會普遍提高。但檢測速度也會逐漸下降。通過這種方式,我們將和分別設(shè)置為18和40,以在基于resnet -18的模型中獲得性能和速度之間的平衡。對于像ResNet-34這樣的大型模型,我們將和分別設(shè)置為72和80。

結(jié)果

本節(jié)展示了四個車道檢測數(shù)據(jù)集的結(jié)果,分別是TuSimple、CULane、CurveLanes和LLAMAS數(shù)據(jù)集。在這些實驗中,我們使用ResNet-18和ResNet-34作為我們的骨干網(wǎng)絡(luò)。

04220894-3e1a-11ed-9e49-dac502259ad0.png

從表7可以看出,我們的方法達到了最快的速度。與之前的會議版本相比,在相同的速度下,我們的性能提升了6.3個點,得到了更強的結(jié)果。它證明了所提出的公式在這些具有挑戰(zhàn)性的場景中的有效性,因為我們的方法可以利用全局信息來解決無視覺線索和效率問題。最快的模式達到300+ FPS。

為了驗證我們的方法,我們使用了兩個協(xié)議。協(xié)議1輸出所有車道線,不存在的車道線用invalid表示,與會議版本相同。協(xié)議2直接丟棄不存在的車道線。結(jié)果如表8所示。

另一個我們應(yīng)該注意到的有趣現(xiàn)象是,當骨干網(wǎng)絡(luò)與普通分割相同時,我們的方法獲得了更好的性能和更快的速度,這是一個帶有resnet骨干網(wǎng)的DeeplabV2[62]模型。結(jié)果表明,該方法優(yōu)于分割方法,驗證了該方法的有效性。

04472b92-3e1a-11ed-9e49-dac502259ad0.png

對于CurveLanes數(shù)據(jù)集,我們在表9中顯示了結(jié)果。我們可以看到,與CurveLane-S方法相比,我們的方法在保持更快速度的同時取得了更好的性能。

04667d08-3e1a-11ed-9e49-dac502259ad0.png

對于LLAMAS數(shù)據(jù)集,我們在表10中顯示了結(jié)果??梢钥闯?,我們的方法也取得了最好的性能和最快的速度。

我們的方法在四個數(shù)據(jù)集上的可視化結(jié)果如圖13和圖14所示。

0495c0c2-3e1a-11ed-9e49-dac502259ad0.png

04e842fc-3e1a-11ed-9e49-dac502259ad0.png

結(jié)論

在本文中,我們提出了一種混合錨系統(tǒng)和有序分類新范式,以實現(xiàn)優(yōu)秀的速度和精度。該方法將車道線檢測看作是在基于全局特征的自頂向下分類的混合錨系統(tǒng)上直接學(xué)習(xí)稀疏坐標。這樣可以有效地解決效率和無視覺線索的問題。通過定性和定量實驗驗證了所提出的混合錨系統(tǒng)和有序分類損失的有效性。我們的方法中輕量級的ResNet-18版本甚至可以達到300+ FPS。我們的方法也存在一些缺點。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • adas
    +關(guān)注

    關(guān)注

    310

    文章

    2291

    瀏覽量

    211320
  • 自動駕駛
    +關(guān)注

    關(guān)注

    791

    文章

    14559

    瀏覽量

    174540

原文標題:速度精度雙SOTA! TPAMI2022最新車道線檢測算法(Ultra-Fast-Lane-Detection-V2)

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    桿與圍巖加載過程紅外特征研究

    型2種形式的紅外前兆特征,分別反映紅外前兆的時間信息和空間信息;紅外輻射溫度-時間曲線的破裂前兆為降溫型,而紅外熱像特征包括高溫條帶和低溫條帶兩種類型?!娟P(guān)鍵詞】:紅外熱像;;紅外前兆;;桿;;圍巖
    發(fā)表于 04-22 11:33

    基于向下技術(shù)的工程機械Digital Prototyping設(shè)計方法及應(yīng)用

    工作,不僅準確性差、效率低,而且浪費大量的人力,而且難以得到改進。本文用一線教學(xué)的經(jīng)驗介紹了計算機自動閱卷系統(tǒng)的應(yīng)用現(xiàn)狀,分析了計算機自動閱卷系統(tǒng)特征和設(shè)計要求。本文的主要部分詳細介紹了自行開發(fā)的網(wǎng)站
    發(fā)表于 04-24 09:20

    基于向下技術(shù)的工程機械Digital Prototyping設(shè)計方法及應(yīng)用

    【作者】:劉雪冬【來源】:《華南理工大學(xué)》2009年【摘要】:向下的設(shè)計方法及裝配建模技術(shù)是在消費品行業(yè)應(yīng)用比較成熟的一種設(shè)計方法和理論;但是有鑒于通用機械設(shè)計的復(fù)雜性、多樣性和關(guān)聯(lián)性等特點
    發(fā)表于 04-24 09:20

    EDA技術(shù)有什么特征

    EDA代表了當今電子設(shè)計技術(shù)的最新發(fā)展方向,它的基本特征是:設(shè)計人員按照“向下”的設(shè)計方法,對整個系統(tǒng)進行方案設(shè)計和功能劃分,
    發(fā)表于 10-08 14:25

    空間雙索面式懸索橋總體布置

    ),橋塔處設(shè)人行饒塔平臺,橋面以上塔高60m◇ 結(jié)構(gòu)體系采用式懸索橋,半漂浮約束體系,跨度布置(50+95+200+95+50)m主橋長490m,主梁采用混合梁結(jié)構(gòu),其中主跨、邊懸吊跨為鋼梁,
    發(fā)表于 10-31 07:35

    如何實現(xiàn)擴頻通信調(diào)制器向下的設(shè)計?

    如何實現(xiàn)擴頻通信調(diào)制器向下的設(shè)計?如何實現(xiàn)擴頻通信調(diào)制器的仿真測試?
    發(fā)表于 04-29 06:46

    操作系統(tǒng)分類及其特征優(yōu)劣

    文章目錄:1.操作系統(tǒng)分類及其特征優(yōu)劣2.操作系統(tǒng)的發(fā)展歷程1.操作系統(tǒng)分類及其
    發(fā)表于 12-14 07:17

    通過模塊之間的調(diào)用實現(xiàn)向下的設(shè)計

    通過模塊之間的調(diào)用實現(xiàn)向下的設(shè)計目的:學(xué)習(xí)狀態(tài)機的嵌套使用實現(xiàn)層次化、結(jié)構(gòu)化設(shè)計。
    發(fā)表于 02-11 05:53 ?2628次閱讀
    通過模塊之間的調(diào)用實現(xiàn)<b class='flag-5'>自</b><b class='flag-5'>頂</b><b class='flag-5'>向下</b>的設(shè)計

    基于低級特征圖最優(yōu)融合的顯著性目標檢測

    向上和向下。由于向下的方法難以實現(xiàn),因而目前大多數(shù)顯著性檢測算法都是基于
    發(fā)表于 10-31 17:30 ?0次下載
    基于低級<b class='flag-5'>特征</b>圖最優(yōu)融合的顯著性目標檢測

    一種新的基于全局特征的極光圖像分類方法

    提出了一種新的基于全局特征的極光圖像分類方法,在該方法中,極光圖像通過Radon變換投影到Radon域,然后計算投影矩陣中每列的方差作為特征,為了實現(xiàn)方向變化不變性,對該方差序列進行循
    發(fā)表于 11-30 14:13 ?1次下載
    一種新的基于<b class='flag-5'>全局</b><b class='flag-5'>特征</b>的極光圖像<b class='flag-5'>分類</b>方法

    電能質(zhì)量混合擾動分類

    混合擾動分類方法。采用短時傅里葉變換作為時頻分析工具分析各種類型的電能質(zhì)量擾動,同時引入基于短時傅里葉變換的譜峭度作為輔助分析,從基頻幅值曲線、頻率幅值標準差曲線和頻率譜峭度曲線中提取適宜的特征量,然后采用基于Binary-SV
    發(fā)表于 01-25 10:43 ?12次下載
    電能質(zhì)量<b class='flag-5'>混合</b>擾動<b class='flag-5'>分類</b>

    EDA設(shè)計一般采用向下的模塊化設(shè)計方法

    三方面的電子設(shè)計工作,即集成電路設(shè)計、電子電路設(shè)計以及PCB設(shè)計??傊珽DA技術(shù)的基本特征是采用具有系統(tǒng)仿真和綜合能力的高級語言描述。它一般采用
    發(fā)表于 01-21 16:50 ?9499次閱讀
    EDA設(shè)計一般采用<b class='flag-5'>自</b><b class='flag-5'>頂</b><b class='flag-5'>向下</b>的模塊化設(shè)計方法

    計算機網(wǎng)絡(luò):向下

    本文檔包含Jim Kurose和Keith Ross編寫的《計算機網(wǎng)絡(luò):向下方法(第7版)》復(fù)習(xí)題和問題的參考答案。這些答案只對指導(dǎo)老師有效。請不要復(fù)制或者分發(fā)給其他人(即使是其他指導(dǎo)老師)。請
    發(fā)表于 03-13 14:23 ?0次下載

    eda向下的設(shè)計方法 eda自頂向下設(shè)計優(yōu)點

    EDA(Electronic Design Automation,電子設(shè)計自動化)向下的設(shè)計方法是一種常見的電子電路設(shè)計方法。該方法將電路設(shè)計分為多個模塊,從系統(tǒng)級別出發(fā),逐步分解
    發(fā)表于 04-10 16:49 ?4691次閱讀

    微美全息(NASDAQ:WIMI)探索全局-局部特征自適應(yīng)融合網(wǎng)絡(luò)框架在圖像場景分類中的創(chuàng)新運用

    面臨著許多挑戰(zhàn),如復(fù)雜的場景等。然而,現(xiàn)有的圖像場景分類方法往往只關(guān)注全局或局部特征的提取,而忽略了全局和局部特征之間的互補關(guān)聯(lián)。為了解決這
    的頭像 發(fā)表于 01-05 16:08 ?837次閱讀
    微美全息(NASDAQ:WIMI)探索<b class='flag-5'>全局</b>-局部<b class='flag-5'>特征</b>自適應(yīng)融合網(wǎng)絡(luò)框架在圖像場景<b class='flag-5'>分類</b>中的創(chuàng)新運用