「算法融合」的前提條件

為什么疊層傳感器要優(yōu)于多傳感器融合?各獨(dú)立傳感器的「融合」(含前融合、后融合)帶來(lái)哪些固有的物理與數(shù)學(xué)上的不可能?

要回答這個(gè)問(wèn)題,要搞清楚多傳感器能夠所有場(chǎng)景條件下100%目標(biāo)細(xì)節(jié)融合的前提條件—— 「要求所有傳感器時(shí)間同步、空間同步」 ,同時(shí)隱含的另一個(gè)重要條件是「各傳感器作為一個(gè)整體是剛體」 ,即彼此空間位置在任何條件下都保持不變。

疊鋮的超寬光譜攝像頭是一款革命性的全場(chǎng)景、全天候的輔助/自動(dòng)駕駛車載攝像頭,其超寬的光譜感知為各類應(yīng)用場(chǎng)景提供了強(qiáng)大的全天候(雨天、霧天、太陽(yáng)逆光、車燈炫光、夜間無(wú)光、弱光)、高識(shí)別率、低算力需求的綜合感知能力,可極大的提升輔助/自動(dòng)駕駛系統(tǒng)的安全性和適用性。

優(yōu)勢(shì)說(shuō)明圖

前提條件會(huì)導(dǎo)致高階無(wú)人駕駛的「算法融合」失敗

全天候能力不足

當(dāng)前的主傳感器,不論是激光雷達(dá)還是可見(jiàn)光相機(jī)都無(wú)法全天候可靠工作。例如:

1、激光雷達(dá)易受太陽(yáng)光干擾,下午太陽(yáng)光直射激光雷達(dá)時(shí)會(huì)使激光雷達(dá)數(shù)據(jù)失效。

2、激光雷達(dá)雨天無(wú)法穿透水汽。路面積水導(dǎo)致鏡面反射亦帶來(lái)數(shù)據(jù)錯(cuò)誤。

3、可見(jiàn)光相機(jī)易受環(huán)境光照影響,夜間遠(yuǎn)光燈直射、白天太陽(yáng)光直射都會(huì)導(dǎo)致可見(jiàn)光相機(jī)無(wú)法有效成像。

算法識(shí)別率不足

現(xiàn)有常規(guī)感知方案依賴于視覺(jué)+激光雷達(dá)。由于它們環(huán)境適應(yīng)性不足,導(dǎo)致目前在雨霧天、強(qiáng)弱光等環(huán)境條件下,算法的可靠感知難度明顯提高,極易漏檢和誤檢行人、車輛等有效目標(biāo),輔助/自動(dòng)駕駛感知算法的識(shí)別率和安全性受到極大影響,制約了當(dāng)前輔助/自動(dòng)駕駛的市場(chǎng)接受度。

算力不足

可見(jiàn)光和激光雷達(dá)需要不斷提升感知算法網(wǎng)絡(luò)的參數(shù)規(guī)模以提升算法識(shí)別率,使得當(dāng)前自動(dòng)駕駛對(duì)芯片算力要求不斷提高。受限于芯片能力及車規(guī)等要求,當(dāng)前的車端算力提升較慢。同時(shí),國(guó)外芯片進(jìn)口被封禁,國(guó)產(chǎn)芯片代工被限制。當(dāng)前處境就是不但芯片上車難,而且缺芯片。輔助/自動(dòng)駕駛的感知算法模型規(guī)模受限,而導(dǎo)致的結(jié)果就是算法感知的精度不足,難以滿足自動(dòng)駕駛所要求的安全性。

傳感器信息矛盾

當(dāng)前的較為主流的多傳感器組合方案普遍存在信息矛盾問(wèn)題。因?yàn)楦鱾鞲衅鞯陌惭b位置、角度、工作波段、工作模式、刷新頻率、算法復(fù)雜程度等存在極大的差異,所以不同傳感器面對(duì)相同場(chǎng)景的算法識(shí)別結(jié)果不一致(例如:激光雷達(dá)感知到的目標(biāo)在視覺(jué)上沒(méi)有被感知到),就帶來(lái)了業(yè)界十分經(jīng)典、又十分困難的信息矛盾問(wèn)題。這時(shí)候選擇相信誰(shuí)和忽略誰(shuí),都是對(duì)決策的巨大考驗(yàn)。選擇相信任何一方,都有可能是錯(cuò)誤的決策。而且,輔助/自動(dòng)駕駛的流暢性要求是降低頻繁人為接管,對(duì)決策的正確性和時(shí)間窗口都有極高的要求。所以,傳感器信息矛盾問(wèn)題是亟待妥善解決的自動(dòng)駕駛核心問(wèn)題。

超寬光譜疊層圖像傳感芯片的主要優(yōu)勢(shì)

全天候優(yōu)勢(shì)

超寬的成像光譜,為疊鋮的傳感器提供了卓越的全天候性能,在各種不同的光照條件下(如:夜間弱光、車燈炫光、太陽(yáng)逆光等)、不同的天氣下(如:雨天、霧天、灰塵等)依然能夠可靠成像,極大的提升了輔助/自動(dòng)駕駛感知系統(tǒng)的可靠性和可用性。/自動(dòng)駕駛的流暢性要求是降低頻繁人為接管,對(duì)決策的正確性和時(shí)間窗口都有極高的要求。所以,傳感器信息矛盾問(wèn)題是亟待妥善解決的自動(dòng)駕駛核心問(wèn)題。

高識(shí)別率優(yōu)勢(shì)

更豐富的多光譜圖像數(shù)據(jù),提供了更多維度的真實(shí)物理參數(shù),即原始數(shù)據(jù)包含了更多的物理特征和圖像特征,(例如視頻中的人除了有圖像信息,還有體溫信息,更容易與其他物體區(qū)分識(shí)別),更豐富的特征使得算法對(duì)相同目標(biāo)的識(shí)別率直線提升。 /自動(dòng)駕駛的流暢性要求是降低頻繁人為接管,對(duì)決策的正確性和時(shí)間窗口都有極高的要求。所以,傳感器信息矛盾問(wèn)題是亟待妥善解決的自動(dòng)駕駛核心問(wèn)題。

低算力需求優(yōu)勢(shì)

由于超寬光譜傳感器本身卓越的環(huán)境適應(yīng)性,以及比現(xiàn)有傳感器提供更多維度的物理特征,它輸入到算法網(wǎng)絡(luò)中數(shù)據(jù)的有效性大大提高,使得感知算法在達(dá)到以往相同算法識(shí)別率的模型參數(shù)量大幅降低(縮小至2%~30%),可有效降低對(duì)車端算力資源的消耗,并且大幅減少輔助/自動(dòng)駕駛系統(tǒng)對(duì)車載動(dòng)力電池的能量損耗。/自動(dòng)駕駛的流暢性要求是降低頻繁人為接管,對(duì)決策的正確性和時(shí)間窗口都有極高的要求。所以,傳感器信息矛盾問(wèn)題是亟待妥善解決的自動(dòng)駕駛核心問(wèn)題。

時(shí)空同步無(wú)信息矛盾優(yōu)勢(shì)

疊鋮的超寬光譜攝像頭,作為一個(gè)獨(dú)立的傳感器單元,沒(méi)有時(shí)間同步問(wèn)題,且超寬光譜視頻提取出的多通道數(shù)據(jù)天然空間同步,每一個(gè)物體都只有一個(gè)時(shí)間空間坐標(biāo),完全克服了信息矛盾問(wèn)題。/自動(dòng)駕駛的流暢性要求是降低頻繁人為接管,對(duì)決策的正確性和時(shí)間窗口都有極高的要求。所以,傳感器信息矛盾問(wèn)題是亟待妥善解決的自動(dòng)駕駛核心問(wèn)題。