0
作為智能駕駛解決方案服務和產品提供商，福瑞泰克能夠提供給主機廠包含硬件、算法、軟件集成等在內的完整的ADAS系統解決方案。
其為主機廠提供的ADAS產品，具備對中國場景高度的適應性及快速靈活響應能力。目前福瑞泰克已經與國內多家主機廠進行合作開發項目，并已開始實現產品在主機廠量產車上批量供貨。
在智能駕駛時代，對于如何定義一套好的ADAS產品，福瑞泰克有著自己的見解。為此，雷鋒網新智駕邀請了福瑞泰克視覺算法專家吳國蘇州進行業內分享。
以下是吳國蘇州的演講內容，新智駕進行了不改變原意的整理：
各位晚上好，在這里想跟大家探討一下智駕時代如何定義一套好用ADAS產品。
“好用”這個詞其實比較難以描述。所以今天會圍繞以下幾方面來講：第一ADAS產品在中國的發展現狀與趨勢；第二是ADAS產品的技術發展與中國路況的優化；第三是售后與標定問題；最后會探討產品常用的測試場景以及長尾問題。
很多人認為ADAS是2016年后才逐漸有的概念，但其實ADAS在國外發展得很早，歐洲的一些廠商在上世紀就已經開始研究主動安全，比如做一些碰撞減輕的系統，用攝像頭來做車道偏離報警系統。
在中國，所謂的ADAS系統量產元年其實在2012年。當時第一款ADAS量產車型是紅旗H7，搭載了一個不是很高清的前視攝像頭，具有簡單的車道偏離預警功能。還有一個24GHz的毫米波雷達，以及兩個側角雷達。
但真正意義上，用戶量比較大的一個ADAS系統其實是2015年吉利推出的博瑞車型，這款車上市時候引起了不小的轟動。
它搭載的攝像頭和前向毫米波雷達，實現了燈光的自動切換、緊急制動等功能。這款車上市銷量一開始挺大的，讓很多人第一次真正意義上體驗到了先進的ADAS系統。但攝像頭和毫米波雷達系統相互獨立，數據沒有融合。2018年是中國ADAS真正的意義上的一個里程碑，出現了橫縱向聯合控制系統，也是由吉利的博瑞車型改款而來。
搭載的攝像頭和毫米波雷達實現了兩者數據融合。它能夠提供車道居中、低速交通擁堵輔助、交通標志識別等功能，成為中國首個意義上的多傳感器融合車型。從全球范圍來看，量產時間也是比較早的。
進入2020年，可以看到很多主機廠包括傳統車企和造車新勢力，紛紛宣布了進入L3時代。
當然，真正意義上的L3不僅感知系統、控制系統都要實現冗余，底盤控制器系統也要有可靠的設計。目前從整車的角度來看是達不到的，但是功能上基本可以達到體驗式的L3。
講完了歷史，接下來講一講為什么會有這樣的發展，以及ADAS系統今后的發展方向是什么？
ADAS的發展上，技術需求和法規升級是相互促進的。從歐洲標準ENCAP新車評定規程來看，2016版的評定規則比較簡單，只有針對車輛的橫穿行人提醒功能、車道功能、限速提醒功能，并且只要求一個52°的前視攝像頭和前向毫米波雷達就足夠了。
2018年開始，ENCAP法規有了重大變化，開始考慮到橫向穿越的自行車，同向縱向行人這些交通場景，所以技術也在升級。這也是為什么今天各個大廠開始拋棄原有的52°攝像頭，開始做前向100°攝像頭的原因，就是特地針對橫穿的二輪車設計的。業內的檢測算法也在進步，原來可能只能檢測規則車道線，后來路邊草叢、護欄、沒有車道線的道路邊緣，都逐漸可以被檢測到,用以應對RoadEdge場景。
2020年之后，倒車行人保護、十字路口等場景，都被納入考慮范圍。這樣一來，系統的臨近車道以及側后方檢測上都會有一些新要求，同時后角雷達也會慢慢成為標配。
2021年，包括自動轉向避障、十字路口橫穿車輛，都會逐步納入法規。所以“好用”這個詞，是要根據時代的要求來不斷演進的。用當下的標準來看三年前的系統，肯定不好用，所以ADAS系統必須跟上時代。
而法規的發展趨勢也推動了技術的升級。
2018年以前，深度學習還沒有用在輔助駕駛場景上，那時還是基于傳統的CV算法，所以能實現的功能都比較簡單。就是采用類似于HOG、HAAR這類算法，然后通過一些分類器來實現車輛、行人的檢測，車道線則是通過對比度等方式做一些邊緣特性的提取，然后擬合曲線實現車道線檢測。
所以2018年以前的攝像頭產品，如果要檢測橫穿車輛或二輪車，不是說完全不可能，但總體比較難。
2018年以后，隨著深度學習的小型化發展，很多國際的傳統廠商在新一代視覺芯片里加入了新的CNN處理能力。國內也有初創公司推出了自己的AI視覺芯片，用于ADAS前視攝像頭。一些集成度較高的產品不僅集成了傳統算法功能，也引入了全面的CNN算法，支持真正意義上的目標和語義檢測，能夠處理的像素也越來越高。
2020年開始，會陸續有大量的引入廣角攝像頭產品市場。
2022年以后，全向360度感知、視覺定位、類似V2X這些功能，那都會慢慢進入大眾視野，這是技術和法規趨勢互補的演進路線。
在具體的功能上，可以說，大部分用戶對ADAS的認知都是從AEB系統開始的。很早以前歐洲很多車就配備了這個系統，主要靠雷達來實現的。眾所周知，雷達對靜止物體的感知能力并不好，同時一些金屬反射也可能會造成誤觸發，所以大家認為這個系統不靠譜。但根據最新的用戶調研，車主對AEB的信任程度超過70%。
大家認為AEB系統不靠譜的另一個原因是行人檢測。即便是特斯拉，也沒有很高的行人AEB觸發率。所以我們要探討，是不是所有場景、任何時候都能實現制動？
我們認為AEB設計的初衷是避免損失或減輕損失。
這和車輛的動力學特點有關系。 車輛動力學特點就是，在低速場景下，最遲轉向點是早于最遲制動點的。一輛車在低速情況下接近前車，如果過了最遲轉向點而駕駛員沒有打轉向，就有可能會撞上這輛車；到了最遲制動點，系統觸發制動就可以避免碰撞。
但在高速場景下，最遲轉向點和最遲制動點是反過來的。因為在高速場景下，面對低速前車，通常駕駛員會選擇轉向來避讓而不是制動。當用戶明明可以選擇轉向避讓，但是AEB系統卻觸發了，這種行為在高速上其實是非常危險的。
所以，AEB要保證低速做好剎停，而高速應該要減掉一定的速度，而不是一下子減速到0。 所以，我們對AEB的認知應該是它能夠減輕碰撞，但不是說百分之百避免損失。
談到這個，也可以來看一下避免碰撞技術的發展。2012年開始，其實ENCAP就規定要做AEB Car-to-Car rear 來防止追尾。2015年增加了行人保護。2018年包括橫向穿越二輪車，縱向行人，縱向二輪車都被納入了范圍，但由于技術本身的局限性，它不能在所有情況下完全避免碰撞。
2020年，會有一些領先的廠商推出輔助速轉向避免碰撞ESA，防止來車和側后方車發生碰撞，覆蓋高速場景。
用戶在高速場景下更傾向于打轉向。但如果兩車車速差距過大，用戶打轉向的路徑也不一定合理。如果系統做得足夠好，可以在轉向過程中，知道用戶的意圖是避免前車碰撞。如果用戶轉向不足，可以通過系統的路徑規劃來為用戶規劃一條可以避免碰撞的轉向路徑。就是進行一個有限的干涉，幫助用戶補足轉向需要的扭距，從而避免碰撞，這也是一個技術發展方向。
從ADAS的執行角度目前沒有統一的標準和法規，用戶依然是責任方，而不是車輛自主決策，如果用戶分神沒有轉向，那么系統也是不能及時反應的。
那么考慮這些問題，2022年ENCAP最新的草案里也開始提到了，要引入三個技術：加入AEB-head on，AEB-junction 和AES。但因為歐洲疫情比較嚴重，可能會往2024年去推，但總的來說趨勢是不可避免的。
ADAS的算力、功耗與成本
不同等級的駕駛系統，對傳感器和算力有著不同的需求。通常，輔助駕駛需要的算力是1~2Tops，傳感器配置應該是一個視覺傳感器加1~5個毫米波雷達；L3有條件自動駕駛通常要20~64Tops的算力，更多的視覺傳感器、毫米波雷達、V2X、高精度地圖以及激光雷達；L4需要更多的激光雷達，需要至少320Tops的算力。
當下輔助駕駛銷量最大，那么它到底需要一個什么樣的配置？以視覺為例，通常攝像頭放在車前玻璃頂上的，需要在空間很小并且處于太陽暴曬的地方集成視覺傳感器和車身通信。
它需要集成好幾方面的資源：包括CNN引擎，處理復雜的神經網絡來做視覺算法；要有內存系統，包括SRAM、DDR等用來做一些傳統算法和追蹤工作。
不同的神經網絡類型對資源的占用以及處理器的算力應用差別很大。所以評估CNN引擎不能只看算力，現在市面上有很多CNN引擎的芯片，對一些特殊網絡的加速并不好。在選擇CNN芯片的時候SRAM、DDR也是要考慮的方面，因為計算時候大量的乘加不可能在DDR完成，所以CNN引擎要配上一個比較合理尺寸SRAM才能工作，這個SRAM的大小要考慮到框架做得好不好，視覺處理區域網絡有多大，這些都是要考慮的。這個目的是盡量避免DDR的消耗，特別是 DDR帶寬的消耗，如果DDR消耗過大，成本就會上去了，發熱量也會特別大。
從ARM和DSP的配置來看，很多國外的傳統引擎廠商做的都不錯，都有一些傳統視覺算法加速器，而且工具鏈做的也不錯。由于沒有DSP積累，一些新的廠商往往通過算力比較高的ARM來彌補這一點。當然如果要用傳統算法要提取特征點或者做相機標定的話，可能要熟悉DSP、熟悉廠商給的DSP庫，或者對ARM的并行優化做的比較好，否則對算力的要求會非常高。
在檢測方面，從法規需求也可以看出，2018年后有重大的更新，這個更新在2021年的CNCAP版本會體現出來。就是說傳統相機52度視角度可以順利通過前向測試場景，但是很難通過橫穿二輪車這些場景。
所以廠商會將攝像頭視覺的中間區域盡量做到和傳統的一致，傳統區域要用來檢測車輛、行人、二輪車、車道線、交通標志這些，并且探測距離要求比較遠。而周圍的區域就只檢測橫穿的二輪車（包括未來做橫穿車輛檢測），只要滿足法規要求就可以了。通常來講一般只要檢測到30米以內，就可以滿足2021年的CNCAP要求。
在這里重點講一下CNN加速器的類型，目前業界很多廠商做的CNN加速器都不一樣。從原始類別來看，CNN加速器可以分為兩大類，第一類就是利用ASIC來做一些CNN加速，里面有固定的kernel和size。有一些大廠用的芯片就是這種情況，所以其CNN能力會有問題的。比如說做一個point wise的卷積，因為其固定的kernel size是5x5，只有1/25的算力用得上，效率非常差。因此在設計網絡的時候要避免這種情況的發生，根據處理器的特點來設計神經網絡，然后實現性能的優化。
另外一類就是高位寬的SIMD。它的一個特點是，能實現比較好的卷積加速，但像upsample、softmax、pemute這些都干不了，所以得占用別的資源來做。這就涉及到資源的消耗問題，怎樣把DSP/ARM的內存帶寬利用好，怎么排時序，不能ARM在運行的時候等DSP，DSP運行的時候等ARM，那就把整個算法的時間都浪費掉了。
當然也有廠商集成兩者的優點，做了一個混合的芯片。如果廠商自己做算法、芯片，那么內部的適用性是比較高的；但如果想提供通用芯片，就得對未來幾年網絡發展的概況有很好的了解，否則做出來的芯片模組做出來沒人用，就會造成浪費，導致競爭力下降。
講完芯片，來講一下視覺算法。目前視覺算法其實做的非常復雜，大家也有一個共識，就是不能只靠CNN來做。因為目前CNN在視覺算法里的應用僅僅是圖像級的檢測，比如說通過CNN來實現畫面中目標框、特征點、屬性的回歸，當然對像素的分割也是比較好的。
但這些畢竟是在圖像坐標系里發生的，即便真的檢測到了人和車，也是在圖像坐標系下。為了獲得對象在車身坐標的具體位置，必須得精準知道一些攝像機的標定參數。而一些相機姿態的動態計算，目前還得通過傳統的CV引擎來做，如果一些芯片沒有傳統的CV引擎，就要想辦法把它挪到CNN引擎的并行加速庫，如果再沒有，就要將上面的指令集優化做到極致，才能把這些東西全部做好。
另外，比如白天、黑夜識別需要的特征統計工作，都需一些傳統算法。并且燈光檢測也是ADAS必不可少的一個部分，目前這個領域CNN用的不是很廣泛，所以也還需要傳統算法的算力?？上攵?，在ADAS領域要用一個這么小的低功耗引擎，同時集成這么多任務，難度是非常大的。
那有了這樣的系統，如何優化ADAS的用戶體驗仍然充滿挑戰，這可能跟中國道路問題的頑疾有關。舉一些場景例子，第一個場景是在車輛在ACC的狀態下被近距離切入，用戶本來開著ACC，一看有后車切入比較危險，只能把ACC取消掉了，所以用戶體驗不好。
第二是施工區域，通常來講歐洲的施工區域都比較規范，用黃線來覆蓋白線，規則也比較好寫；但在中國，施工區域往往都是就扔幾個樁桶就完事了，如果開著TJA路過這種場景，系統進行橫向控制，比如橫向地往樁桶上拉，也導致用戶體驗差。 第三，國內的異形車輛特別多，路上也有石塊等非規則物體。
具體看ACC下的cut in例子。一些用戶對cut in感覺不好，主要還是因為目前已上市的ADAS產品基本上還是用傳統CV引擎來做圖像識別，也就是說，它能識別車的正面和背面，但識別不了車的側面。毫米波雷達能夠通過聚類追蹤得到的反射點是車輛后方的正中心。
因此攝像頭和毫米波融合之后就能夠知道車輛的后方在在什么位置，但不知道車的長度是多少。所以前方車輛的行駛軌跡能夠預估出來，但不可能真實地測量出每個時刻的目標車輛的航向角，畢竟猜測總是有一定的滯后性，所以ACC cut-in 不太好做?；旧现荒芨鶕蠓杰囕v的侵入、自車行駛軌跡的范圍比例來判斷車輛的跟車目標，這種情況下做不好ACC很正常。
但如果有CNN加速的話情況可能會好一點。目前來看，新一代算法基本可以做到3D車輛檢測，不僅能夠檢測車尾，車的側面條線也能檢測出來，實現真正意義上的3D感知。做的比較好的情況下，車輛的3D位置以及航向角和車輛入侵的前方的比例，都是可以算出來的。如果我們把fusion做好一點，控制策略做得激進點，完全有可能解決這個問題。
我認為，2021年后會有大量的新一代攝像頭產品上市，特別是中國本土的廠商，比較熟悉中國路況，這個問題未來會大有改善。
再看看道路上的不規則物體，不規則物體相對來說比較麻煩，因為視覺算法也很難搞定的。業內也有一家做的比較好的企業，很早就開始研究畫面中的特征點和趨勢，把路面的危險預測出來。但如果實地測試一下，會發現在白天不下雨的情況下，只有50%的概率是可用的，并且位置精度不夠準確。
很多毫米波雷達廠商也開始發展垂直分辨率，但對于遠距離探測路面10厘米高的物體情況，毫米波雷達的用處也不大。除非走的是成像毫米波雷達路線，但短期來看，業內還沒有哪家的成像毫米波雷達能夠實現量產。相反，我認為未來固態激光雷達完全有可能解決這方面的問題。
福瑞泰克內部也測試了一些固態激光雷達，用某個廠商的250線固態激光雷達，可以看到在80米范圍內的一些石墩。如果是一個20厘米高左右的物體掉在地上，固態激光雷達未來完全有可能解決這個問題。但同時也還是要考慮固態激光雷達的量產時間、可靠性和成本，否則很多普通乘用車是裝不起的。
接下來講售后問題。什么樣的產品稱之為好用？不是說裝車試驗一下就行。通常情況下，ADAS產品的傳感器安裝是有誤差的。根據福瑞泰克的工程經驗，攝像頭毫米波雷達在主機廠的初始安裝誤差在±2°。從生命周期來看，10年20多萬公里的風吹日曬，產品內部的機械結構可能會發生老化變形，通常會有±1.5度的偏差，累計起來就是±3.5度的偏差。這是所有的ADAS產品裝車之后可能出現的誤差范圍。如果想要做的比這個更好，那成本會更高。
另外，如果車上坐了人，傳感器的pitch也會發生變化，特別是懸架比較高的車輛。某些車輛500千克的負載在車上，車的懸架會降低5厘米，最高可能導致5cm的相機安裝高度變化。但如果相機算不出來，對車道線的檢測精度肯定會不準。
0.5度的航向角偏差，可能會導致100米外的車輛橫向距離相差0.87米。毫米波雷達縱向距離檢測比較好，橫向檢測基本靠攝像頭。如果橫向位置偏差0.87米，有可能導致fusion的失效，或者ACC目標選擇錯誤，這基本上是不能容忍的。
所以標定的算法得是動態的，不能只在出廠時標定一下。眾所周知，相機本身的支架在生命周期內會老化，用戶也有可能進行維修換件，那4S店的操作工人可能沒有用激光把車軸對準就開始標定了，最后標定的距離有可能就會產生偏差。另外，相機雷達的外參比較好標的，但內參就比較難。在10年的生命周期內，鏡頭有可能發生熱脹冷縮。以前有一句話叫內參不夠外參來湊，這對窄角相機來說，畸變比較小還是可以的，但對于未來100度甚至以上廣角的相機，內參如果變得太多，外參怎么樣也彌補不好。所以不僅算法要好，工藝控制也要到位。
談到標定算法，現在基本上市面所有產品，都能夠實現根據車道線道路邊緣的消失點來標出相機的俯仰角。 但在非結構化道路上，就不能通過車道線來標定，可能得根據光流的連續追蹤，尋找消失點，從而計算標定角度。但大部分廠商對于翻滾角roll基本都是標不出來的。當然如果結構化道路好的話，算法做得好，在變道的過程中積累了一些case，翻滾角roll也能算出來。
但是最厲害的還是把相機高度給算出來，業界做的比較好的，可以通過引入車身傳感器信號和畫面的比對，把相機的高度給實時算出來。這是一個難點，但很多廠商已經開始這么做了。
講完售后和標定問題，再來從測試和Corner case的角度講一講ADAS功能的需求是什么。從功能來看可以分為兩大類，一類是安全類功能，另外一類是舒適性功能例如定速巡航這類。
安全類功能上，很多人關心的是在多少時速下AEB能剎停。但這不是首要考慮的問題，首要考慮的是AEB的誤觸發率，這是一個影響非常大的問題。通常來講，要在保證誤觸發指標沒有問題的基礎上，每30萬公里，Full Break誤觸發次數小于1，Half Break 誤觸發次數小于1.5之后，才能討論正觸發能力。
一般來說，在嚴格滿足誤觸發概率的基礎上，在自車40公里每小時的速度下，對前方的靜止車輛能夠剎停；如果自車的速度是60公里每小時，對前方車速為20公里每小時的車輛能夠避免碰撞，就可以說是做的不錯了。
類似自適應巡航的舒適類功能，首先要考慮的是駕駛員的感受。關于主觀感受的比較好，也有一些評測機構定了一些標準：比如前車靜止，自車能夠在時速70的情況下緩慢跟停而AEB不觸發；對切入的車輛，再自車車速30公里每小時，前車15公里每小時或者自車是65公里每小時，前車35公里每小時的情況下，能夠緩慢車，而不需要駕駛員干擾；對于橫向控制，一般車道居中能保證±20厘米就可以了。 過彎方面，一般時速100公里能夠通過轉彎半徑250米的彎道，我們就認為這套系統比較好了。
當然，對于變道換道，一些評測標準大家都還在研究。
至于Corner case，可以來看看基本所有量產ADAS產品量產過程中都會遇到的Corner case。
第一個就是上橋下橋路面不平，很多相機在測試時候都假設路面是平的，一旦發生路面不平的，車道線要么檢測不出來，要么就交叉到一起。這種情況下，是不是一定要把路面曲率預估出來？我覺得未必。如果功能策略做的好，過橋的時候把橫向控制稍微緩一緩，或者干脆退出橫向控制用戶體驗會改善。
第二個是車道線，在車道交匯處有這么多條線，車輛到底選擇哪條線作為左車道。駛出匝道的時候，到底直線車道先被檢測出來還是彎車道被檢測出來，如果先檢測到直線車道，方向盤就會晃一下，造成用戶體驗不好。說實話這跟深度學習沒關系，基本上只能靠做測試，不停修改策略、打補丁才能做好。
第三是單雷達導致AEB誤觸發問題。雖然現在都是fusion系統，但過程中可能會發生ACC減速的情況。怎么樣通過雷達的反射把盡量把ACC做的更舒服一點，也是很大的工程經驗。未來毫米波雷達廠商可能會推出垂直分辨率的毫米波雷達，這個問題自然而然也就能解決了。
最后一個是進出隧道的場景，雖然車載相機一般都有120dB的動態范圍，但這到底夠不夠？我們也在一些調好曝光、極限的場景做過測試。通常來講，很少真的因為過曝或者欠曝導致沒有辦法產生對比度的情況。攝像頭成像要給深度學習或者給視覺算法用，sensor
出來的raw圖像，得經過ISP的色彩還原和tune mapping等處理，通常才能給CNN使用。這個過程如果有任何一個過程做得不好，最后還是檢測不出來，這也是工程能力的一個體現。
最后總結一下，到底怎樣才能做一個好用的ADAS產品？
從福瑞泰克的角度，我們認為有幾個方面：一是感知能力要全面且要精準。 二是傳感器融合。視覺還是有局限性的，如果不做融合，如果在下大雨的場景下，視覺是沒有毫米波雷達可靠的，所以多傳感器融合也一大趨勢。
第三，作為一個好用的ADAS產品，不僅傳感器要能夠好，融合策略夠好，整車控制也要做得好。因為ADAS畢竟作為整車的一個功能，如果車輛的執行器不好，最終帶來的用戶體驗還是不夠好。
第四，產品要穩定可靠，保證在10年25萬公里的生命周期內，傳感器的感知維持一致。如果在某些場景出現失效，超出了算法認識的范圍，一定要有能力讓用戶知道該進行維修了，同時將詳細的故障內容記錄下來，讓用戶及更換。
另外，要下苦功夫進行充分測試。國內的產品就得在中國的所有道場景下，都得有充分的測試案例數據。
最后是人機交互，在未來功能越來越復雜的情況下，如何通過一個人機交互界面，在AEB這些發生之前給用戶一兩秒鐘的反應時間，都能極大改善用戶體驗。
綜上所述，這些都是一個好用的ADAS產品需要考慮的范圍。
福瑞泰克定位為一家“立足中國本土”的ADAS系統和解決方案供應商，公司成立至今超過3年多的時間，我們的第一代的攝像頭產品已經在乘用車和商用車上實現了量產，包括實現 ACC、AEB、LKA、TJA等多種L2功能。
針對新一代的法規需求，我們正在開發新的產品，完全滿足2021年法規的需求。新一代的攝像頭產品采用了3mega BSI技術的COMOS Sensor，同時配合一個100°廣角攝像頭，完成支持C-NCAP2021的法規技術。
在LKA以及TJA等功能上，對于車道線不清晰以及沒有車道線的道路邊緣，福瑞泰克的新一代產品也能夠識別并通過控制方向盤響應，提升用戶感受。
（雷鋒網） 雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
