技術文章
構建巨量的駕駛場景時,測試ADAS和AD系統面臨著巨大挑戰,如傳統的實驗設計(Design of Experiments, DoE)方法難以有效覆蓋識別駕駛邊緣場景案例,但這些邊緣案例恰恰是進一步提升自動駕駛系統性能的關鍵。
本文分享aiFab解決方案,該方案現已具備了更為先進的自適應測試方法,顯著提升了尋找邊緣案例并進行分析的能力。
標準的DoE方案旨在系統性地探索場景的參數空間,從而確保能夠實現的測試覆蓋范圍。但在邊緣案例,比如暴露在潛在安全風險的場景或是ADAS系統性能極限場景時,DoE方案通常會失效,讓我們看一些常見的DoE方案:
實現原理:將場景空間按照網格進行劃分,并測試所有的參數組合。
優勢:確保覆蓋所有的范圍。
缺點:在大參數空間下計算耗時將會難以估計。
實現原理:在定義的參數空間內進行隨機選擇測試樣例。
優勢:易于實現,而且擴展性能好。
缺點:可能會錯過重要的樣例從而導致測試效果大打折扣。
實現原理:確保每個參數在相應區間內進行均勻采樣,從而改善數據結果的分布。
優勢:比隨機抽樣效率更高,覆蓋范圍更加合理,樣本分布也更均衡。
缺點:過于均衡從而無法有效考慮到邊緣案例的情況。
這些傳統方法在一定程度上覆蓋了ADAS和AD系統場景測試范圍,但是其結果或多或少都存在一定的缺陷,如針對于邊緣場景,傳統方法沒有考慮高風險因素以及自適應學習過往測試結果的過程,針對這一點我們分享一個新的自適應DoE解決方案:aiFab解決方案。
在傳統的DoE方案中,將所有的場景視作同等重要,然而事實上,在ADAS/AD系統的測試過程中,邊緣場景則影響著關鍵性能的提升。在康謀aiFab解決方案中,基于AI的自適應DoE解決方案將會根據先前的測試結果,動態選擇測試用例,在未通過的案例中學習并調整泛化注意力。
貝葉斯優化將全量搜索場景的方法轉換成由數據驅動的智能方案,與隨機取樣等方案不同:
(1)BO方案將會預測最有可能暴露失敗風險的新測試用例。
(2)BO方案采用替代模型Surrogate model,比如采用高斯過程Gaussian Processes,然后通過已有的數據來逼近測試場景參數與關鍵性指標的映射目標函數。
(3)然后結合采集函數Acquisition Function,比如通過下置信屆LCB或者期望改進EI等方法,有效平衡“探索"和“利用"之間的取舍,在有限次數測試下,有效找到目標函數的解。
貝葉斯優化依靠關鍵性指標(KPI)決定了是否為目標場景,aiFab中常見的KPI包括:
(1)碰撞時間TTC:決定車輛距離碰撞有多近
(2)入侵后時間PET:交通沖突后剩余時間間隔
(3)速度變化Delta-v:車輛碰撞過程中的速度變化
通過不同的KPI更新模型,我們的泛化方案能夠將計算資源集中在最需要的地方,從而更高效的發現關鍵邊緣場景,而不是在常規場景上耗費時間。
憑借最新的自適應DoE功能,aiFab給ADAS/AD驗證帶來了諸多益處:
(1)更快的發現邊緣案例:找到高風險場景而無需全量的網格測試
(2)更低的資源耗費:專注于特定方向的案例場景
(3)更好的風險覆蓋范圍:提升檢測稀少邊緣關鍵場景的能力
通過將自適應測試集成到aiFab中,aiFab解決方案提高了效率,同時增強了ADAS和自主系統的安全性、性能和信心。