CN117218618B 基于強化學習駕駛世界模型的端到端自動駕駛方法及系統 （同濟大學）

基于強化學習駕駛世界模型的端到端自動種基于強化學習駕駛世界模型的端到端自動駕車前視相機作為輸入圖像，基于生成式世界模并模擬線蟲神經系統建立類腦神經網絡結構來取代傳統強化學習中的感知機網絡或者卷積網2將所述二維特征投影至三維空間，得到三維特征，并預測每個三維特基于所述深度概率分布，采用加和池化的方式將所述三維特征映射至鳥瞰圖空間中，所述后驗特征通過包含歷史時刻信息的隱藏特征、前一時刻的動作所述先驗特征通過包含歷史時刻信息的隱藏特征以及前一時刻的動作采利用當前時刻的環境動力學信息生成當前時刻的隱藏特征，作為下一時刻的隱藏特假設后驗特征和先驗特征均符合正態分布，所述后驗特征和所述先表示隱藏特征；表示對k時刻的圖像進行圖像編碼，得到圖像特征的過程；表示所述后驗特征的生成過程；p(zn)~N(u,(lw,ar-1),o,(hx,ar-1))表示所述先驗特征的生成過程；表示前一時刻2.根據權利要求1所述的基于強化學習駕駛世界模型的端到端自動駕駛方法，其特征3其中，p(zn)~N(u,(lw,ar-1),o,(hx,ar-1))表示先驗特征的生成過程；表示前3.根據權利要求1所述的基于強化學習駕駛世界模型的端到端自動駕駛方法，其特征在任意兩個連續層之間，任意沒有突觸的目標神經元j插入7mso-t個突觸，7mso-t滿4.根據權利要求1所述的基于強化學習駕駛世界模型的端到端自動駕駛方法，其特征5.根據權利要求1所述的基于強化學習駕駛世界模型的端到端自動駕駛方法，其特征4采用引入熵正則化的強化學習算法，建立環境和強化學習智能體的略分別定義為Q0(sla)和(IS)；Q函數接收輸入狀態動作對(s,a)輸出一個實數值作為值v；函數和策略分別通過如下損失函數進行優化求解：6.一種基于強化學習駕駛世界模型的端到端自動所述環境信息提取模塊用于以汽車前視相機作為輸入圖所述輸出模塊用于將所述環境有效交通信息輸入至所述類腦神經回路所述生成式世界模型包括相連接的感知模塊和所述環境所述感知模塊用于以單目相機圖像為輸入圖像，對所述輸入圖像進行所述三維特征編碼單元用于將所述二維特征投影至三維空間，得到三5所述后驗特征通過包含歷史時刻信息的隱藏特征、前一時刻的動作所述先驗特征通過包含歷史時刻信息的隱藏特征以及前一時刻的動作采利用當前時刻的環境動力學信息生成當前時刻的隱藏特征，作為下一時刻的隱藏特假設后驗特征和先驗特征均符合正態分布，所述后驗特征和所述先表示隱藏特征；表示對k時刻的圖像進行圖像編碼，得到圖像特征的過程；表示所述后驗特征的生成過程；p(zn)~N(u,(lw,ar-1),o,(hx,ar-1))表示所述先驗特征的生成過程；表示前一時刻6[0004]本申請實施例提供一種基于強化學習駕駛世界模型的端到端自動駕駛方法及系7征采樣生成；先驗特征通過包含歷史時刻信息的隱藏特征以及前一時刻的動作采樣生成；ek-1θkk-1[0013]其中，p(an)~N(u,(hx,ar-1),o,(h,ar-1))表示先驗特征的生成過程；ak-1表示8[0022]在一些示例性實施例中，生成式世界模型為經過強化學習訓練后的駕駛世界模Q函數接收輸入狀態動作對(s，a)輸出一個實[0029]本申請實施例提供一種基于強化學習駕駛世界模型的端到端自動駕駛方法及系9[0032]圖1為本申請一實施例提供的基于強化學習駕駛世界模型的端到端自動駕駛方法[0033]圖2為本申請一實施例提供的基于強化學習駕駛世界模型的端到端自動駕駛系統[0034]圖3為本申請一實施例提供的基于強化學習駕駛世界模型的端到端自動駕駛方法[0040]參看圖1，本申請實施例提供了一種基于強化學習駕駛世界模型的端到端自動駕[0053]參看圖2，本申請實施例還提供一種基于強化學習駕駛世界模型的端到端自動駕[0054]在一些實施例中，生成式世界模型包括相連接的感知模塊和ekek-1θkk-1[0061]由于在未來時刻k+T生成式世界模型無法獲得圖像輸入，生成式世界模型通過預接使用隱藏特征hk+T和先驗特征zk+T生成下一時刻的隱藏特[0064]其中，p(zn)~N(up(hx,ar-1),op(φQ函數接收輸入狀態動作對φ