汽車智能座艙系統與應用 課件全套 模塊1-6 對智能座艙系統的基本認知-掌握智能座艙場景測試技術

能力模塊一

對智能座艙系統的基本認知任務一

認知智能座艙系統的概念及結構近年來，隨著“電動化、網聯化、智能化、共享化”的汽車“新四化”加速發展，汽車正在從“單一的交通工具”向集休閑、娛樂、辦公等多功能于一體“第三空間”轉變，智能座艙系統在其中發揮重要作用。作為智能座艙測試崗位新入職的實習生，在培訓期間，你的主管需要你對智能座艙系統進行初步了解，有助于理解行業技術發展。查閱相關資料，完成智能座艙系統認知信息表整理并向其匯報。任務引入Tasktointroduce01智能座艙的定義03智能座艙的應用場景02智能座艙的基本組成部件04智能座艙場景功能場景介紹目錄

CONTENTS智能座艙的定義PART0101智能座艙的定義智能座艙就是在智能化和網聯化發展下的車載產品，可以與人、路、車本身進行智能交互的座艙，是人車關系從工具向伙伴演進的重要紐帶和關鍵節點。

通俗來講，智能座艙其實就是汽車駕駛艙中的人機交互，是將汽車的駕駛信息與娛樂信息進行整合，并利用大數據信息的處理能力，為各用戶提供更加便捷、有效且充滿未來科技感的汽車駕駛體驗。01智能座艙的定義汽車從最早能夠反映車速和發動機轉速的機械儀表，已經完全演變為當前主流的顯示駕駛信息的液晶儀表和實現人機交互的中控屏。屏幕的變化01智能座艙的定義屏幕數量也隨著智能化發展而有所變化。中控屏的技術發展也從小屏到大屏，再從大屏到雙聯屏，雙聯屏到三聯屏，再到貫穿的一體超大屏的不斷“進化”。屏幕的變化特斯拉modelS17英寸大屏比亞迪唐獨立中屏紅旗HS5雙聯屏01智能座艙的定義超大貫穿屏通常應用在豪華車型上，例如林肯Z的貫穿式大屏、福特EVOS的27英寸貫穿屏、全新一代蒙迪歐1.1米的超大屏、奔馳EQS轎車的17.7寸+12.3寸大彩電。屏幕的變化奔馳EQS貫穿式大屏多屏交互已成為發展的主流。目前大部分車企采用1-2塊中控屏幕的方案，隨著座艙朝著車輛感知精細化、實現機器自主/半自主決策方向發展，3塊屏幕及以上方案的占比也將明顯提升。智能座艙的基本組成部件PART0202智能座艙的基本組成部件

操控系統包括：方向盤；

娛樂系統包括：中控臺屏幕、后排多媒體、麥克風等；

通信系統包括：藍牙、WIFI、NFC等；

交互系統包括：中控屏、儀表盤、HUD（HeadUpDisplay，抬頭顯示系統）；

感知系統包括：雷達、攝像頭、駕駛員健康監控系統、空氣質量傳感器等。從硬件范圍來看：智能座艙包括了帶給駕駛員和乘客更加安全、舒適、智能的駕乘體驗所有模塊，主要包含：02智能座艙的基本組成部件02智能座艙的基本組成部件智能座艙包含了車機互聯、語音交互、駕駛員狀態監控、生物識別、車路協同、安全預警、物聯網、信息安全等功能，主要是在用戶體驗上進行功能設計，在舒適化、智慧化等方向上不斷提升。從軟件范圍來看：智能座艙的應用場景PART0303智能座艙的應用場景一、人機共駕場景

人機共駕場景下，智能座艙能通過交互感知技術為用戶提供一定程度的機械自主決策。車內感知系統（IVS）將對駕駛員狀態進行主動提醒，信息顯示系統的智能化程度也將提升。

廣汽埃安ADiGO3.0的方向盤脫離預警廣汽埃安ADiGO3.0的HOD（方向盤脫離預警），在方向盤安裝了電容式傳感器，非常靈敏，因此雙手只要輕輕搭在方向盤上即可。系統也支持短暫的脫手功能，傳感器會在雙手離開方向盤幾秒鐘后再發出警報，從而為用戶提供一定程度的機械自主決策。03智能座艙的應用場景智能座艙的交互感知拓展到外部環境，智能座艙的服務場景與便利性得到延伸，涵蓋娛樂、生活、附加信息等一系列活動的出行服務，智能網聯實現駕乘人員線上線下體驗的無縫連接，車輛將真正作為“第三生活空間”。隨著虛擬個人助理的發展，家庭和汽車之間會出現更深層次的連接，用戶可通過手機的語音助手遠程操控車內設備。二、內外聯合場景應用場景03智能座艙的應用場景智能座艙甚至可以睡眠場景，一鍵/語音操作，即可實現座椅放倒打平，天幕遮陽簾關閉，大屏亮度調暗，助眠輕音樂與香氛開啟，再安裝單向隱私簾，進入舒適的睡眠空間。通過電量安全檢測，空氣安全監測，起夜安全光設計以及定時鬧鐘，完成安全睡眠環境布置。二、內外聯合場景應用場景小鵬P5智能睡眠場景03智能座艙的應用場景智能座艙將為用戶提供高質量的游戲、影音等娛樂服務。智能座艙的人機交互是建立在AI技術的輔助駕駛功能。利用AI和傳感器的配合，提高駕駛安全和提升座艙互動便利。 三、“應用為王”場景03智能座艙的應用場景華為HarmonyOS，車輛的主機可以與其他智能終端連接并共享信息，各種硬件設備可以與人，車輛和家庭連接。HarmonyOS智能座艙生態應用HMI設計規范，強調了聚焦駕駛場景的核心任務；簡潔高效交互，減少學習成本；三、“應用為王”場景HarmonyOS智能座艙共享信息連接智能座艙常見功能場景介紹PART0404智能座艙常見功能場景介紹DMS（駕駛員監測系統）是檢測駕駛員出現疲勞及其他異常駕駛狀態的輔助設備。DMS系統基于攝像頭和近紅外技術，從閉眼、凝視方向、打哈欠和頭部運動等，檢測駕駛員狀態。若出現情況能及時語音燈光提示，起到警示駕駛員，防范駕駛嚴重事故的作用。一、駕駛員監測系統04智能座艙常見功能場景介紹早期的條目式語音，在使用時你必須像背誦課文一樣對系統說出標準而又死板的指令，才能得到系統的正確回應，哪怕說錯一個字都不行。二、AI語音助手目前語音助手在識別準確率提升之后，還能夠完成聲源定位、語義理解、單句多任務等功能。例如聲源定位可以讓后排右邊的乘客僅說出打開我的車窗，就能實現精準定位，打開車窗。04智能座艙常見功能場景介紹語義理解能夠憑借粗略描述就能精準反饋結果。自然語義理解(NLU)是語音控制迄今為止最困難的一步，因為系統需要理解用戶原始問題的意圖。其最大的特點就是對中文語言進行了深入的優化，無需刻板的命令詞匯，系統便可聽懂“人話”，能夠達到自然語音的效果。

二、AI語音助手蔚來語音助手NOMI04智能座艙常見功能場景介紹小鵬的語音助手小P目前的語音交互響應速度達到了毫秒級，在線請求延時水平在1.8-2.0秒，對其進行連續對話實測，1分鐘內可完成了40+個指令。此外，小P在語音交互方面可做到前后四座收聲識別，如精準識別副駕駛乘客下達調節座椅指令，聯動可單獨調節副駕駛座椅。二、AI語音助手小鵬的語音助手小P04智能座艙常見功能場景介紹比亞迪“小迪”，持免喚醒和語音直達功能（oneshot），避免重復的喚醒詞，比如，調節音量，開關空調等操作，用戶直接發出“增大/減小音量”“打開/關閉空調”等指令即可。聲源定位功能，小迪可分辨出語音指令來自主駕還是副駕，并做出相應的反饋指令二、AI語音助手比亞迪語音助手小迪工作狀態1、請查閱應用為王場景中，有哪些應用是被廣泛使用的，并簡要概括。2、請查閱智能座艙具體需要哪些硬件，請簡要說明這些硬件及作用。1.各組派代表闡述資料查詢結果。2.各組就各自的查詢結果進行交流，并分享技巧。隨堂討論獨立完成智能座艙系統的概念及結構的查詢，并將教材中表格填寫完畢。任務實施感謝觀看能力模塊一

對智能座艙系統的基本認知任務二

了解智能座艙的發展歷程、前景及政策在公司某次合作項目中，主管要求你以PPT的形式整理智能座艙發展現狀資料用于項目介紹。你需要查閱智能座艙的發展歷程，重點了解我國智能座艙的相關政策。任務引入Tasktointroduce01智能座艙的發展歷程03智能座艙的相關政策02智能座艙的發展前景目錄

CONTENTS智能座艙的發展歷程PART0101智能座艙的發展歷程

智能座艙的發展呈現顯著的“三段式”發展節奏。分別為2000年以前機械時代、2000年-2015年電子時代、2015年至今智能時代。

第一階段，以駕駛和控制為中心，僅包含機械儀表盤以及功放機頭的駕駛環境。只有單一的機械儀表，簡單的音頻播放設備，物理操作按鍵，沒有中控顯示屏，并且集成度較低，安全程度極低，智能化無。01智能座艙的發展歷程

第二階段，汽車開始智能化，網聯化，更多的傳感器和芯片技術，使汽車的感知能力和信息化處理能力有了較大進步。

座艙多為機械儀表，極少數有液晶儀表，除此之外，多為物理按鍵，極少數為觸屏，擁有娛樂系統，小尺寸娛樂顯示，除此之外，集成度較低，安全程度較低，智能化程度低。01智能座艙的發展歷程2015年至今的智能時代，這階段的座艙也隨著汽車技術發展已正式進入了智能化發展進程當中。

座艙大尺寸屏顯示、多聯屏出現，信息娛樂系統功能逐漸豐富，交互方式多樣，且為高度集成化，安全程度較高，智能化程度高。智能座艙的發展前景PART0202智能座艙的發展前景

交互界面走向多元化、復合化；

大屏化、多屏化、便捷化的聚屏時代來臨；

人性化駕駛體驗的不斷升級；

自動駕駛技術的不斷成熟。

當前，我國的汽車智能座艙發展還處于起步階段，還有非常廣闊的發展空間和前景，總結為以下四個方面：02智能座艙的發展前景傳統的汽車座艙往往是通過機械的方式進行交互的，在當前的汽車駕駛中，駕駛人員和車輛之間的交互逐漸增多，例如一些按鈕觸碰、語音指令等。交互界面走向多元化、復合化車輛的語音交互要遠比其他交互方式更加便捷、高效，不需要浪費駕駛人員或者是操作人員較多的時間和注意力。隨著汽車智能座艙的不斷發展，多模態交互技術的使用也一定程度上拓展了人機交互空間。02智能座艙的發展前景在汽車智能設計中，智能座艙屏幕設計的尺寸逐漸變大，數量也漸漸變多。大屏化、多屏化、便捷化的聚屏時代來臨該屏幕承載的數據信息內容也越來越多樣化，整體呈現出大屏化、多屏化、便捷化的發展趨勢。02智能座艙的發展前景

汽車智能座艙的快速發展，使得越來越多的用戶對駕駛場景的要求也越來越高。通過消費者需求調研可看到，除了傳統的導航地圖，消費者對車機上裝有豐富APP實現影視音樂、生活服務功能的需求較高。人性化駕駛體驗的不斷升級02智能座艙的發展前景

在旅行游玩方面，能夠滿足用戶對線路規劃的需要，保障其出行路線更加科學，提高其出行效率和行車的安全程度。此外，還要使其能夠良好對出行路上的相關設施進行提示，比如一些服務區、加油站、停車場等，使其有效地為用戶出行提供優質服務體驗。人性化駕駛體驗的不斷升級02智能座艙的發展前景自動駕駛技術的不斷成熟

于用戶體驗而言，將智能座艙中的人機交互、沉浸式體驗等內容，與智能駕駛的各項功能深度結合、聯動，能夠直接提升用戶的安全感與舒適感，增強智能汽車的用戶使用體驗。智能駕駛與智能座艙是汽車智能化變革的兩大核心功能域。汽車智能座艙的自動駕駛功能是指通過利用一定信息技術來對行車路面信息進行識別，并根據實際行車需要對其車輛進行一定控制。智能座艙的相關政策PART0303智能座艙的相關政策

智能網聯汽車是指通過搭載先進傳感器等裝置，運用人工智能等新技術，具有自動駕駛功能，逐步成為智能移動空間和應用終端的新一代汽車。汽車智能座艙的發展，也代表著汽車未來發展的方向，社會大眾對汽車駕駛的智能化需求與科技發展、人工智能技術發展的需求不斷增加，我國近些年相繼出臺了一系列法律法規促進了自動駕駛及智能汽車發展。發布時間發布單位政策名稱主要內容2022年11月中華人民共和國中央人民政府《進一步提高產品、工程和服務質里行動方案（2022-2025年）》加強系統融合、時間同步、仿真計量測試技術研究，提升智能網聯汽車的環境感知、決策和安全性能。2022年4月中華人民共和國中央人民政府《交通領域科技創新中長期發展規劃綱要（2021-2035年）》推動新能源汽車和智能網聯汽車研發，突破高效安全純電驅動、燃料電池與整車設計、車載智能感知與控制等關鍵技術及設備。1、請查閱各大車廠是如何發展智能座艙的，并簡要概括。2、請查閱智能座艙的發展歷程，請簡要概括。1.各組派代表闡述資料查詢結果。2.各組就各自的查詢結果進行交流，并分享技巧。隨堂討論除政策出臺促進智能座艙外，經濟環境、社會需求這兩個方面如何推動了智能座艙的發展？上網整理資料，并完成教材工單。任務實施感謝觀看能力模塊一

對智能座艙系統的基本認知任務三

了解常見車型的智能座艙作為智能座艙相關的技術助理，在某次市場分析報告會上，你的主管安排你協助市場部完成目前主流車型的智能座艙相關應用功能的整理，熟悉整車廠、互聯網企業、傳統及新銳車企的智能座艙技術路線，并能夠針對某款車型進行智能座艙應用功能分析。任務引入Tasktointroduce01當前主流智能座艙的技術路線分類認知02智能座艙典型車型應用目錄

CONTENTS當前主流智能座艙的技術路線分類認知PART0101當前主流智能座艙的技術路線分類認知

阿里、騰訊在智能座艙領域的發展主張“軟件定義”，專注于車內場景的內容應用端，關聯用戶在車內的休閑、娛樂和工作需求。

阿里、騰訊

百度和華為在技術開發上更注重的是智能座艙軟硬件的深度集成。屏幕的變化智能座艙典型車型應用PART0202智能座艙典型車型應用相比蔚來其他車型，蔚來ET7在基礎硬件上做了不少提升，從英偉達TegraX1升級到了高通驍龍8155，車機系統和NOMI的反應速度都有明顯提升。蔚來ET7智能座艙典型應用

數字鑰匙還首次應用了UWB技術，車內人臉傳感器改到了方向盤后方，增加了對寵物的識別能力，還有一些諸如60WType-C快充、AirCushion壓力舒緩系統等等硬件。02智能座艙典型車型應用蔚來ET7智能座艙典型應用主要功能應用如下：（1）車內氛圍燈設計精巧，氛圍光源全部為隱藏式，打開氛圍燈后，它通過LED光源會反射到內飾各面板上，這種漫反射的柔光更容易讓人產生沉浸感，擁有諸多主題，如“曠野”“秘境”“螢火”“霞光”等等預設的主題模板。02智能座艙典型車型應用蔚來ET7智能座艙典型應用（2）自動開啟兒童鎖：駕駛員除了可以通過中控屏對后排左右車門和左右車窗進行獨立鎖止控制外，還可以開啟兒童鎖自動上鎖功能，通過車內攝像頭可以自動識別后排乘客的兒童身份和乘坐的位置，以此來自動開啟相應一側的兒童鎖與車窗鎖。02智能座艙典型車型應用蔚來ET7智能座艙典型應用（3）智能音場調節實現更沉浸式體驗：蔚來ET7標配23個揚聲器，總功率達到了1000W，并按照7.1.4聲道方案進行布局，用戶在車內即可享受到杜比全景聲的沉浸體驗，另外，值得一提的是它的“智能音場調節”功能，它可以根據當前車內的用戶位置，自動切換最優的聲場，讓車內每位乘客都能享受到這場聽覺盛宴。后排乘客可以通過語音控制的功能包括：車窗、閱讀燈、空調、座椅加熱/通風/按摩/壓力舒緩。強大的語音交互能力使得后排乘客更便捷地打造專屬的舒適空間，基本實現了免動手的交互體驗。（4）后排乘客語音控制：蔚來ET7使用了4組麥克風陣列和專用NPU核心，聽音辨位更精準。02智能座艙典型車型應用蔚來ET7智能座艙典型應用02智能座艙典型車型應用蔚來ET7智能座艙典型應用（5）“快捷場景”：在中控屏內的一級菜單中，可以看到一個叫做“快捷場景”的圖標，簡單來說這個功能可以讓車輛滿足某種條件后，自動運行某些功能，這些條件和功能可以由用戶自己來定制，組合出適合自己的個性化場景。作為大屏設計的領路人，特斯拉對智能化一直有著自己的見解，比如極簡到放棄了儀表屏，把所有功能與操作都放在中控屏里。作為汽車智能化應用領域中不可忽視的車企車型，我們需要對特斯拉的座艙智能化典型應用有一定了解。02智能座艙典型車型應用特斯拉ModelY智能座艙典型應用02智能座艙典型車型應用特斯拉ModelY智能座艙典型應用特斯拉ModelY不僅支持自動登錄賬號，方便用戶上車后自動同步個人的偏好，比如上車后自動調整合適坐姿與后視鏡位置、自動開啟適合自己的空調；ModelY更可以對屏幕亮度、氛圍燈顏色、電池電量顯示方式、大燈、車窗鎖/兒童鎖、轉向模式、停止模式、輔助駕駛內相關功能、離車后自動上鎖、駐車時解鎖、鎖車提示音、鎖車時關閉車窗、自動遠光燈、大燈延遲照明這些功能進行偏好設置。（1）賬號支持更多的偏好設置，提升用戶使用便利性02智能座艙典型車型應用特斯拉ModelY智能座艙典型應用特斯拉ModelY的手套箱表面上并沒有物理拉手，必須從中控屏內開啟。并且可以設置4位開啟密碼，在代客模式下默認禁止開啟手套箱，這種設計強化了手套箱的私密性，為用戶帶來更安全的感受。（2）帶密碼開啟的手套箱，為用戶帶來更安全的感受02智能座艙典型車型應用特斯拉ModelY智能座艙典型應用特斯拉ModelY可以通過方向盤右側的按鍵去激活語音助手，但它的語義理解能力有限，但語音可控制的硬件更多；比如可通過語音控制折疊/打開后視鏡、開閉兒童鎖、車窗鎖等，這為它極簡內飾取消物理按鍵彌補了一些實用性。（3）語音可控更多硬件，彌補極簡內飾便利性的不足02智能座艙典型車型應用特斯拉ModelY智能座艙典型應用特斯拉ModelY除了中控屏觸控的游戲之外，用戶還可以通過方向盤和手柄對游戲進行操控。更令人欣喜的是，現在已經有主流的游戲下放到了ModelY的車機中。（4）游戲生態多樣性豐富，支持手柄和方向盤玩游戲02智能座艙典型車型應用特斯拉ModelY智能座艙典型應用特斯拉ModelY到達目的地停好車后，它會自動監控車輛周圍的可疑活動。當探測到可疑行為時，車輛將根據威脅的嚴重程度做出反應。（5）哨兵模式1、請查閱各大車廠的發展智能座艙都有哪些功能，并簡要概括。2、請查閱百度的智能座艙技術方向，請簡要概括。1.各組派代表闡述資料查詢結果。2.各組就各自的查詢結果進行交流，并分享技巧。隨堂討論查閱網絡資料，自主選取一款車型進行智能座艙應用功能分析，并在教材中完成表單填寫。任務實施感謝觀看能力模塊二

對智能座艙硬件的基本認知任務一

了解智能座艙的技術架構作為一名智能座艙測試崗位實習生，在培訓期間，上級要求你快速熟悉架構體系，對今后的開發測試工作整體模塊有更清晰的認知，你需要整理一份智能座艙整理架構體系的思維導圖，并整理目前常見的智能網聯汽車車型的技術架構。任務引入Tasktointroduce01智能座艙的整體架構簡介02智能座艙基礎平臺架構的核心目錄

CONTENTS03目前座艙技術架構及算法分析智能座艙的整體架構簡介PART0101智能座艙的整體架構簡介例如：導航主機是一家，液晶儀表是一家，同時還有一個AVM系統（全景式監控影像系統）是一家，線束連接就非常復雜。

在傳統座艙中，儀表、娛樂、中控等系統相互獨立，主要由單一芯片驅動單個功能/系統，通信開銷大。01智能座艙的整體架構簡介

隨著技術發展，座艙相關的系統也在往集成式的路線進行發展。現在智能座艙的車內軟硬件一體化聚合，實現車輛感知精細化，車輛可在上車-行駛-下車的整個用車周期中，為駕乘人主動提供場景化的服務，實現機器自主/半自主決策。01智能座艙的整體架構簡介AI單元：接觸最多的單元，主要用于處理各類傳感器的感知結果(音、頻或其他信號),并且將處理后的結果傳入處理器進行推理計算。通信單元：實現互通互聯，包含GSM(全球移動通信系統)/GPRS(通用分組無線服務技術)/C-V2X(基于蜂窩網的車載通信技術)、GPS、WiFi以及藍牙等的無線連接。網關單元：用于保障座艙域內安全可靠的數據傳輸、內置存儲和常用網關接口，包括車載以太網(ETH)、控制器局域網(CAN.CANFD)、本地聯網(LIN)和車內聯網(FlexRay)等接口。硬件平臺包含了A單元、通信計算以及網關3個單元。硬件平臺01智能座艙的整體架構簡介系統層先是通過虛擬機監視器(Hypervisor)+板級支持包(BoardSupportPackage，BSP)的方式實現硬件平臺的虛擬化，使得系統軟件可以更方便地與不同硬件平臺對接。由于底層操作系統開發周期長，投入資金大，因此當前汽車座艙底層操作系統均在QNX、Linux和Android的基礎上定制開發，因此當前座艙底層操作系統以QNX和Linux為主。系統層直接運行在硬件之上，用于提供底層的算法、通信、狀態管理等服務。系統層01智能座艙的整體架構簡介目前解決異構分布式系統之間的互聯和操作問題通常采用中間件技術。數據分布服務DDS(DataDistributionService)滿足多種分布式實時通信要求。車載操作系統需要建立跨多單元、高速、高效的DDS機制，DDS可采用發布/訂閱架構。基于系統層提供的感知、通信及管理等基礎服務，中間件技術主要是實現座艙不同功能的模塊化，用于上層座艙場景的開發。在智能基礎平臺里，多個分布的信息源與多個接收這些源的分布網絡節點構成了異構分布式網絡。中間件01智能座艙的整體架構簡介該層就是座艙用戶直接體驗到的各類場景及功能。包含：感知模塊，如情緒感知、行為動作感知、疲勞感知等。場景開發平臺可以根據這些感知結果進行具體的場景開發，例如，檢測到駕駛員打電話時會進行語音提醒，檢測到疲勞時，會播放音樂等。應用層智能座艙基礎平臺架構的核心PART02其核心為：用抽象層分離軟件與硬件，用一套基礎軟件平臺承載獨立的功能，實現即插即用，價值高的將從硬件轉移到軟件；用功能集的方式增加軟件復用率，允許跨車輛和汽車線路增加軟件模塊的再使用。SOA架構可以實現多功能、多終端的無縫連接

在軟件部分，智能座艙的核心架構為SOA架構，其中域控制器能夠實現軟硬件解耦。應用層功能獨立，基礎軟件平臺創造新的機遇。架構需從“信號導向”轉變為“服務導向”（SOA）。02智能座艙基礎平臺架構的核心SOA架構可以實現多功能、多終端的無縫連接。02智能座艙基礎平臺架構的核心

在硬件部分，SoC芯片成為目前智能座艙技術的核心硬件。SoC（SystemonChip）又稱系統級芯片，是一種集成電路的芯片，可以有效地降低電子/信息系統產品的開發成本，縮短開發周期，提高產品的競爭力。02智能座艙基礎平臺架構的核心SoC芯片瑞薩NXP德州儀器高通聯發科英特爾型號R-CARH3I.mxBQMJacinto7820ASA8155PMT2712A3960制造工藝16納米28納米16納米14納米7納米28納米14納米內核8664864CPU算力40k26k22k45.2k85k22k42kGPU頻率600MHZ850MHZ750MHZ624MHZ700MHZ900MHZ650MHZGPU算力288128166.45881142133216車規級AEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100ASIL-BAEC-Q100AEC-Q100AEC-Q100目前座艙技術架構及算法分析PART0303目前座艙技術架構及算法分析座艙技術架構分析目前市面上主流車型座艙架構組成大多是這七個部分：硬件、底層芯片、系統平臺、車機服務、決策中心、交互應用以及云端服務，整個智能座艙系統按照這個架構的形式進行信息交互。03目前座艙技術架構及算法分析座艙技術架構分析硬件組成：主要是原始感光或應聲部件，用于接收DMS攝像頭輸入的駕駛員面部或手部信息及OMS輸入的乘員信息。同時，接收車內乘員輸入的相關語音信息，車載音響、顯示等硬件單元。底層芯片：主要是圖像或語音處理芯片功能包含對人臉識別、情緒識別、手勢識別、危險行為識別、多模語音、功能算法等應用。系統平臺：與智能駕駛類似,智能座艙在系統平臺層面需要建立硬件適配及驅動控制,包含進行安全數字輸入輸出單元、電源能量分配、編解碼、音頻輸出、顯示、can通信等單元。車機服務：智能座艙的核心服務，則更加依賴于車機服務進行相應的能力控制。整個車機服務包括系統控制、車身控制、數據服務、OTA(汽車遠程升級技術)、底盤狀態及車身數據等內容。03目前座艙技術架構及算法分析座艙技術架構分析決策中心：主要是通過感知SDK(軟件開發工具包)建立場景SDK，從而構建定制化場景及圖像/語音感知能力。多模態座艙交互技術總體包含:語音+手勢+視線智能人機交互系統。這里我們把圖像和語音感知處理能力統稱為多模態交互應用技術框架。交互應用：包括車身控制、系統控制、第三方APP交互控制、語音播報、用戶界面等幾個方面。同時，對于第三方應用中的地圖、天氣、音樂等也有一定要求。云端服務：由于大量的數據涉及遠程傳輸和監控，且智能座艙的大算力算法模塊處理也更加依賴云端管理和計算能力。智能座艙云端服務包括算法模型訓練、在線場景仿真、數據安全、OTA管理數據倉儲、賬號服務等。03目前座艙技術架構及算法分析智能座艙算法分類介紹駕駛員面部識別類：包含人頭識別、人眼識別、眼睛識別等;駕駛員動作識別類：手勢動作識別、身體動作識別、嘴唇識別等;座艙聲音識別類：前排雙音區檢測、聲紋識別、語音性別識別/年齡識別等；座艙光線識別類：座艙氛圍燈、座艙主體背景、座艙內飾等。目前，智能座艙算法模塊大致分為以下四大類:03目前座艙技術架構及算法分析智能座艙算法分類介紹1、請理解智能座艙整理架構體系內容，結合教材信息并上網查找資料，整理一份智能座艙整理架構體系的思維導圖。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論完成智能座艙基礎平臺核心技術認知表填寫，并完成教材所示工單。任務實施感謝觀看能力模塊二

對智能座艙硬件的基本認知任務二

認知智能座艙的關鍵零部件及芯片智能座艙是多種硬件技術及模塊的集成，如芯片、各類傳感器、屏幕、車內娛樂系統（音響、氛圍燈）等。作為智能座艙測試工程師，需要重點掌握計算模塊（芯片）和傳感器模塊（視覺及語音）的相關基礎知識，理解原理，為后續的硬件設備測試調試做準備。任務引入Tasktointroduce01信息輸入部件認知02信息處理部件認知目錄

CONTENTS03信息輸出部件認知信息輸入部件認知PART0101信息輸入部件認知座艙內的攝像頭有多種類型，根據安裝位置不同，車載攝像頭可分為前視攝像頭、側視攝像頭、環視攝像頭、后視攝像頭及艙內攝像頭。車載攝像頭被稱為“自動駕駛的眼睛”，通過鏡頭和圖像傳感器實現圖像信息采集，超過80%的自動駕駛技術都會運用到攝像頭，或將攝像頭作為一種解決方案。車載攝像頭01信息輸入部件認知

合理的傳聲器選型及安裝方式，可降低算法研發的難度，提升車載語音增強的性能。傳聲器安裝需要遠離空調出風口，音箱等聲源位置，集中式陣列通常安裝在車機或者頂燈位置。車載傳聲器陣列根據安裝方式分為集中式陣列和分布式陣列兩種。集中式陣列安裝方式簡單，布線成本相對較低，而分布式陣列在多音區實現上更有優勢。車載傳感器信息處理部件認知PART0202信息處理部件認知IntelCPU成為芯片技術進步的旗幟，先后經歷了x86CPU的升級，奔騰CPU的迭代，目前是酷睿CPU技術的不斷創新。芯片技術演化與發展與IntelCPU比肩發展的AMDCPU也是神一樣的存在，對芯片技術發展也起到了促進作用。2021年，Intel推出了酷睿12代處理器，采用7nm工藝摩爾定律預言的芯片發展規律在這期間很好地被驗證。02信息處理部件認知隨著汽車往智能化的發展，特別是智能座艙和自動駕駛概念的興起，對汽車的算力提出了更高的要求，傳統的功能芯片已無法滿足算力需求，主控芯片應運而生。車規級芯片發展狀況當前座艙芯片的主要參與企業包括恩智浦、德州儀器、瑞薩電子等傳統汽車芯片廠商，主要面向中低端市場，同時消費電子領域的高通、三星等也加入了市場競爭中，主要面向高端市場。CPU叫做中央處理器（centralprocessingunit）作為計算機系統的運算和控制核心，是信息處理、程序運行的最終執行單元。CPU由數百萬個晶體管組成，可以有多個處理內核，通常被稱為計算機的大腦。GPU叫做圖形處理器（GraphicsProcessingUnit，縮寫：\GPU\），又稱顯示核心、視覺處理器、顯示芯片，是一種專門在個人電腦、工作站、游戲機和一些移動設備（如平板電腦、智能手機等）上做圖像和圖形相關運算工作的微處理器。02信息處理部件認知CPU和GPU的區別02信息處理部件認知CPU和GPU的區別半導體器件主要分為四大類，包括集成電路，分立器件，光電電子器件，傳感器組成。集成電路芯片又分為模擬集成電路和數字集成電路兩大類。模擬集成電路主要包含了電源管理芯片（如過電壓保護芯片、快充芯片等）以及信號鏈芯片（又被稱為線性芯片，如濾波器）。數字集成電路在日常生活中用的比較多，如處理器芯片、存儲芯片以及執行特定任務的ASIC芯片（如視頻編解碼、音樂播放器等使用的芯片）等。02信息處理部件認知片上系統SoC02信息處理部件認知片上系統SoC02信息處理部件認知每顆芯片都有一定的功能，將它們組合在一起才是一個電路。隨著半導體技術的發展，大家發現即使每個功能的芯片集成度會變高變復雜，但每個獨立功能的芯片所構成的電路依然會很占面積且經濟性較差，所以就出現了SoC(System-on-a-Chip)，將上述特定功能的器件在一顆芯片上實現。在SoC出現之前，可編程核、IP、定制邏輯、存儲器等都在一個PCB上。片上系統SoC信息輸出部件認知PART0303信息輸出部件認知屏幕電動車時代，由于加速性能遠勝燃油車，比拼性能已經幾乎沒有意義，因此電動車從比拼動力性能轉變為比拼科技感，特別是座艙領域，大屏或多屏幾乎是電動車的標配，這有帶動中高端燃油車也不得不采用多屏或大屏與電動車競爭。目前中高端車，基本標配全液晶儀表和中控大屏。03信息輸出部件認知AR導航目前中高端車，基本標配全液晶儀表和中控大屏。車內屏幕顯示的AR導航是用一個非魚眼的常規鏡頭相機把車前圖像傳輸到屏幕上，再與GPU渲染的導航圖標疊加。奔馳的AR導航默認顯示是顯示在中控屏上，不僅可以顯示圖標，還可以顯示文本。03信息輸出部件認知HUDHUD(HeadUpDisplay)稱之為抬頭顯示，又被叫做平視顯示系統，是指以車輛駕駛員為中心、盲操作、多功能儀表盤。它的作用，就是把時速、導航等重要的行車信息，投影到駕駛員前面的風擋玻璃上，讓駕駛員盡量做到不低頭、不轉頭就能看到時速、導航等重要的駕駛信息。抬頭通常分為風擋玻璃型(Windshield，W型)和集成顯示型(Combined，C型)。

HUD顯示示意圖

HUD關鍵參數03信息輸出部件認知HUD在汽車市場上，W型抬頭大多應用于豪華轎車，豪華轎車還配備了先進的駕駛輔助系統(ADAS)，包括自適應巡航控制、車道輔助等。WHUD用于顯示來自ADAS的信息，可以直接引導司機。w型抬頭頁面顯示內容03信息輸出部件認知HUD

目前，C型的抬頭通常是使用一塊透明樹脂材料作為輔助裝置進行組合投影，方便裝卸。不同的CHUD因附加投影設備的位置而異。大部分顯示在儀表板上(左圖)，少數顯示在遮光板上(右圖)。C型抬頭:在儀表板上顯示(左)，在遮光板上顯示(右)03信息輸出部件認知音響之所以可以稱為音響，最基本的條件就是有回放聲音的功能。其防干擾技術是分別對電源線的干擾采用扼流圈串在電源與音響之間進行濾波，用以降低外界的噪聲干擾。車載音響是指安裝在車內的聲音播放系統。03信息輸出部件認知音響例如，音響結合前后排多屏操作，能夠實現個性化、可定制的前排左右的分區音量。

智能汽車的快速發展，系統技術升級也為音響智能化打下了重要基礎，同時促進音響供應商利用智能化技術，開拓更多的功能需求，適配出行途中的各種場景。1、制作一份結構流程圖，分類介紹智能座艙掛件零部件。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論從網絡搜索資料，結合教材信息，完成智能座艙相關關鍵部件認知表填寫，完成教材所示工單。任務實施感謝觀看能力模塊二

對智能座艙硬件的基本認知任務三

完成智能座艙臺架的認知與傳感器安裝車載攝像頭和車載傳聲器隨著使用年限的增加，會造成接觸不良等故障。作為初級技術人員，上級要求你對智能座艙臺架系統進行認知，完成定期檢測工作，需要完成臺架配套傳聲器與攝像頭的安裝，并熟悉故障分析。任務引入Tasktointroduce01智能座艙臺架初步認知02實現常見智能座艙傳感器的安裝目錄

CONTENTS03常見智能座艙傳感器拆裝注意事項與故障分析智能座艙臺架初步認知PART0101智能座艙臺構初步認知目前主流的智能座艙的構成主要包括：全液晶儀表大屏中控系統車載信息娛樂系統抬頭顯示系統流媒體后視鏡等核心控制部件是域控制器

傳統座艙域是由幾個分散子系統或單獨模塊組成，這種架構無法支持多屏聯動、多屏駕駛等復雜電子座艙功能，因此催生出座艙域控制器這種域集中式的計算平臺。01智能座艙臺構初步認知具體由教學系統、主娛樂顯示屏、副娛樂顯示屏、儀表盤、座艙域控制主機、天線、CAN等組成。

汽車智能座艙系統實訓臺架是一個集車載智能駕駛系統、車載舒適系統和車載娛樂系統為一體的操作系統。01智能座艙臺構初步認知智能座艙控制主機作為智能座艙臺架的“大腦”，完成絕大部分功能的實現，因此其后端會設計很多接口完成與各模塊的連接。01智能座艙臺構初步認知教學系統分別是：電子助力轉向系統、車身控制模塊、電池管理系統、車輛控制單元、空調控制器、智能座艙控制單元、集成測試、駕駛員狀態監控單元、手勢識別控制單元以及語音識別控制單元教學系統載體為臺架右側的一塊大幅顯示屏，內搭載汽車智能座艙實訓軟件系統，共有10個功能。01智能座艙臺構初步認知智能座艙小車四個AVM攝像頭拍攝圖像，可以收集車外環境數據，更好地全方位無死角了解車的周邊環境，實現360°全景式監控影像系統（AroundViewMonitor，AVM）。智能座艙小車除了基礎框架，還在前后左右分別安裝了AVM攝像頭。01智能座艙臺構初步認知屏幕如圖所示：①號與②號分別是主、副娛樂屏，在教學系統下方的③號屏幕為儀表屏，用于觀察模擬車輛現象與車輛系統各類指標變化。在智能座艙臺架上，除了教學系統的大屏，還有三塊屏幕發揮作用。01智能座艙臺構初步認知操作平臺硬件

在中控屏、娛樂屏下方為智能座艙的操作與接線平臺，在操作平臺左下側主要為天線區域，從左到右依次為收音機天線、GPS天線、Wi-Fi天線與藍牙天線，在GPS天線下方還安裝了一個左聲道咪頭，用于收發聲音信息。右側區域安裝了MDS攝像頭、媒體USB接口與USB接口，在MDS攝像頭下方也配備了右聲道咪頭。01智能座艙臺構初步認知臺架電路連接模塊

最左側紫色模塊為屏幕連接模塊，藍色區域包含了教學系統的四個端口（CAN0、CAN0、CAN1、CAN1），可以外接一個紅色CAN卡-進行單獨測試CAN數據。01智能座艙臺構初步認知臺架電路連接模塊

在右下方的接口模塊為座艙域控制單元，從左到右依次是40P連接器（含喇叭、電源、CAN口、咪頭等）、3.0USB接口、DMS攝像頭連接線、行車記錄儀接口、AVM攝像頭接口、WiFi天線接口、儀表連接線接口、藍牙連接線接口、備用接口、收音機接口、副娛樂顯示屏接口、GPS天線接口、主娛樂顯示屏接口、網口。實現常見智能座艙傳感器的安裝PART02一、安裝喇叭02實現常見智能座艙傳感器的安裝智能座艙傳感器安裝安裝過程：將喇叭安裝到支架的上方位置。二、安裝左右聲道咪頭

將右聲道咪頭拿出來后，首先找準右聲道咪頭的安裝孔，再將咪頭從控制臺架板面的后面往前插進來，進行安裝。02實現常見智能座艙傳感器的安裝智能座艙傳感器安裝二、安裝左右聲道咪頭

左聲道咪頭以同樣的方式從面板的后方往前插入孔中進行安裝，安裝位置如下圖所示。02實現常見智能座艙傳感器的安裝智能座艙傳感器安裝一、MDS攝像頭安裝

將臺架配置好的MDS攝像頭安裝在儀表屏右側，安裝位置如圖所示，在安裝過程中需要使用到六角扳手進行固定。02實現常見智能座艙傳感器的安裝智能座艙攝像頭安裝二、AVM攝像頭安裝

智能座艙臺架配套的小車有配套4個AVM攝像頭，4個攝像頭畫面拼接能夠實現360°全景式監控影像系統。如圖所示，四個攝像頭的安裝位置分別為小車的前后左右，除此之外，記錄儀攝像頭安裝在小車的中前位置。注意，在攝像頭的安裝過程中，需要將攝像頭安裝到對應的朝向。02實現常見智能座艙傳感器的安裝智能座艙攝像頭安裝常見智能座艙傳感器拆裝注意事項與故障分析PART0303常見智能座艙傳感器拆裝注意事項與故障分析車載攝像頭拆裝注意事項關閉電源：在拆卸攝像頭之前，一定要先關閉車輛的電源，以防止電流引起的危險。工具選擇：使用正確的工具進行拆卸，以避免造成不必要的損壞。確定安裝位置：確定正確的安裝位置，在拆卸攝像頭之前，一定要先確認攝像頭的安裝位置和固定方式。

在日常檢修和測試過程中，時常需要對各類與智能駕駛相關的車載攝像頭進行拆裝，下面將列舉絕大多數車載攝像頭通用的拆裝注意事項，將不只針對某種特定類型。03常見智能座艙傳感器拆裝注意事項與故障分析常見的車載攝像頭故障及其分析拍攝圖像模糊或失真：這可能是因為攝像頭鏡頭受到污垢或者灰塵的影響，或者鏡頭表面受到了損傷。解決方法是清潔鏡頭或者更換攝像頭。沒有圖像：如果車載攝像頭沒有顯示任何圖像，這可能是攝像頭的電源線路故障，或者與攝像頭相關的控制電路故障。解決方法是檢查電源線路或者更換攝像頭。

圖像視角存在偏差：原因可能是攝像頭安裝位置或者方向不正確，或者與攝像頭相關的控制電路故障。解決方法是調整攝像頭的安裝位置或者方向，或者更換攝像頭。03常見智能座艙傳感器拆裝注意事項與故障分析常見的車載攝像頭故障及其分析圖像顏色失真：顯示的圖像顏色失真，可能是攝像頭的白平衡調整不正確，或者是攝像頭的控制電路故障。解決方法是重新設置攝像頭的白平衡，或者更換攝像頭。閃爍的圖像：顯示的圖像閃爍或者出現條紋，可能是攝像頭電源電壓不穩定，或者與攝像頭相關的控制電路故障。解決方法是檢查車輛電源電壓是否穩定，或者更換攝像頭。03常見智能座艙傳感器拆裝注意事項與故障分析車載麥克風拆裝注意事項關閉電源：在拆卸或安裝車載麥克風之前，一定要斷開電源，以防止電擊事故的發生。清潔工作：拆裝之前，應先將外殼上的灰塵和污垢清除干凈。清潔時要避免使用有腐蝕性或者磨蝕性的化學品或器具。拆卸麥克風：在拆卸時，需要根據不同車型選擇正確的拆卸方法，避免損壞麥克風、車身內飾和其他部件。

車載麥克風是汽車音響系統中的一個重要組成部分，通常用于語音交流或者語音控制。下面是一些車載麥克風拆裝注意事項：03常見智能座艙傳感器拆裝注意事項與故障分析車載麥克風拆裝注意事項小心線路連接：在拆卸或安裝麥克風時，需要小心線路的連接，確保線路連接正確并緊固。安裝麥克風：注意選擇正確的位置并固定好，以確保麥克風與語音源之間的距離合適，且不會被其他汽車零部件擋住。測試麥克風：測試時需要使用測試設備或者語音控制系統，以確保麥克風能夠準確地捕捉語音信號并傳遞給控制系統。03常見智能座艙傳感器拆裝注意事項與故障分析常見的車載麥克風故障和排除方法沒有聲音輸入：可能是線路故障、麥克風損壞或者車載媒體設備故障造成的。可以檢查麥克風是否連接正常、線路是否損壞、媒體設備是否設置正確等問題。噪音干擾：可能是由于線路不良、車輛環境噪音干擾等原因造成的。可以檢查線路是否連接穩定，車輛環境是否影響麥克風的使用等問題。

聲音失真：可能是由于麥克風信號過載、線路不良、麥克風故障等原因造成的。可以嘗試降低麥克風輸入信號，更換線路，或更換麥克風等解決方法。1、熟悉座艙傳聲器和攝像頭的安裝流程。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論結合教材，上網查閱資料，總結常見的車載攝像頭常見故障。任務實施感謝觀看能力模塊三

掌握智能座艙中機器視覺技術的應用任務一

了解機器視覺數字圖像處理技術智聯駕駛平臺提供的人臉識別、融合多類攝像頭與傳感器實現的ADAS功能與圖像處理技術密不可分。在開發任務中，主管要求你在熟悉座艙視覺傳感器拆裝之后，了解跟圖像相關的理論知識補充，熟悉圖像化預處理以及深度學習在圖像應用，整理資料完成傳統淺層學習和深度學習的對比分析表與圖像處理技術文檔。任務引入Tasktointroduce01圖像處理的發展過程認知02視覺處理結束認知目錄

CONTENTS03特征檢測與匹配技術應用與測試04深度學習在自動駕駛中的應用認知圖像處理的發展過程認知PART0101圖像處理的發展過程認知在當時那個年代如果不采用數字圖像處理，一張圖像傳達的時間需要7天，而借助數字圖像處理技術僅耗費3小時。

上個世紀20年代，數字圖像處理最早應用于報紙行業。由于報紙行業信息傳輸的需要，一根海底電纜從英國倫敦連輸到美國紐約，實現了第一幅數字照片的傳送。01圖像處理的發展過程認知1972年10月芝加哥北美放射年會上展出了讓整個醫學界震驚的腦部以及完成該圖像的計算機輻射X線頭部成像設備，向世界隆重展示了CT，引起了醫學界的轟動，這是當時圖像處理在醫學診斷應用中最重要的事件之一。

隨著計算機技術的發展，計算機技術與數字圖像處理兩者之間結合得越來越緊密，從而促進了數字圖像處理技術的發展。01圖像處理的發展過程認知20世紀70年代，借助計算機、人工智能等方面的快速發展，數字圖像處理技術實現了更高層次的發展。相關工作人員已經著手研究如何使用計算機進行圖像解釋。到70年代中期，麻省理工學院（MIT）人工智能（AI）實驗室：CSAIL正式開設計算機視覺課程。01圖像處理的發展過程認知

上個世紀80年代，研究人員將數字圖像處理應用于地理信息系統。從這個階段開始數字圖像處理技術的應用領域不斷擴大，在工業檢測、遙感等方面也得到了廣泛應用，在遙感方面實現了對衛星傳送回來的圖像的處理。01圖像處理的發展過程認知

到20世紀90年代，數字圖像處理技術得到了一個快速發展，其中特別是小波理論和變換方法的誕生，更好地實現了數字圖像的分解與重構。01圖像處理的發展過程認知從目前數字圖像處理技術的特點進行分析，可以發現圖像信息量巨大，在圖像處理綜合性方面顯示出十分明顯的優勢，其中就借助了圖像信息理論與通信理論的緊密聯系。加上數字圖像處理技術具有處理精度高、靈活性強、再現性好、適用面廣、信息壓縮的潛力大等特點，因此已經成功地應用在各個領域。

進入到21世紀，借助計算機技術的飛速發展與各類理論的不斷完善，數字圖像處理技術的應用范圍被拓寬，甚至已經在某些領域取得突破。視覺預處理技術認知PART0202視覺預處理技術認知圖像預處理的目的一方面，圖像在采集中有可能發生幾何失真，為恢復場景和圖像的空間對應關系，需要進行坐標變換。為了更方便有效地獲取其中的信息，提高后續加工的效率，常需對圖像進行一定的預處理。另一方面，對圖像的幅度也需要進行一定的調整，以改善圖像的視覺質量。02視覺預處理技術認知坐標變換

對圖像進行坐標變換實際上是對像素坐標的空間位置進行變換，變換的結果是改變了像素在圖像中的分布和關系，不改變圖像的像素值。在坐標變換中，主要包括三類：圖像平移、尺度變換和圖像旋轉。坐標變換圖像平移尺度變換圖像旋轉02視覺預處理技術認知坐標變換

一、圖像平移

圖像中的所有像素點按照給定的平移量進行水平或垂直方向上的移動。如圖所示，假設原始像素的位置坐標為（x0，y0），經過平移量（△x，△y）后，坐標變為（x1,y1）。一張圖像中的所有像素點均按照平移量進行整體移動，圖像就能夠實現平移效果。02視覺預處理技術認知坐標變換

二、尺度變換

尺度變換也稱放縮變換，它改變像素間的距離，對物體來說則改變了物體的尺度。尺度變換一般是沿坐標軸方向進行的，或可分解為沿坐標軸方向進行的變換；簡單來說，尺度變換是對數字圖像的大小進行調整的過程。02視覺預處理技術認知坐標變換

三、圖像旋轉

圖像旋轉是指圖像以某一點為中心旋轉一定的角度，形成一幅新的圖像的過程。圖像旋轉變換會有一個旋轉中心，這個旋轉中心一般為圖像的中心，旋轉之后圖像的大小一般會發生改變。如圖圖表示原始圖像的坐標（x0,y0）旋轉至（x1,y1）的過程。02視覺預處理技術認知幾何失真較正

在許多實際的圖像采集處理過程中，圖像中像素之間的空間關系會發生變化，這時可以說圖像產生了幾何失真或幾何畸變。這時需要通過幾何變換來校正失真圖像中的各像素位置，以重新得到像素間原來應有的空間關系。實現畸變矯正之前我們需要知道兩個重要參數，一個是相機內參，另一個是畸變參數。02視覺預處理技術認知灰度化處理

灰度化處理是一種基于圖像像素的操作，通過對原始圖像中的每個像素賦予一個新的灰度值來增強圖像，對原始圖像中的每個像素都用這個映射函數將其原來的灰度值s轉化成另一灰度值t再進行輸出。簡單來說就是輸入一幅圖像，將產生一幅輸出圖像，輸出圖像的每個像素點的灰度值由輸入像素點決定。02視覺預處理技術認知

色圖像通常包括R、G、B三個分量，分別顯示出紅綠藍等各種顏色，灰度化就是使彩色圖像的R、G、B三個分量相等的過程，灰度圖像中每個像素僅具有一種樣本顏色，其灰度是位于黑色與白色之間的多級色彩深度，灰度值大的像素點比較亮，反之比較暗，像素值最大為255（表示白色），像素值最小為0（表示黑色）。灰度化處理02視覺預處理技術認知直方圖修正

假設存在一幅6×6像素的圖像，接著統計其1至6灰度級的出現頻率，并繪制如所示的柱狀圖，其中橫坐標表示灰度級，縱坐標表示灰度級出現的頻率。借助對圖像直方圖的修改或變換，可以改變圖像像素的灰度分布，從而達到對圖像進行增強的目的。直方圖修正以概率論為基礎，常用的方法主要有直方圖均衡化和直方圖規定化。02視覺預處理技術認知

一、均衡化

直方圖均衡化是一種典型的通過對圖像的直方圖進行修正來獲得圖像增強效果的自動方法，主要用于增強動態范圍偏小的圖像的反差。這個方法的基本思想是把原始圖像的直方圖變換為在整個灰度范圍內均勻分布的形式，這樣就增加了像素灰度值的動態范圍，從而達到增強圖像整體對比度的效果。直方圖修正02視覺預處理技術認知

二、規定化

直方圖規定化方法，用戶可以指定需要的規定化函數來得到特殊的增強功能。一般來說正確地選擇規定化的函數常有可能獲得比進行直方圖均衡化所能獲得的更好的效果。簡單來說就是按照給定的直方圖形狀調整原先圖像的直方圖信息。直方圖匹配使用到了直方圖變換以及均衡化的思想，通過建立映射關系，使期望圖像的直方圖達到一種特定的形態。直方圖修正特征檢測與匹配技術應用PART0303特征檢測與匹配技術應用特征檢測算法一、Harris角點檢測

角點檢測是最早提出的特征點檢測之一；角點沒有嚴格的定義，通常認為角點是二維圖像亮度變化劇烈的點，或圖像邊緣曲線的曲率局部極大值點或多條邊緣曲線交匯點。

這種方法的缺點是響應值非各向同性，對噪聲和邊緣敏感，對旋轉不具備不變性。03特征檢測與匹配技術應用特征檢測算法二、尺度不變特征變換（SIFT） SIFT算法的不變特征提取具有無與倫比的優勢，但其仍然存在實時性不高、有時特征點少、對邊緣模糊的目標無法準確提取特征點等缺陷。事實上，SIFT描述子最大的問題在于計算量大、效率不高，不利于后面的特征點匹配。03特征檢測與匹配技術應用特征檢測算法

特征匹配就像比較兩個圖像的特征，這兩個圖像可能在方向、視角、亮度上不同，甚至大小和顏色也不同。深度學習在自動駕駛中的應用認知PART0404深度學習在自動駕駛中的應用認知深度學習（DeepLearning）是源于人工神經網絡的一種機器學習方法，是對人類神經系統識別過程的模擬。深度學習簡述通過搭建用于學習分析的神經元網絡，對底層選取特征形成抽象的數字化屬性，以大規模數據為輸入基礎，將復雜的信息提取并精簡表示。深度學習算法采用了由輸入層、隱含層、輸出層組成的多層網絡結構。04深度學習在自動駕駛中的應用認知輔助駕駛技術最大的作用就是提高汽車在駕駛過程中的安全性，是一種減少交通事故的有效手段。深度學習在輔助駕駛中的應用針對傳感器技術、大數據分析、深度學習等方面進行改進優化，使得硬件設備可以更快地感知到目標信息，核心處理器算法能夠更快地計算控制。04深度學習在自動駕駛中的應用認知傳統行人識別方法：主要通過人工設計特征和結合分類器來實現。比較經典的方法有HOG+SVM、HOG+LBP等。這種方法可以避免行人遮擋的影響，但泛化能力和精度較低。基于深度學習方法:通過多層卷積神經網絡（CNN）對行人進行分類定位。基于輸入圖像獨立學習特征，提取的特征更加豐富。

行人檢測是車輛輔助駕駛系統中不可或缺的一部分。行人檢測需要及時檢測出車輛前方的行人并由系統或者駕駛員針對實際狀況采取相應的措施。目前行人檢測方法主要分為兩類：深度學習算法在行人檢測中的應用04深度學習在自動駕駛中的應用認知

車道線是汽車行駛過程中道路上一種重要的交通標志，用于約束車輛的基本行駛行為。對車道線的檢測和識別是影響輔助駕駛系統的基礎和關鍵。深度學習算法在車道檢測中的應用基于深度學習算法的基本思路是通過已有或改進的深度學習框架來實現檢測。通過使用大規模標記數據訓練神經網絡，使其對于提取車道線特征具有良好特性，實現對車道線的檢測。1、簡單描述深度學習在自動駕駛中有哪些應用。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論查閱資料，了解機器視覺數字圖像處理技術完成教材所示工單。任務實施感謝觀看能力模塊三

掌握智能座艙中機器視覺技術的應用任務二實現手勢交互技術的應用作為一名智能座艙方向的開發助理，在智能控制板塊的開發過程中，主管需要你完成手勢識別功能，因此你的工作是制作一份PPT進行手勢交互應用實例展示，同時完成云端調用API實現手勢識別。任務引入Tasktointroduce01手勢交互的應用場景02云端調用API實現目錄

CONTENTS03本地model部署手勢交互的應用場景PART0101手勢交互的應用場景

人機交互種類多樣化，常見的人機交互技術有基于鍵盤和鼠標的輸入、基于聲音和面部表情以及手勢識別技術，其中手勢是一種具有特定意義的語言，具有自然、直觀以及靈活等優點，手勢識別在模式識別和人機交互領域逐漸成為熱點研究。萬物互聯，人機交互技術越來越貼近于我們的生活，人機交互是計算機領域中的一項重要技術。01手勢交互的應用場景VR手勢

VR是利用計算機技術來創建模擬環境。與傳統的用戶界面不同，VR通過模擬盡可能多的感官（例如視覺，聽覺，觸覺甚至氣味），將用戶帶入一種看似真實的體驗，讓用戶沉浸在其中并能夠與3D世界互動。在汽車行業內，VR應用于汽車駕駛、選款定制汽車內飾、模擬駕駛、汽車設計制造等方面。01手勢交互的應用場景VR手勢

得益于計算機視覺和深度學習技術的發展，現在能夠在普通攝像頭上實現精度較高的手勢識別。VR強調沉浸感，而手勢交互可以極大地提升VR使用中的沉浸感。所以VR+手勢這個落地方向很有前景，等VR得到普及后，定會改變人類的娛樂方式。此類代表產品：LeapMotion、uSens、極魚科技等。01手勢交互的應用場景

AR，即增強現實（AugmentedReality，簡稱AR），可以簡單理解為，將一些很難體驗到的實體信息（視覺信息、聲音、味道、觸覺等）模擬仿真疊加放在真實世界空間內，被人類感官所感知。AR手勢01手勢交互的應用場景

AR手勢技術，原理是輸入雙目灰度圖像，輸出雙手23關鍵點的3D位置和旋轉信息、手勢類別。以HoloLens為代表的很多公司都在做AR眼鏡。AR眼鏡可能會脫離實體的觸屏和鼠標鍵盤這些輸入工具，取而代之的輸入是圖像和語音等。AR手勢01手勢交互的應用場景這里用到的手勢識別比較簡單，基本只要識別單點多點。但在使用過程中手很容易擋住投影儀顯示的屏幕，而且還有顯示清晰度的問題。桌面手勢此場景可能更多的是一種探索，落地的可能性較小。以SonyXperiaTouch為代表的投影儀+手勢識別，將屏幕投影到任何平面上，再通過手勢識別模擬觸屏操作。01手勢交互的應用場景車載手勢識別是指計算機能夠識別人的不同手勢，并判斷不同手勢的相應含義，從而實現對應的功能。車載手勢手勢識別對人的限制非常小，并且自然、直觀，這令其在人機交互方式中脫穎而出。人和計算機之間的通信逐漸不再依賴中間媒介，人手成了終端設備的中間輸入工具，計算機被用戶預先定義的各類手勢加以操縱。云端調用API實現PART0202云端調用API實現調用百度云實現手勢識別API

云API的主要功能有：識別圖片中的手勢類型，返回手勢名稱、手勢矩形框、概率分數，可識別24種常見手勢，適用于手勢特效、智能家居手勢交互等場景。

手勢識別的場景要求：主要適用于3米以內的自拍、他人拍攝，1米內識別效果最佳，拍攝距離太遠時，手部目標太小，無法準確定位和識別。02云端調用API實現一、注冊API密鑰操作步驟

（一）登錄百度智能云

百度智能云的頁面網址為：/創建賬號登錄，進行實名認證。百度智能云的登錄頁面如圖所示。調用百度云實現手勢識別API02云端調用API實現（二）選擇圖像識別在產品服務內的人工智能模塊，選擇“圖像識別”功能。調用百度云實現手勢識別API02云端調用API實現

（三）創建應用

在應用列表內，點擊“創建應用”，填寫應用名稱為“手勢識別”，端口選擇：勾選“人體分析”內的“手勢識別”，應用歸屬選擇“個人”，應用描述為“手勢識別”，點擊立即創建。創建過程如下所示。調用百度云實現手勢識別API02云端調用API實現調用百度云實現手勢識別API接上一頁02云端調用API實現

（四）查看API密鑰和Secret密鑰

創建完畢后返回到應用列表，可查看到已經創建好的應用，在右側可查看該應用對應的API密鑰和Secret密鑰。調用百度云實現手勢識別API02云端調用API實現（五）調用代碼調用百度云實現手勢識別API02云端調用API實現（六）返回結果調用百度云實現手勢識別API02云端調用API實現百度智能云實現手勢識別實例測試

在熟悉創建手勢識別應用的步驟之后，我們可以利用汽車智能座艙實訓軟件系統來進行實例測試。在汽車智能座艙系統實訓臺上，打開教學系統屏幕，在軟件系統頁面點擊“手勢識別控制單元（AGR)”。02云端調用API實現百度智能云實現手勢識別實例測試

在手勢識別控制單元頁面中，點擊“百度智能云實現方法”，點擊“實例測試”，可觀察到中間開啟了攝像頭，將對拍攝到的畫面進行手勢識別，右上側為信息輸入（上下框內分別輸入創建應用環節中獲取到的APIKey和SecretKey信息），信息輸入后點擊運行按鈕，攝像頭捕捉到的畫面進行手勢識別，識別結果將返回到“識別結果”這一空白框內。本地model部署PART0303

本地model部署TensorRT框架TensorRT是可以在NVIDIA各種GPU硬件平臺下運行的一個C++推理框架。我們利用Pytorch、TF或者其他框架訓練好的模型，可以轉化為TensorRT的格式，然后利用TensorRT推理引擎去運行我們這個模型，從而提升這個模型在英偉達GPU上運行的速度。03本地model部署OpenVINO框架

在英特爾CPU端（也就是我們常用的x86處理器）部署，首先OpenVINO，同時借助TensorFlow、PyTorch和Caffe*等熱門框架轉換和優化訓練后模型。在多種英特爾硬件和環境、本地、設備、瀏覽器或云中部署。03

本地model部署TensorRT框架

飛槳（PaddlePaddle）以百度多年的深度學習技術研究和業務應用為基礎，是中國首個自主研發、功能完備、開源開放的產業級深度學習平臺，集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件和豐富的工具組件于一體。1、根據教學視頻，完成云端調用API的實現，填寫如教材所示的工單，進行步驟確認。1、各組派代表闡述資料查詢結果。2、各組就各自的查詢結果進行交流，并分享技巧。隨堂討論利用互聯網搜索，手勢交互在VR、AR、桌面手勢、車載手勢應用里，分別有哪些應用實例？以小組為單位，查詢資料，制作一份PPT進行應用實例展示。任務實施感謝觀看能力模塊三

掌握智能座艙中機器視覺技術的應用任務三

完成DMS狀態監測系統的調試圖像處理技術在智能座艙領域的另一個應用是駕駛員監測，通過在危險情境下向駕駛員發出警示，幫助駕駛員改善駕駛行為，并根據駕駛員狀態進行相應干預，從而提高行車安全。主管需要你熟悉駕駛員監測系統主要預警功能，根據實際開發案例整理一份算法流程圖進行展示匯報，并基于前期理論基礎，完成DMS狀態監測系統的應用測試。任務引入Tasktointroduce01駕駛員檢測應用場景簡介02常見智能座艙算法開發認知目錄

CONTENTS03案例：基于機器視覺的抽煙駕駛檢測算法開發04百度智能云實現駕駛員狀態監控駕駛員檢測應用場景簡介PART0101駕駛員檢測應用場景簡介通常檢測人臉眼睛和其他臉部特征以及行為，同時跟蹤變化，實現駕駛員疲勞、分神等不規范駕駛檢測，從而保障駕駛員的生命財產安全。

駕駛員監測系統（DMS，Drivermonitoringsystem），是智能網聯汽車中很重要的一個人機交互系統。主要是通過一個面向駕駛員的攝像頭來實時監測頭部、眼部、面部、手部等細節，可以從眼睛閉合、眨眼、凝視方向、打哈欠和頭部運動等檢測駕駛員狀態。01駕駛員檢測應用場景簡介主要預警功能有以下幾大類：1.疲勞駕駛：主要包括閉眼，打哈欠，檢測到駕駛員有此行為觸發報警。2.分神駕駛：主要包括低頭，左顧右盼，檢測到駕駛員視線偏移超過1.0秒，可觸發報警。01駕駛員檢測應用場景簡介主要預警功能有以下幾大類：3.接打電話：檢測到駕駛員有打電話行為時，觸發報警。4.抽煙：檢測到駕駛員有抽煙行為時，觸發報警。01駕駛員檢測應用場景簡介

除了上述所列的行為狀態外，在DMS研究中還有情緒激動，醉酒駕駛等狀態檢測等。除此之外，智能汽車艙內攝像頭不僅僅是識別到駕駛員的行為，還能夠根據不同的駕乘人員，學習并記憶他們的操作習慣，并在不同的駕乘人員乘車時，做出個性化的推薦，打造個性化駕駛模式。常見智能座艙算法開發認知PART0202常見智能座艙算法開發認知算法開發流程

在AI算法開發之前，我們必須要分析算法的應用場景是什么？要解決什么問題？基于場景需要進行理解，整理AI開發框架和思路。不同的項目對數據的要求，開發手段也是不一樣的。02常見智能座艙算法開發認知算法開發流程場景明確：在這個步驟中，我們需要對正常場景設計的流程進行梳理，明確要求。例如，我們需要開發一個抽煙檢測的算法模型，那我們需要明確抽煙的動作有哪些，行為是什么。數據準備：主要是指收集和預處理數據的過程。按照確定的場景和目的，有目的性地收集、整合相關數據，數據準備是AI開發的一個基礎。此時最重要的是保證獲取數據的真實可靠性。而事實上，不能一次性將所有數據都采集全，因此，在數據標注階段你可能會發現還缺少某一部分數據源，反復調整優化。02常見智能座艙算法開發認知算法開發流程模型選擇：不僅要考慮精度與