近年來人工智慧在軟硬體技術的突飛猛進與各領域應用的迅速發展，可預期未來運用人工智慧、影像辨識、資通訊(ICT)、車聯網(V2X)與5G等技術，特別有助於紓緩因交通號誌控制不夠智慧，導致民眾行的痛點。本計畫延續111年「我國人工智慧車聯網之號誌控制模式探討」之研究計畫，進行與縣市政府合作之現場實驗測試，實作測試過程中視需求持續精進人工智慧號誌控制模式，透過強化學習通用環境之探討與建置、導入多目標強化學習演算法、以及探討車流模擬測試模型於各種車流場景之泛用性，期望能提升人工智慧號誌控制模式之運作效率。此外，同時納入高速公路匝道儀控之人工智慧號誌控制課題與相關模擬模式發展探討，優先構建交流道區域號誌協控車流模擬環境、以及進行分散式AI號誌協控模型(多代理人機制)初步發展設計，以期逐步發展我國在人工智慧號誌控制之實力構建，期能支援我國都市智慧號誌控制在人工智慧與車聯網環境下之車流運作效率及交通安全提升。
本計畫在人工智慧強化學習號誌控制模型優化與精進上，能依據各路口各方向交通變化，即時計算下個階段的號誌時制內容；在臺南市的「台86-19甲」單一路口案例，即時計算下一個時相號誌綠燈秒數，在臺北市的「中山北路-德行東路」3個路口幹道則以單一代理人控制3個路口，以共同號誌周期長度與不同時比方式來進行動態調整，以兼顧車流續進。實測結果顯示，臺南市及臺北市實驗場域依據不同偏好進行決策，且在各個時段中均能找到一組偏好，大部分的績效比固定時制為佳；另多任務AI強化學習模式模型即使將不同時段資料一起進行訓練，雖然尚無法比分開訓練的模型績效為佳，但整體表現已接近。在交流道區域的匝道儀控與平面路口強化學習號誌協控模型發展部分，遴選桃園楊梅交流道來構建模擬實證場域，導入多號誌控制代理人機制，並於績效評估上額外考量駕駛人感受等相關指標，將匝道和平面道路的輸入資料集中到一個中央化代理人(agent)的「中央化訓練(Centralized Training)」，本計畫於113年將進行強化學習號誌協控模型的學習訓練與實測工作。

目錄 III
圖目錄 V
表目錄 IX
第一章 計畫概述 1
1.1 計畫背景與目的 1
1.2 計畫工作流程 2
1.3 研究內容與工作項目 2
第二章 文獻回顧與關鍵課題 5
2.1 國內外號誌控制策略探討 5
2.1.1平面路口之號誌控制 5
2.1.2交流道之號誌協控 10
2.2 強化學習於號誌控制之應用 16
2.2.1 強化學習於平面路口之號誌控制 16
2.2.2 強化學習應用於交流道協控 19
2.2.3 我國應用人工智慧或車聯網於號誌控制相關研究 24
2.3 人工智慧強化學習(Reinforcement learning, RL)模式 28
2.3.1 強化學習架構 28
2.3.2 強化學習演算法 30
2.3.3 小結 50
2.4人工智慧強化學習在號誌控制應用之關鍵課題 50
第三章 強化學習號誌控制模型探討 53
3.1 實測號誌控制模型檢討 53
3.2 號誌控制模型優化與精進 59
3.2.1 AI強化學習模型精進架構 59
3.2.2 AI強化學習模型訓練模擬環境程式與軟硬體說明 68
3.2.3 AI強化學習模型訓練結果 69
第四章 強化學習號誌控制實測 81
4.1 實驗場域規劃與分析 81
4.1.1 單一路口場域(臺南市「台 86-19 甲線」路口) 81
4.1.2 幹道多路口場域(臺北市「中山北路-德行東路」) 84
4.2 人工智慧強化學習號誌控制核心運作模組 87
4.3 實測計畫 92
4.3.1 車輛偵測器驗證計畫 92
4.3.2 模擬測試 96
4.3.3實測計畫 135
4.3.4 實測情形 137
4.4 事前事後量化績效評估 141
4.4.1 臺南市實驗場域實測結果 141
4.4.2 臺北市實驗場域實測結果 146
4.4.3 實測分析 151
4.5 小結 152
第五章 強化學習號誌協控模擬環境構建規劃 155
5.1 強化學習號誌協控型態探討 155
5.2 強化學習號誌協控模式發展構想 156
5.3 實驗場域規劃與分析 158
5.4 實驗場域模擬模式構建規劃 164
5.4.1 交通參數與績效指標設計 164
5.4.2 交通參數資料蒐集規劃 165
5.4.3 模擬模式建構設計 167
5.4.4 模擬模式校估驗證 170
5.5 小結 176
第六章 結論與建議 177
6.1 結論 177
6.2 建議 178
參考文獻 181
附錄一 期中審查意見回覆表 185
附錄二 期末審查意見回覆表 203