本計畫持續盤點人工智慧強化學習在號誌控制相關應用，在「都會區幹道強化學習號誌控制」部分，透過導入多任務強化學習演算法，以及通用環境之探討與建置，規劃以實測探討各時段與車流情境之泛用性，期望能提升人工智慧號誌控制模式之運作效率。在「交流道區域強化學習號誌協控」部分，以集中訓練/分散執行(CTDE)機制訓練多代理人，同時協調控制平面道路號誌與匝道儀控率，完成高速公路交流道匝道儀控與平面道路路口號誌協控之人工智慧強化學習號誌控制模型的發展與實作，及其運作量化效益分析，實測績效顯示：(1)臺北市中「中山北路與德行西路周邊3個路口」平日離峰與假日昏峰時段的路口平均停等延滯相較現況定時號誌控制平均改善15%；(2)臺南市「台86與台19甲路口」的整體路口延滯多優於現況動態時段號誌控制約2.5%；(3)中壢交流道周邊道路8個路口的整體路口停等延滯平均降低15%，均優於現況定時號誌控制。

第一章 計畫概述 1
1.1 計畫背景與目的 1
1.2 計畫工作流程 1
1.3 研究內容與工作項目 3
第二章 文獻回顧與關鍵課題 5
2.1 國內外號誌控制策略探討 5
2.1.1 平面道路號誌控制 5
2.1.2 平面道路與交流道匝道號誌協控 10
2.2 強化學習於號誌控制之應用 16
2.2.1 強化學習於平面道路號誌控制 17
2.2.2 強化學習於平面道路號誌與交流道匝道協控 20
2.2.3 國內近期動態號誌控制研究計畫成果 27
2.3 人工智慧強化學習(Reinforcement learning, RL)模式 32
2.3.1強化學習架構與演算法 32
2.3.2 多模態強化學習演算法 48
2.3.3 多代理人集中訓練分散執行架構 52
2.3.4 強化學習演算法應用比較分析 54
2.3.5 總結 56
2.4人工智慧強化學習在號誌控制應用之關鍵課題 57
第三章 強化學習號誌控制模型實測成果 59
3.1 實驗場域特性分析與模擬環境建置 59
3.1.1單一路口場域(臺南市「台86線-台19甲線」路口) 59
3.1.2多路口幹道場域(臺北市「中山北路-德行東路」) 61
3.2 都會區人工智慧號誌控制模型優化與精進 64
3.2.1 臺北市實驗場域模擬模式校估與驗證 64
3.2.2 都會區AI號誌控制模型精進 71
3.2.3訓練環境程式與軟硬體說明 78
3.2.4訓練結果 78
3.2.5 模擬績效分析 82
3.3 實測績效分析 96
3.3.1 實驗場域偵測設備 96
3.3.2動態模擬測試 99
3.3.3 號誌控制核心運作模組與監控介面 111
3.3.4 實測計畫與歷程 116
3.3.5 事前事後量化績效評估 121
3.3.6小結 133
第四章 強化學習號誌協控模型設計、訓練與實測成果 135
4.1 號誌協控實驗場域特性分析與模擬環境建置 135
4.1.1 實驗場域特性分析 135
4.1.2 實驗場域模擬環境建置 138
4.2 號誌協控模型訓練 142
4.2.1 協控實驗場域模擬環境構建 142
4.2.2 AI號誌協控模型架構說明 155
4.2.3 訓練環境程式與軟硬體說明 159
4.2.4 訓練結果 159
4.2.5 模擬績效分析 161
4.3 實測績效分析 167
4.3.1 實驗場域偵測設備 167
4.3.2 動態模擬測試 169
4.3.3 號誌控制核心運作模組與監控介面 179
4.3.4 實測計畫與歷程 182
4.3.5 事前事後量化績效評估 185
4.3.6 小結 194
第五章 結論與建議 195
5.1 結論 195
5.2 建議 197