利用深度強化學(xué)習(xí)技術(shù)實現(xiàn)路口信號控制是智能交通領(lǐng)域的硏究熱點。現(xiàn)有硏究大多利用強化學(xué)習(xí)來全面刻畫交通狀態(tài)以及設(shè)計有效強化學(xué)習(xí)算法以解決信號配時問題，但這些研究往往忽略了信號燈狀態(tài)對動作選擇的影響以及經(jīng)驗池中的數(shù)據(jù)采樣效率，導(dǎo)致訓(xùn)練過程不穩(wěn)定、迭代收斂較幔等問題。為此，文中在智能體模型設(shè)計方面，將信號燈狀態(tài)納入狀態(tài)設(shè)并引入動作獎懲系數(shù)來調(diào)節(jié)智能體動作選擇，以滿足相位最小綠燈時間和最大綠燈時間的約束。同時，結(jié)合短期內(nèi)交通流存在的時序相關(guān)性，文中采用優(yōu)先級序列經(jīng)驗回放（ Priority Sequence Experience Replay，PSER）的方式來更新經(jīng)驗池中序列樣本的優(yōu)先級，使得智能體獲取與交通狀況匹配度更高的前序相關(guān)樣本，并通過雙Q網(wǎng)絡(luò)和竟?fàn)幨絈網(wǎng)絡(luò)來進一步提升DQN（DepQ Network）算法的性能。最后，以杭州市蕭山區(qū)市心中路和山陰路形成的單交叉口為例，在仿真平臺SUMO（ Simulation ofUrban Mobility）上對算法進行驗證，實驗結(jié)果表明，提岀的智能體模型優(yōu)于無約束單一狀態(tài)模型，在此基礎(chǔ)上提出的算法能夠有效縮短車輛平均等待時間和路口總排隊長度，控制效果優(yōu)于實際配時策略以及傳統(tǒng)的DQN算法。