자율주행차는 GPS 및 레이더, 라이다, 카메라, IMU 등 다수의 센서가 장착되어 도심 교차로 주행 환경에서 다양한 교통체계를 인지하고 판단하여 주행하지만 장착된 센서의 감지 거리를 벗어나는 영역에 대한 예측 및 판단의 한계 등으로 자율주행차의 교차로 사고 비율은 전체 사고의 88%로 사고 비율이 높다. 따라서, ITS 인프라 기반 V2X 통신을 통한 차량 간 안전하고 효율적인 주행은 자율주행 시대의 핵심 요소이다. 이러한 점을 고려하여 본 연구에서는 V2X 기반 비신호 교차로 자율주행 차량 간 제어 시스템을 제안한다. 차량 간 제어를 위해 Open AI Gym 기반 시뮬레이션 환경을 구축하였고, DQN과 어텐션 메커니즘을 통해 차량 간 위치, 속도 등의 정보에 대한 강화학습 모델을 구축하였다. 차량 간의 충돌방지 및 효율적인 주행을 위해 설계된 협력적인 보상함수를 통해 네트워크를 학습하게 되며, 그 결과 강화학습 기반 차량 제어를 통해 기존의 비신호교차로 교통 체계에 비해 좋은 효과를 보여준다.