경상북도 서북단에 위치해 있으며 동쪽은 예천군, 서쪽은 소백산맥을 경계로 충청 북도 충주시, 남쪽은 상주시, 북쪽 역시 소백산맥을 경계로 하여 충청북도 제천시와 접하고 있다. 전체 면적은 911.73㎢ 이며 총인구가 76,497명(2006년 12월 31일 기준)명에 이른다. 2읍 7면 5개동과 314 행정통리로 되어 있으며, 시청 소재지는 모전동이다.
시의 서쪽과 북쪽에 백두대간이 뻗어내려 북쪽의 충청북도와 경계를 이룬다. 백두 대간 남쪽으로 뻗은 산능선이 점차 낮아져서 산양면, 영순면 등에 이르면 구릉성 산지로 바뀐다. 이들 산지 사이에 금천과 조령천이 흐르는데, 조령천은 영강과 합류하면서 영순면 과 산양면 지역에 들어서면, 주변에 띠 모양의 길고 좁은 평야지대를 이루면서 영순면 남쪽에서 낙동강에 유입된다.