강원도 동남부에 위치해 있으며 동쪽과 북쪽은 삼척시, 서쪽은 정선군과 영월군, 남쪽은 경상북도 봉화군에 접하고 있다. 면적은 303,58k㎡ 총 인구가 52,614명(2005년 기준)으로 8개동으로 되어 있으며, 시청소재지는 황지동이다.
태백산맥의 협곡지대에 위치하며, 대부분의 지역이 산악지대를 이룬다. 동쪽은 백병산, 연화봉, 삼방산, 서쪽은 함백산, 남쪽은 태백산과 장군봉, 북쪽은 대덕산과 매봉산, 중앙부에는 연화산 등의 험한 산지가 솟아 있다. 특히, 매봉산과 태백산을 중심으로 해발 1,300m 내외의 고위평탄면이 발달해 있다. 평야는 거의 없으며 완만한 평탄면이 곳곳에 발달해 있어 밭으로 이용되고 있다.