신라말 범일국사(810~889)가 창건하여 죽장사(竹藏寺)라 불렀으며, 고려 때 관음사(觀音寺)로 바꾸었다. 조선 건국 초기 죽서루 동쪽에 관청이 설치되면서부터 폐사된 것으로 추정된다. 1925년 현위치에 새로 지어 삼장사(三藏寺)라 이름하였다. 현재 이 절의 건물로는 대웅전과 불교회관, 요사채 2동이 있다. 대웅전 안에 봉안되어 있는 석가여래삼존불과 지장보살좌상은 1948년 천은사에서 옮겨온 것이다.


어떤 사람이 다락을 지어 높은 나무를 굽어보게 했나,
황혼에 한바탕 웃으며 홀로 섰노라,
처마 앞엔 긴 대가 수천 줄기고,
난간 너머엔 맑은 강물이 50굽이로다.
두타산이 높아 어렴풋하고,
관음사 오래되어 초목이 성하다.
긴 하늘이 담담한데 새가 오가고,
잔물결이 일렁이며 고기가 떴다 잠긴다.

강릉도 안겸사 정추(1333~1382)가 죽서루에 올라 지은 시, <동국여지승람>