杨家祠堂坐落在县城东北部的古城墙边,始建于道光16年(1836年),由太子少保、果勇侯、镇竿总兵杨芳捐资修建,为木结构四合院,上下两层,占地770平方米,由大门、戏台、过厅、廊房、正厅组成,呈长方形。整个建筑做工精细,极富民族特色,有很高的建筑艺术价值。