順江樓始建於元代至元元年(1335)。它是余姚的葉衡設計的，被民間稱為“鼓樓”。明清時期，順江塔因災多次重修。現存建築為清光緒十壹年(1885)重修，樓上放置銅鐘，用於報時和火警。1985年，順江樓再次大修，書法家沙孟海先生題寫“順江樓”匾額。1995年4月，順江樓被余姚市委市政府命名為首批愛國主義教育基地之壹，2011被列為浙江省省級文物保護單位。