在領主中，忠義原本是安房聖山的領主，因為他娶了大久保忠義鄰居的孫女。大久保長安事件曝光後，1614年重陽節(常青19年)更是被占領，領土被大大沒收，只剩下三萬塊石頭在路暢鹿兒島，因為關元之戰被封，後來，
1622年(元和八年)，年僅28歲的鐘毅英年早逝，在大悅園火化。由於忠義主室沒有子女，側室出生的三個兒子不被江戶幕府承認為繼承人，領土被幕府收回，交給了鳥取藩。