清鹹豐三年（1853）小刀會占上海縣城，殺知縣袁祖惪，城內富戶土紳避人租界，而渭仁仍留城內，傳有二說：壹說他難舍大量文物古玩書畫碑帖，遂資助小刀會得以保全；壹說小刀會首領之壹潘起亮，是徐家馬夫，曾被上海縣所捕，系渭仁保釋，小刀會入城，保其財產，而禁於豫園萬花樓，小刀會不少文告均出其手。鹹豐五年（1855），清兵入城，渭仁自恃曾收殮被殺的知縣，並經常寫詩以明心跡。然官府仍加“從賊”之罪，對其勒索甚巨，終被下獄，死於獄中。