楊揆壹出身書香世家，自幼好學，精書法，尤擅篆字，公余常由其妻淩氏鋪紙研墨，自己揮毫作貼。訪日期間曾書大量條屏、中堂遍贈日本軍、政、商、學界名人。曾著《揆壹大事記》，後散佚。他酷愛古玩、花木、名人書畫、金石印章，還曾千金買壹件書畫。古玩、花木、名人書畫、金石印章.......不惜千金搜求。日常喜穿西服，聽京劇，不嗜煙酒，恃才傲物，清高自詡。