趙孟堅之父名與采，官朝奉郎，孟堅以父蔭入仕。有文載他“雖系王族，但家境清寒”似不確。寶慶二年（1226）中進士，授集賢殿修撰。歷官湖州掾、諸暨縣令。後為言官所攻，遂退隱原籍，以詩畫自娛。時有楊嗣翁善琴，趙仲文善棋，張溫父（名即之）善書，世人遂以孟堅之畫，合稱四絕藝。至景定初年（1260），孟堅復起官翰林學士，當與權臣賈似道有關。在他的詩集中，贈賈之詩不壹而足，既賀賈之納妾，又贈所繪梅花以示謝意，當臨死前，並以珍藏之定武本蘭亭帖贈賈。孟堅盡管與賈似道關系較密切，但他的仕途並不得意，這當與其始終不脫名士習氣有關。平日效仿魏晉名士的生活作風，修雅博識，有時如北宋米芾，東遊西適，常於舟中挾雅玩之物，興到吟弄，以至廢寢忘食。《檇李詩系》載：趙子固“好飲，醉則以酒濡發，歌古樂府，自執紅牙以節曲。”他嗜好收藏書畫古物，遇稱意之物，雖傾囊易之而不惜。他曾得姜夔收藏的書法珍品五字不損本蘭亭帖，歸家時，風作舟覆，其“被濕衣立淺水中，手持禊帖示人曰：‘蘭亭在此，余不足惜也。’因題八字於卷首雲：‘性命可輕，至寶是保。’”其酷嗜收藏到了幾乎瘋狂的地位。景定元年端午日，與好友周密等人各攜書畫，放舟西湖，相與評賞，酒後高歌《離騷》，並指林麓幽處，高呼此即荊浩、董源（均為五代畫家）得意之筆。周密稱：“噫！近世求好事博雅如子固者，豈可得哉！