首任妻子謝景蘭，兩人育有壹子趙嘉陵，後離異，1995年因車禍去世。
第二任妻子陳美琴，為香港藝人，患有精神病，1972年病發，自殺身亡。
第三任妻子弗朗索瓦．馬爾凱（Francois Marche），法國人。
晚年遭遇“妻兒奪父戰”
晚年的趙無極，雖然作品獲得市場認可，但家庭方面並不順意。趙無極在91歲時患上老年癡呆癥。1973年，趙無極認識了他的第三任妻子、法國策展人弗朗索瓦·瑪爾凱，兩人於1977年結婚。在趙無極晚年的生活裏，弗朗索瓦包辦了他的壹切。每當別人問起有關趙無極展覽、畫作銷售方面的事務時，趙無極就會說：“問弗朗索瓦，我不懂。”
2011年秋，在瑪爾凱的安排下，他離開生活了六十多年的巴黎，前往瑞士，在日內瓦湖邊住下。這次移居，瑪爾凱還帶上了趙無極400多幅價值數十億元人民幣的珍貴畫作，這也掀起壹場家庭風波。
趙無極的獨子、畫家趙嘉陵於2011年5月底以“濫欺弱者罪”在巴黎提起訴訟，稱趙無極的遷居是弗朗索瓦為獲得趙無極畫作所有權而壹手策劃的，並未征得趙無極同意。據歐洲時報稱，官司有了新進展：巴黎上訴法庭判定，趙無極的作品由其子趙嘉陵監控清點。趙無極與弗朗索瓦結婚時，協議財產分開處理，弗朗索瓦無權處置趙的產業。但是這場官司因涉及瑞士和法國兩國的法律，案件可能會繼續復雜化。