安思遠1929年7月13日出生於美國。1948年安思遠為壹家經營陶瓷的古董店工作，在此得到經營亞洲藝術品的古董商貝尼的賞識，從中學習了中國陶瓷、家具和繪畫等。 就讀耶魯大學時，指導晚清書畫研究的王方宇為他起了中文名“安思遠”。王方宇不僅教安思遠中國藝術知識，還教他為人為商之道。而龐耐則給予安思遠資金和渠道支持，讓安思遠有更多機會去了解中國陶瓷、家具和繪畫等，以及日本、印度、泰國等亞洲藝術。
1960年，他和古董商詹姆斯高德合夥在紐約開了安思遠高德畫廊，經營英國家具、工藝品以及亞洲藝術。1981年安思遠大膽購藏了1500件印度藝術品，其中半數很快出售，他也成為最具權威的國際亞洲藝術古董商。 經過多年的鉆研和實際運作，他成為收藏中國古代藝術品的泰鬥，是美國及整個西方藝術界公認的最具眼光和品位的古董商兼收藏家，有“中國古董教父”之稱。安思遠的中國藝術品收藏中最著名的是碑帖和明清家具收藏，因其頗具建樹的明式家具收藏被稱為“明朝之王”。而讓安思遠與中國產生淵源的還包括其收藏的北宋拓《淳化閣帖》六、七、八三卷及第四卷的轉手往事。
1996年9月，安思遠攜北宋拓四卷《淳化閣帖》來到北京，在故宮博物院進行了展覽。啟功和國內專家對這四卷法帖進行了鑒定，壹致認為是宋刻宋拓無疑。故宮博物院通過王立梅女士溝通，希望能夠促成其他文物交換，未果。2003年4月初，上海博物館邀請王立梅代表上海博物館和安思遠商談購買《淳化閣帖》壹事，終以450萬美元成交。
2000年，安思遠發現自己在港澳地區購買的壹尊五代王處直墓漢白玉彩繪浮雕武士石刻是被盜文物後，主動與中國政府取得聯系，並隨即無償捐贈中國政府。
2014年8月3日辭世，享年85歲。