據《楊氏族譜》記載，大園楊氏壹族系唐龍虎大將軍、威遠侯楊再思嫡派玄孫金紫光祿大夫楊光裕之後裔。《綏寧縣誌》載：“綏寧，古荒服也，唐時稱徽州，羈縻不已。”《宋史·諸蠻傳》亦載：“誠徽州，唐溪峒州，宋初，楊氏居之，號十峒首領，以其族姓，散掌州峒。”指的就是唐懿宗年間楊再思守沅州（今芷江），創建五溪十峒，眾尊其為十峒長吏。綏寧也由此被封建王朝列為“苗疆要區”。大園原名大榮棗子園，300多年前的大園山高林茂，人煙稀少，野獸兇猛。憊於征戰的楊光裕在康熙年間遷居此地，以山為骨、水為脈，繁衍子孫，逐步形成了規模龐大、古老神奇、獨具特色的苗族民居建築群。