嵩溪文風素盛。清康熙年間，徐敬臣創立嵩溪詩社，後有徐思祚、徐思琛等人邀會詩人友好，吟詠揣摩。又有徐宗義、徐宗璧、徐宗沛相繼主其事，詩社延續120余年。嗣後，有徐謝卿、徐玉成、王碧王與、徐子剛、邵孔方等人，工詩詞，繼嵩溪詩社遺風。
此地書畫、詩文知名者，代出不窮。清徐子靜，善人物、花鳥，均生動有致，傳世者頗多。其《觀潮圖》，展現了翻滾的江潮與長街上前呼後擁的人流，氣勢非凡，而樓閣之上的達官貴人則悠閑自得。又擅畫墨龍，潑墨淋漓，似有煙波出沒，精妙入神。近代的徐品元，少好學，誦書輒達雞鳴。廿歲金華府試第壹，繼又兩次應舉中選，皆遇丁憂而罷。遂絕意仕進，設教於本縣與金華、義烏、東陽、諸暨、衢州等地。居常處草野而不忘國事，曾多次上書論政，與康有為等有信件往復。提倡男女平等，反對婦女纏足。博通經史，善詩文，工書法。撰有《嵩溪筆耕集》、《課徙草》、《童子調》等。徐菊傲，幼聰慧，致誌於畫。後與鄭義門鄭子琳等三人，結為書畫四友，梅、蘭、竹、菊，人各擅其壹。壹生專畫寫意墨梅，老桿瘦枝，巨細疏密有致，筆法蒼勁。徐心燈，善書法，尤愛畫竹。且收藏甚富。徐察人，善詩文，工書畫。書法以隸篆作行草而自出心裁，繪畫典雅清新，以蘭竹尤長，兼作山水。詩文喜賦諷刺詩，以諷剌舊時政治和權貴。徐心煉，書法學顏魯公，豐體遒勁，兼擅大寫意蘆雁。徐心泉，擅壁畫人物，山水、花鳥。尤精於木雕。有楊林村花廳牛腿、鬥拱、雀替刻件傳世。其牛腿刻有歷史人物百余人，按歷史故事穿插，動作各異，神態生動，構圖精巧，刀法純熟。徐天許，擅花鳥，尤精鷹鷲，亦作人物。先後執教於沈陽師範學院、鞍山師範學院和中央工藝美術學院。
還有清末民初的徐壹芬、徐心安父子倆，民國時期的徐式卿、徐芾棠兄弟倆，均工書法，傳世之作頗多。村人王郁生僑居加拿大，系影片《畫皮》的編劇。
建嵩溪學社，村幹部徐承章、徐祖勇、徐承偉等均為學社理事，有社員數十人，分詩文、書法、繪畫、科技等組，文藝愛好者常砌磋詩書畫，舉辦習作展，開展有益的活動。浙江詩詞學會成立時，嵩溪學社應邀派代表邵繼才出席，成為該會唯壹的村辦的農村團體會員。