嵩溪文風素盛。清康熙年間,徐敬臣創立嵩溪詩社,後有徐思祚、徐思琛等人邀會詩人友好,吟詠揣摩。又有徐宗義、徐宗璧、徐宗沛相繼主其事,詩社延續120余年。嗣後,有徐謝卿、徐玉成、王碧王與、徐子剛、邵孔方等人,工詩詞,繼嵩溪詩社遺風。
此地書畫、詩文知名者,代出不窮。清徐子靜,善人物、花鳥,均生動有致,傳世者頗多。其《觀潮圖》,展現了翻滾的江潮與長街上前呼後擁的人流,氣勢非凡,而樓閣之上的達官貴人則悠閑自得。又擅畫墨龍,潑墨淋漓,似有煙波出沒,精妙入神。近代的徐品元,少好學,誦書輒達雞鳴。廿歲金華府試第壹,繼又兩次應舉中選,皆遇丁憂而罷。遂絕意仕進,設教於本縣與金華、義烏、東陽、諸暨、衢州等地。居常處草野而不忘國事,曾多次上書論政,與康有為等有信件往復。提倡男女平等,反對婦女纏足。博通經史,善詩文,工書法。撰有《嵩溪筆耕集》、《課徙草》、《童子調》等。徐菊傲,幼聰慧,致誌於畫。後與鄭義門鄭子琳等三人,結為書畫四友,梅、蘭、竹、菊,人各擅其壹。壹生專畫寫意墨梅,老桿瘦枝,巨細疏密有致,筆法蒼勁。徐心燈,善書法,尤愛畫竹。且收藏甚富。徐察人,善詩文,工書畫。書法以隸篆作行草而自出心裁,繪畫典雅清新,以蘭竹尤長,兼作山水。詩文喜賦諷刺詩,以諷剌舊時政治和權貴。徐心煉,書法學顏魯公,豐體遒勁,兼擅大寫意蘆雁。徐心泉,擅壁畫人物,山水、花鳥。尤精於木雕。有楊林村花廳牛腿、鬥拱、雀替刻件傳世。其牛腿刻有歷史人物百余人,按歷史故事穿插,動作各異,神態生動,構圖精巧,刀法純熟。徐天許,擅花鳥,尤精鷹鷲,亦作人物。先後執教於沈陽師範學院、鞍山師範學院和中央工藝美術學院。
還有清末民初的徐壹芬、徐心安父子倆,民國時期的徐式卿、徐芾棠兄弟倆,均工書法,傳世之作頗多。村人王郁生僑居加拿大,系影片《畫皮》的編劇。
建嵩溪學社,村幹部徐承章、徐祖勇、徐承偉等均為學社理事,有社員數十人,分詩文、書法、繪畫、科技等組,文藝愛好者常砌磋詩書畫,舉辦習作展,開展有益的活動。浙江詩詞學會成立時,嵩溪學社應邀派代表邵繼才出席,成為該會唯壹的村辦的農村團體會員。