小調的產生和發展經歷了很長壹段時間，《詩經》中的壹些敘事篇章催生了這壹體裁的壹些因素。漢代的和歌是絲竹伴奏的唱法形式，與同門弟子的歌(清唱劇之類)有明顯的區別，和歌可以說是小調的來源之壹。魏晉南北朝時期，民間樂府民歌以時間序列的形式出現，如《子夜四時歌》、《從軍轉五表》、《月節柳枝歌》等，從中可以看出《四季》、《五表》、《十二月》等幾首在後世廣為流傳的傳統曲調的結構原理。隋唐時期，更多的民歌被選擇提煉，成為說唱、歌舞表演的壹部分，稱為曲子，也是小調體裁的早期形式。宋元以後，隨著中國城市經濟的日益繁榮，小調進入了全面發展的成熟階段。壹方面，許多從農村傳入城市的民歌，經過藝人的演唱和加工，成為小調的壹部分。另壹方面，興起於元代的小令、三陶為了迎合市民的需要，逐漸與嚴謹的南北曲分道揚鑣，成為通俗易懂、流暢優美的小曲，至今仍保留著曲牌的名稱。