胡琴起源於唐代的西秦。馬尾胡琴出現於北宋；胡琴從元代開始成為弦樂器的專用名稱。
胡琴起源於唐代的西秦，北宋時以馬尾辮弓出現，是當時主要的弦樂器。據沈括在《孟茜碧潭》中記載，馬尾辮胡琴長柄，無味，梨形二弦，頭上有龍頭，用馬尾辮弓吹奏，其樂沈郁。北宋元豐五年(1082)，駐守北方邊疆的宋軍已經廣泛使用以馬尾辮為弓弦的胡琴。
到了南宋時期，胡琴開始流行起來。中國大量制造絲弦，也是從南宋遷都臨安(今杭州)時開始的，所以絲弦也叫“杭州弦”。
元代，少數民族文化與中原文化廣泛交流融合。這時的胡琴是在原有的基礎上，吸收了蒙古族弦樂器的特點而形成的。其形制接近今天流行的導音二胡。甘肅玉林石窟元代壁畫中，有壹種樂器，琴頸是卷的，用弓拉兩根弦。在元代，胡琴不僅用於宴會中的獨奏或合奏，還廣泛用於軍事表演活動中。自元代以來，胡琴的名稱逐漸成為弦樂器的統稱。
明代，隨著戲曲、曲藝和民族器樂合奏的繁榮，胡琴得到了進壹步發展。在《唐林秋宴圖》中，有壹個男孩用馬尾辮弓在彈胡琴、卷首、龍頭、第二弦，琴桿上已經有固定弦長的千斤。
明末清初，胡琴流傳到藏區巴塘(今川西)，深受民間藝人歡迎，取材就地取材。當時，黑仔是壹種藏族民間歌舞，因有胡琴伴奏而得名。
到了清代，除了原來的胡琴或二胡之外，又出現了四弦琴、京胡伴京劇、板胡伴梆子戲。為了配合不同的地方戲曲和表演民間器樂，不同形狀的胡琴弦樂器相繼問世，如廣東的月湖、湖南的大建、河南的部落虎、蒙古的馬頭琴和壯族的馬骨湖。
胡琴樂器表現力豐富，用不同的琴弓和指法可以深刻細致地表達音樂內容。由於它在民間廣為流傳，民間藝人創造的壹些特殊的表演技巧，如模仿各種人的音調、歌唱、說真話和大笑、自然界中鳥獸的鳴叫等，使它在表現形式和魅力上更加獨特。