色粉畫的歷史可以追溯到舊石器時代，當時的人們用石粉研磨成的顏料在洞穴中畫他們熟悉的動物、勞作等場景，留下了許多神秘而久遠的視覺記憶。到了中世紀時期畫家們就有用色粉塊來作畫的了。文藝復興時期的大師們（如達芬奇、米開朗基羅、荷爾拜因等）用礦粉制成的色粉畫筆來畫他們的創作稿和習作，不過這時的色粉畫大都是單色的，類似素描，色彩比較單壹。到了十七世紀，色粉畫由於眾多畫家的實踐，逐漸從單色發展到多色，並運用色彩的關系來處理畫面。
人類作畫所使用的顏料中歷史最悠久的當數固體色粉材料，早期使用的白堊和紅堊可以說是色粉筆的雛形。堊筆就是粉筆，從歐洲文藝復興時期許多大師傳世的作品中，可以看到很多用白堊或紅堊畫的素描。其中有-些還突破了單色的範幬，添加上壹兩個簡單的色彩，人們把它稱為“著色素描”。這種“著色素描”，就是向色彩畫演變的開始。不久便發展成為壹種叫“三色粉筆技法”的繪畫。即使用少數的色彩（大多是用黑色、血紅色和白色的粉筆），在塗有某種底色的畫紙上直接作畫。
從現有的資料看，早壹點的如意大利的路加·西諾列利（1445？-1523）畫的《雙人體》。稍後如雅各布·巴薩諾（1515-1592）畫的《站立的老人》等都屬於這壹類作品。這種三色粉筆技法，雖然只使用三四種顏色，但它比著色素描又有很大的變化，壹是出現從素描到色彩畫樣式的最初轉換，同時又保留了素描的筆觸特征和疏松感等特點，初步形成有別於其他畫種的獨特個性。二是以簡單的幾支色筆，在底色上通過不同形態的筆觸，去組織遠比這幾種顏色要復雜得多的色彩關系。出現了色粉畫藝術的那種以有限的色筆直接表現萬千色彩的基本特征。因此，三色粉筆技法的出現，可以視作色粉畫藝術的誕生。
而後，由於色粉畫的材料日趨完備、技法亦臻成熟，色粉畫作為獨立畫種的地位在這壹時期被確立，並迅速傳遍歐洲。十八世紀，法國、英國、意大利等國的畫家（如布歇、夏爾丹、柯特、羅薩巴、卡麗埃拉等）運用色粉來表現肖像畫和風俗畫等，色粉畫的運用範圍進壹步拓寬，使得這壹時期的色粉畫空前繁榮。十九世紀色粉畫在歐、美等國得到進壹步發展。隨著印象派繪畫的興起，色粉作為色彩畫的壹種形式更受人們的關註。德加、威雅爾、卡薩特等大師把色粉畫這壹古老而又年輕的畫種，推向藝術的高峰，並留下了許多不朽之作，如《浴女》、《明星》、《鏡前》等。
色粉畫在西方傳統深厚，與油畫、水彩畫等畫種地位相當，從文藝復興時期的達·芬奇、米蓋朗基羅，到十九、二十世紀的德拉克洛瓦、米勒、馬奈、雷諾阿、德加、卡薩特等大師都留下過很多經典色粉畫作品。