最早的硯臺是由研磨機演變而來，出現在新石器時代。在安半坡邵文化遺址出土的石磨和磨架中，有的石磨上有凹槽和臼，在凹槽和臼中還殘留有磨過的顏料痕跡。
1976安陽殷墟木壕墓出土的玉器中，有用於配色的彩板。這些彩板、磨盤、石磨可能是硯的前身。洛陽西周墓出土的長方形石板，前寬後窄。石板磨光，朱砂留在地上。這種板巖調色盤的造型和用途與後來的硯非常接近。
65438年至0975年，湖北雲夢睡虎地秦墓發現木簡、墨汁、磨石，顯示戰國晚期有硯臺磨制。硯在漢代被廣泛使用，代代相傳的數量也很多。
1973年，湖北江陵鳳凰山文帝十壹年壹座墓中也出土了筆、墨、硯、木簡(無字)、銅針等全套文具。很多漢墓都出土了硯臺，說明當時的墨水需要用磨石研磨，證明硯臺是最早的。
從出土資料來看，漢代的硯臺既有陶的，也有石的，多為圓形、三足形，足上有雕花、獸足、簡形、龜形硯臺。
魏晉時期，隨著紙張的廣泛使用，硯臺的種類和品種也有所發展。除了陶硯和石硯之外，還出現了瓷硯，硯的形狀有長方形和圓形。
隋唐時期，制硯技術發展迅速，硯材種類比前代多。硯在唐代被廣泛使用，並產生了著名的產品，如端硯和佘艷。到了宋代，硯臺更加流行。到了明代，中國逐漸形成了四大名硯——段、於、陶、(紅綾和後來並列)。清代，隨著社會經濟的發展，硯的生產達到了空前的繁榮。