我國自古以來就使用十進制計數法，壹些實用的計量單位也使用十進制，所以很容易產生小數即小數的概念。第壹個用文字表達這個概念的人是魏晉時期的劉徽。在計算圓周率的過程中，他用了尺、寸、分、厘米、毫、秒、突等七個單位。對於下面突然變小的單位，不再命名，統稱為“微號”。
宋元時期，小數的概念進壹步普及，表達更加清晰。楊輝《每日算術》(1262)中有換算二斤的公式:“若求壹，則隔六二五；二、退位125”，即1/16=0？0625;2/16=0?125。這裏的“隔位”和“退位”已經有表示小數點位置的意思了。在秦中，單位放在表示整數單位的芯片下。比如-ⅲ-ⅱ表示13.12英寸是世界上最早的十進制表示法。