1372年(明洪武五年),宋公爵盛豐在蘭州以西7裏處修建了黃河浮橋,這就是中山橋的前身。
1376年(明洪武九年),衛國公爵鄧禹將此橋移至城西10裏,稱為鎮遠橋。
1385年(明洪武十八年),蘭州衛指揮將浮橋移至現在的位置——白塔山腳下。至今仍有蘭州建橋遺留下來的三根重10噸、長5.8米的鑄鐵舟柱,稱為“將軍柱”。柱上鑄有洪武九年八月吉日。”
1906年(光緒三十二年),時任甘肅洋務總經理的彭英甲向朝廷發布公告,批準修建黃河鐵路橋。1906年10月,他承包給德國泰來洋行Kayous,總價165000銀。美國人寶本和德國人Dro進行技術指導。合同規定:“鐵路橋。黃河鐵路橋建成後,實際消耗白銀306690兩。最初命名為蘭州黃河鐵路橋。
1942年,為紀念孫中山先生,更名為“中山橋”。
1949年8月26日,解放蘭州戰役中,炮彈擊中兩輛過橋的國民黨軍車,車上彈藥爆炸。大火燒毀了木橋橋面和橋南端的壹些縱梁。軍管委組織300多人晝夜搶修。雖然修復後交通恢復,但人行橋橋面搖搖晃晃,難以承擔日益繁忙的運輸任務。
1954年,人民政府對鐵橋進行了全面的整修加固,並增設了五道弧形拱梁,使鐵橋看起來經久耐用,氣勢磅礴。
2006年,國家文物局將中山橋定為第六批全國重點文物保護單位。"