中山橋的前身是黃河浮橋。黃河浮橋建於明洪武五年(公元1372年)，由宋公爵盛豐在蘭州以西7裏處修建。明洪武九年(1376)，衛國公爵鄧禹將此橋移至城西10裏，稱為鎮遠橋。明洪武十八年(公元1385年)，蘭州衛命將浮橋移至現在的位置——白塔山腳下。至今，蘭州仍留有三根重10噸、長5.8米的鑄鐵舟柱，稱為“將軍柱”。柱子上鑄有“洪武九年，陳冰歲，黃道吉日八月，連長司衛國在浮橋南面築柱，用鐵索綁120尺”的字樣。
當時的黃河浮橋使用24艘大船，在黃河上方水平排列，船間距5米，用長木連接，用木板鋪成，用柵欄圍起來；南北兩岸有4根垂直的鐵柱和45根大木柱，還有兩根各長50米的粗鐵索將船固定在河面上。冬天黃河結冰就拆，春天重建浮橋。“三月看桃花冰，盤河橋上冰青柳色”這句詩，就是當時浮橋的寫照。蘭州古八景之壹的“龍墜蛟龍”也是指這種景色。
光緒三十三年(公元1907年)，在蘭州道彭英甲的提議和甘肅巡撫雲升的贊助下，清政府動用國庫306690元，由德國商人泰來、美國人保本、德國人德魯埃作為技術指導，將浮橋改造成長233.3米、寬7.5米的黃河第壹鐵橋。最初的名字是”。
鐵路橋建成時，卡友的勞動保護保障80年。然而僅僅持續了42年，也就是1949年，鐵路橋被戰爭中斷了11個日夜。緊急搶修後雖然恢復了交通，但人行橋橋面搖搖晃晃，難以承擔日益繁忙的運輸任務。1954年，人民政府對鐵橋進行了全面整修加固，增設了弧形鋼架拱梁，使這座古老的鐵橋不僅堅固耐用，而且雄偉壯麗。
隨著時間的推移，蘭州市建成了10多座外形美觀、結構新穎、技術先進、氣勢非凡的鐵路公路橋梁。這座橫跨黃河的古老鐵橋已經不是連接黃河南北的唯壹通道了。盡管如此，人們仍然對它贊嘆和欣賞，因為它像壹部史詩，鐫刻著蘭州從古至今的歷史變遷，展示著蘭州人燦爛的藝術畫卷。