廣州火車站原址位於廣州東南角大沙頭，原名大沙頭火車站，建於1911，是廣九鐵路華段的終點站。
民國26年(1937)國民政府在廣州開始興建黃埔港，並於1937年6月開始興建從粵漢鐵路西聯站(現塘西站)經沙河、石牌、魚珠至黃埔港的黃埔港支線。
1937年7月7日，盧溝橋事變發生，中國抗日戰爭全面爆發。1937年8月，國民政府同意連接廣九、粵漢公路，以便獲得英美援助，方便向內地運送援助物資。
當時黃埔港支線尚未鋪設，所以聯絡線是利用已建成的黃埔港支線路基修建的。從8月鋪軌到石牌1937，與廣九鐵路接軌，當時稱為廣北聯絡線。從此，粵漢鐵路與廣九鐵路相連。
抗日戰爭結束後，為配合粵漢鐵路局對粵漢鐵路、廣茂鐵路、廣九鐵路的綜合管理，從廣北聯絡線雲路至廣九鐵路永村修建了壹條“雲永聯絡線”，使粵漢鐵路旅客列車可直達大沙頭火車站。大沙頭火車站擴建為廣九、粵漢旅客列車始發站，並更名為廣州東站，成為廣州最重要的客運火車站。
新中國成立後，廣九鐵路中國段更名為廣深鐵路，廣州東站於1951更名為廣州站。
1953年，廣州南站至石圍塘站鐵路輪渡建成投入使用，使廣三鐵路的車輛與粵漢、廣九鐵路實現了跨線。1954年，為了讓廣州南站和廣鐵的列車不經過廣州北站(現塘西站)的彎道運行，縮短運行距離和時間，廣州鐵路局修建了連接廣北聯絡線流花橋和粵東鐵路廣州西站的流花橋聯絡線，並在廣北聯絡線上設置流花橋線車站，即廣州站的前身。
隨著1957武漢長江大橋建成，韓晶鐵路、粵漢鐵路並入京廣鐵路，1960廣州西南大橋(即珠江大橋)建成，廣鐵與京廣鐵路、廣深鐵路接軌，廣州火車站進壹步發展成為往返京廣鐵路、廣深鐵路、廣茂鐵路的三線旅客列車，旅客越來越多。當時廣州鐵路樞紐的其他車站以貨運為主，所以廣州站成為廣州最重要的鐵路客運站，客流壓力極其沈重。
早在20世紀50年代，廣州市政府就已經決定修建廣州火車站，但由於當時中國的經濟問題，建設被推遲了。
1960年2月，鐵道部決定新建客運站，經廣州市政府批準，設立劉樺大橋。同年3月1開工建設。到第二年3月，站場和站前廣場的大部分土石方工程已經完成。但由於大躍進運動對我國國民經濟造成的損害，中央政府減少了建設投資規模，新站工程被叫停。
1963，廣州鐵路局上報復工請求。到1967，國家批準了這個計劃，但由於文革的幹擾，未能開工。在此期間，為應對不斷上升的列車密度，流花橋線車站於1965升級為讓行站，並開行部分旅客列車。
1971，廣州鐵路局再次申報，獲批大中型項目。2月，1972，廣州新火車站復工；1974於4月10竣工，4月12投入運營，廣州鐵路樞紐布局相應調整。廣州新站正式命名為廣州站，原位於大沙頭的廣州站恢復為廣州東站。其客運業務全部逐步移至廣州新火車站，臨時改建為簡易公交技術準備站，原流花橋站取消。同時，廣深鐵路、京廣鐵路起點改為廣州新火車站。
4月4日，1979，30年來首趟香港至廣州直通車在廣州火車站始發。直到1998，香港到廣州火車東站的直通車廣州終點站天河區。
1981，廣州火車站增設第四個站臺，應對旅客需求的增加。
1984年9月，位於廣州火車站西北的廣州公交技術作業準備站建成投入運營，組織、檢修、準備廣州火車站始發列車，位於大沙頭的簡易客運技術站撤銷、關閉。
到1985，廣州站始發旅客列車由1975的9對、0980的15對增加到25對。
自2008年以來，廣州站被臨時改為在每年春運期間辦理省際長途汽車服務。廣深線的“和諧號”全部改為廣州東站作為終點站和始發站。
2015 165438+10月17廣州市國土資源和規劃委員會對廣州火車站地塊城市設計導則進行公開招標。廣州火車站改造工程涉及270.3億元，主要包括廣清、廣佛肇、廣佛朱江等城際軌道引入廣州火車站線路和車站的建設。平臺規模從4條12線擴大到10 20線。
由於主站廳現有設計標準不能滿足實際客流，廣州火車站改造將於2018年啟動，可承擔日均客流12萬人次，主要運營高速列車和城際動車，將其打造成現代化特大樞紐，僅保留少量普速列車，其他普速列車由新建的棠溪站運營。