據史書記載和學術考證，駱駝城為西漢表是縣地震後前涼於距縣城西南20公裏處新建的治所。西晉滅亡後，割據河西的前涼張氏政權為安置關內來投的難民，在駱駝城故址建郡，並以東晉王朝都“建康”來命名，借此標榜效忠晉王室來爭取北方漢人的支持，成為戰亂給駱駝城歷史烙下的特殊印記。此後前涼於公元376年被前秦所滅，建康郡首次易主。淝水之戰前秦苻堅失敗後，其大將呂光乘機占領河西擁兵自立，次年又鎮壓了以張大豫、王穆為首的前涼殘余勢力在建康郡舉行的叛亂，並於公元389年建立後涼，委任參軍段業為建康太守。第二年，因呂光濫殺無辜，盧水胡人沮渠、蒙遜擁立段業為主，以建康郡為根據地糾集各部族起兵反呂，四年後占領張掖建立北涼，使駱駝城成為北涼政權的發祥地。沮渠、蒙遜自段業自稱涼王後，為與西涼李暠爭霸，於公元405年增築了建康郡城。在歷經北魏、北周250年後至隋代被撤銷建置降稱福祿縣。唐武後證聖元年（公元695年），大將王孝傑在此置建康軍，成為甘、肅兩州之間的軍事重鎮，郡與軍雖壹字之差，但反映出地方行政與軍事管制兩種管理體制，軍有大軍、中軍、小軍之分。大軍的建置是萬人左右，中軍五千人左右、小軍三千人左右。建康軍是中等軍，最多時，屯兵五千三百人。唐大歷元年（公元766年），建康軍被吐蕃攻陷後，慘遭屠掠，後荒廢，從此淪為牧人晚間的宿營地，被當作天然的駱駝圈，風靡壹時的故都由此得名駱駝城沿用至今。
神秘的駱駝城曾讓後人產生了許多遐想。相傳，西夏王李元昊在攻打由回鶻駱駝王子鎮守的駱駝城時，因城池堅固久攻不下，便命人用亂木、骷髏鎮住了從山上流向駱駝城的“臭門泉”。斷水後駱駝王子支持不住，以土丘水缸假制米山面嶺、油缸醋井來迷惑城外重兵，擺出誓同來敵壹決死戰的架勢，而在背後則調兵差民開挖了壹條自城中直通往今羅城紅寺坡的地道。壹個月黑風高的夜晚，駱駝王用餓馬搖鈴、懸羊擂鼓的手法掩敵耳目，他自己則率領城中軍民老少潛入地道悄然遠遁。