在香港開埠初期，不少印度水手與士兵喜歡在此聚集擺賣貨品，當時香港人已喜歡把印度人稱為“摩羅差”（摩羅是指用頭巾纏發，信奉錫克教的印度人、巴基斯坦人），因此這條街便被稱為摩羅街。至於英文名，亦同樣與印度人有關。“Lascar”源指軍隊，其後成為在英國殖民地駐守的印度士兵的統稱。
摩羅街自1920年代至1930年代起，便已經是壹個舊貨買賣市場。其所售賣的古董，除了昂貴的藝術品外，也有其它雜貨，包括古董電器、舊玩具、舊明信片與海報等，是喜愛懷舊物品人士尋寶的好地方。
由於摩羅街的歷史特色，在旅遊刊物都有介紹，國際著名，所以吸不少中外遊客來參觀、購物及拍攝，也吸引古不少古董藝術店在此，及鄰近荷李活道開店，成行成市。
被俗稱作貓街的原因
街上的地攤有時會售賣來歷不明的貨物，在香港俚語中稱為“老鼠貨”，並以「貓」比喻蹲在地攤前選購上述貨物的顧客。摩羅街是中國“剩余和終結”的意思，它和旁邊的荷裏活道壹樣，都滿是古董和古玩店，絲綢地毯、中式家具、明朝陶制騎兵和毛主席像章等工藝品，應有盡有！