日本殖民統治時期，現在牯嶺街的所在，是臺灣“總督府”的宿舍區，庭院宅邸，街巷修然。第二次世界大戰後，日人遣返在即，乃紛紛整理家當，將字畫、古董、藏書等就地擺攤，低價出售。日本人走後，市集隱然成形。
國民黨政府敗退臺灣後，各種人員又成了舊書的提供者和消費者。於是，以牯嶺街為中心，漸漸蔓延到廈門街、福州街、寧波西街等相鄰街道，處處都有人設攤開店，販賣過期雜誌、漫畫、月歷，用過的教科書、各種雜書，乃至絕版書、線裝書、手抄本等等。最盛時期，聚集了100多家的攤商，“牯嶺街”也幾乎成了舊書攤的代名詞。擺在街邊的大大小小小、五花八門的舊書攤，只要妳想得出來的書籍，都能從書攤買到，這就是牯嶺街的特色。牯嶺街最興旺的時期，是1966年至1973年，香港的書商從大陸收購不到舊書，就到牯嶺街來買，壹大箱、壹大箱地搬走。
像什麽，抗戰前大陸出版的文學作品、學術教材、大學用書都是當時的搶手貨。文史哲類的期刊，諸如《長流》、《文壇》、《讀者文摘》等，每次都是貨剛到就被搶購壹空。文革時期的中國研究報告也是奇貨，外國人見了，二話不說，美金壹付，立刻帶走。
牯嶺街命運的轉折是在70年代初。為了整頓市容，牯嶺街舊書攤舊書店幾乎悉數遷入八德路的光華商場。這些年來，光華商場舊書店也壹路失守，從鼎盛時期的七八十家，雕零到現在的20余家。
如今，牯嶺街舊書店就像壹條“摔碎了的珠鏈”，有人說，書店是壹座城市的文化眼睛，舊書攤舊書店則如城市的眉毛，存在時不覺其重要，壹旦疏落消逝，城市的面孔又顯得空洞而冷寂。
牯嶺街舊書店沒落的原因，眾說紛紜。有學者說：現在讀書的風氣和趨向有了改變，多元化的信息來源，人和書的關系就不再那麽深刻，再也沒有人像當年那樣讀書的了。
“舊書市集”上，有壹張海報這樣問：“妳是來找舊書，還是來找自己？”對於老壹輩的臺北人來說，當年到牯嶺街是為了找書，現在到牯嶺街，可能就是為了尋找少年的時光。