斜街的形式與元代修通惠河漕糧貨物之運有最直接的關系，所以煙袋斜街的繁華發軔於鼓樓西大街。元世祖忽必烈修建大都，布局是“前朝後市”，即從永定門到三大殿是朝，鐘鼓樓後是市場，更由於開鑿壹條360裏的“通惠河”，接通南北大運河，使南方貨船直接到大都靠岸，各種商品源源不斷供應大都市場。
通惠河建成後，積水潭就成為了港口碼頭。大米、茶等源源而至，附近船舶如雲，商棧林立。為使碼頭至鼓樓前有壹通道，遂在積水潭至鼓樓之間修築了這條斜街。從布局看，元大都的建設在世界建築史上是獨辟蹊徑的創舉，城呈長方形，城內東西、南北各有九條幹線，街道寬直整齊。惟德勝門至鼓樓這條幹線是斜的。但若以實用眼光看，這條斜街卻非常實惠，解決了交通急需，縮短了距離，因而斜街不但是北京城內惟壹最早的斜街，也成為當時這壹帶運輸貿易的生命線。
明代以後，城市中心南移，通惠河水道開始淤積堵塞，運糧船已不能駛入積水潭。明清兩代雖因漕運的需要多次疏通，然終無復當年之貌。但是斜市街鼓樓西大街包括煙袋斜街卻基本保持著六百多年前的格局和模樣。 鼓樓西大街和煙袋斜街在元代稱斜街市，其繁華有賴於兩個方面：壹是東西達二裏之寬的積水潭，吞吐轉運南北貨物；查《元史·郭守敬傳》有“舳艫蔽天”之描述，可見當年之盛況。其二是建於元朝至元九年公元1272年的鼓樓，當時稱為“齊政樓”，又緊臨什剎海後海後門橋碼頭，也是元代遵循《禮記》“前朝後市，左宗右社”所以元大都宮殿在城南，鐘鼓樓商業區在城北所設定的商業區。元代地方誌《析津誌》雲：“齊政樓，都城之麗譙也”，“此樓正居都城之中”，如果復原元大都平面圖，我們就可以看到，鼓樓加上北面的鐘樓確為城之中心。所以《析津誌》稱之為元大都中“富庶殷實莫盛於此”之地，鼓樓“東南轉角街市，俱是店鋪”，樓西壹帶“率多歌臺酒館，有望湖亭，昔日皆貴官遊賞之地。”樓左右壹帶則“俱有果木、餅面、柴炭、器用之屬。”
明初換都北京，明成祖仿效歷代皇朝做法，為保持穩定，遷來南方大批商賈富戶。由於積水潭壹帶風景幽靜，所以達富貴人在沿岸紛紛修建別墅，因而在連接積水潭和地安門外商業區的斜街上，不僅維持了斜街市南端的繁榮，還應運而生出現壹些為達官貴人、文人士子宴飲遊樂服務的酒樓。從史料記載中可以查到明代嘉靖年間就出現了有名的天香樓。盡管明中期以後通惠河淤塞、積水潭面積萎縮，交通貨運逐漸改成陸路，但仍然沒有影響斜街商業區。當時北方少數民族商人頻繁出入北京，大多居住於德勝門、安定門壹帶，這很可能是離鼓樓斜街商業區較近的緣故也可能是當時規範指定他們居住之地，自然也方便他們在斜街買賣貨物。所以我至今懷疑德勝門外馬甸壹帶就是當年伊斯蘭商人的居住之地，因為至今馬甸仍是回族較集中的居住區。
總之，明代城中心南移，碼頭不存。使斜街也南移，盡管不如元代繁華，但有壹個很明顯的標誌就是繁華中心也變為今天的煙袋斜街壹帶。這為清代和民國時煙袋斜街的興盛和繁華奠定了最重要的基石。
滿族以少數民族入主中原，嚴格規定商業娛樂不得在內城，由於清朝不像歷代那樣，取得統治地位，便把前朝皇城焚毀；清朝完全在明朝內外城建都，所以格局基本未變。因而鐘鼓樓商業區仍然保存下來，盡管清代已不再依靠積水潭的水路碼頭。 鐘鼓樓商業區的保存下來，很大程度是因為積水潭尤其是什剎海形成了園林景區。皇城圈的北海水域平民百姓甚至達官貴人均不得涉足，所以各階層人士便把什剎海當成了休閑宴飲的好去處。壹些王公也依此而建府邸，還有壹些漢人權要的私家園邸也紛紛擠進，壹時使什剎海竟成了王公貴族、達官顯赫的雲集之處。貴族達官階層自然豪奢講排場，開支不菲，這都促成了鼓樓壹帶商業區的畸形發展。文人學士也要到此處遊玩，除此之外便是南城的陶然亭，因而如光緒年間的會賢樓、望湖樓、慶雲樓等著名酒樓應運而生，特別是夏季斜街的荷花市場更是車水成龍、喧囂異常。
從可以考證的資料看，煙袋斜街最繁盛紅火的時間是清代光緒年間，這個名稱大約也是此時叫開的。斜街裏出現多家飯莊、酒樓、煙鋪、茶館、浴池等。特別是出現了以經營煙具為主的“同臺盛”和“雙盛泰”兩個店鋪，據說兩店老板曾為那拉代氏通洗水煙袋，於是聲聞京華，斜街東口便出現了以煙袋作店幌子的煙袋商店，這兩家店在斜街中名聲、氣派最大，幌子也最醒目，於是老百姓們便稱之為煙袋斜街（《北京地區經濟史料》，燕山出版社1990年版）。
有些文章談到煙袋斜街或以為是為平民百姓服務的，其實不然。煙袋斜街是典型的為貴族官宦服務的高檔商業區。比如會賢樓、慶雲樓之類；很有氣派，檔次也高，平民百姓是不會涉足的。莫要小看這條既短又窄的斜街，從最西端銀錠橋到最東頭煙袋鋪東口據說總長為390米，這裏竟是古都西裝裁剪的發源地——斜街東口有壹家“都不昆西裝店”，壹般平頭百姓是不會做西裝的，當然西裝店的出現最早也在清末，但由此可見它開在此處也是緣於煙袋斜街是高檔商業區。比如宣統皇帝溥儀的老師、英國人莊士敦就住在今天地安門油漆座胡同1號。他要做西裝，恐怕是會光顧“都不昆西裝店”的吧？
煙袋斜街的平民化是在辛亥革命清廷退位之後，居住在什剎海附近的王公貴族、八旗子弟失去俸祿，又肩不能扛手不能提，於是紛紛開始變賣古玩字畫，這使得煙袋斜街重新定位，又壹次畸形發展，經營古玩的寶文齋、敏文齋、繡古齋、抱璞山房等紛紛落戶斜街。那時溥儀還在故宮，仍然使用宣統年號，也有宮裏的太監在地安門開設古玩店，貨源都是盜取宮內（見溥儀《我的前半生》，群眾出版社1964年版）。那時老北京壹提“小琉璃廠”便指此處。這時開始形成民俗商業街。
《宛署雜記．廊頭》
明沈榜《宛署雜記．廊頭》條載：“洪武初，北平兵火之後，人民甫定，至永樂改建都城，猶稱行在，商賈未集，市廛尚疏，奉旨，皇城四門，鐘鼓樓等處，各蓋鋪房，除大興縣外，本縣地方***蓋廊房八百壹十間半，召民居住，店房十六間半，召商居住，總謂之廊房……”以下尚有修建大、中、小房及各承租人納鈔若幹的記載，其中記有：“……海子橋西大房六十四間，……鼓樓西大房六十八間”等，應是明初地安橋及鼓樓西側官建房舍的最早記載。 現煙袋斜街中段路北有廣福觀，為明天順三年（1459年）彭姓太監舍宅始建，應為此地現存的早期建築。明代，管理天下道教的“道錄司”曾設於此觀。
明李東陽《西涯雜泳十二首》有“泳廣福觀”詩：“飛樓淩倒景，下照清澈底，時有步虛聲，隋風渡湖水。”李西涯家位於今什剎海前海西南端（今三座橋壹帶），當時可以看見廣福觀在水面上的倒影，可知廣福觀前尚無房屋掩擋，倒影映於水面，似也說明煙袋斜街之前身形成於明代中葉以後。
清雍正年間重修，改名孚佑宮。光緒九年（1883年）改建山門，民國後又復稱廣福觀。觀坐北朝南。依次有山門、前殿、後殿及西跨院（又名白雲仙院）。2007年隨著煙袋斜街特色商業街建設工作的推進，廣福觀開始騰退、修繕，2008年對外開放