潘祖蔭出身名門，家族出身官宦部門。爺爺爺爺都是大官。到了潘祖蔭，也去當了狀元，在那裏當了采花人，在翰林院被封號。說起潘祖蔭和左，他們之間沒有什麽聯系。當時，左在官場上得罪了壹些政敵，這些人上告京城。而且驚動了鹹豐帝！鹹豐帝下令調查左，說:“如果左有任何違法行為，他將被當場處罰。”就在這時，左的腦袋危在旦夕。朝廷內外無人敢為左求情。只有左的好朋友郭松濤為左正廳四處奔走，最後讓潘祖蔭傳了壹個密奏給鹹豐。
潘祖蔭深知左在平定太平天國中的巨大作用，不願白白犧牲壹國之才。於是把郭嵩燾的折子給了鹹豐帝。暗劇裏有壹句名言:“天下壹日不能無湖南，湖南壹日不能無左”！左也因此被鹹豐赦免，後來仕途越走越順。左曾奉詔進京，到潘祖蔭家下跪謝恩！潘祖蔭自然是大方的！左說:“我不是跪在妳身上，我是跪在奏折上說，‘國家不能沒有湖南，湖南不能沒有左’。”
1890年，潘祖蔭奉命前往順天府救災。此時，潘祖蔭病重。幾天後，潘祖蔭因病重去世，享年61！可以說，潘祖蔭的仕途走得很穩，而且是平穩落地，沒有卷入晚清的政治鬥爭！