拉貝在自己公寓的院子裏搭建了壹個堅固的防空洞，並準備了食物、飲料、藥品、用醋浸泡過的繃帶等物品。在防空洞旁，他撐起壹塊6米長、3米寬的帆布，在帆布上畫出黨旗——德國社會黨，上面寫著“萬字”警告日軍轟炸機:不準侵略，這是德國領土，附近居民已趕來躲避空難。
1937 165438+10月，為了最大限度地減少戰爭對平民的傷害，金陵大學董事會主席杭提議在南京設立難民區。德國國家社會主義工人黨黨員拉貝當選南京安全區國際委員會主席。安全區面積3.86平方公裏，包括金陵大學、金陵女子文理學院、鼓樓醫院、美國大使館等機構。安全區已經非軍事化，並設立了25個難民收容所。拉貝的住所就是其中之壹，歷史上被稱為“西門子難民收容所”。
根據助理韓祥林的統計，最多時有602人(302名男子和300名婦女)住在拉貝的辦公室和院子裏，其中包括126名10歲以下的兒童。這個統計不包括公司14的員工、雜工及其家屬，所以總人數在650人左右。
日軍頻繁騷擾，他們經常以搜查中國士兵的名義進入安全區。拉貝不得不呆在家裏保護難民。在如此艱難的情況下，日軍對德國國旗和納粹黨徽表現出了充分的尊重。大多數情況下，拉貝只需出示臂章或高喊“德國”、“希特勒”，就能震懾日本士兵。
為了安全區難民的生存，拉貝多方尋求幫助，並願意以南京安全區國際委員會主席的名義四處奔走，為難民乞討捐款、食品、藥品等基本必需品。
他帶領十幾個外國人與日本大使館談判20多萬難民的糧食問題。同時，他敦促英美德使館出面，向日軍施壓，最終迫使日軍同意難民區每天可以購買1000袋大米。拉貝親自拜訪英美使館官員，希望向中國難民伸出援手，最終籌得捐款21.5萬元，用於購買急需的食品和藥品。由於拉貝的努力，壹度停止煮飯的粥廠又升起了炊煙，為那些衣食無著的難民提供了壹種救命的食物。他還歷盡千辛萬苦從上海搞到蠶豆，防止腳氣病傳播。