通過仔細比較日耳曼語言(哥特語、舊標準德語、古英語和古斯堪的納維亞語)，並將日耳曼語言與其他印歐語言進行比較，語言學家基本上可以重建日耳曼語言(也稱為“前日耳曼語”或“泛日耳曼語”)。這些比較的主要結果是:
*日耳曼語屬於印歐語系，在印歐語系中屬於其西方分支。
*在印歐語系中，日耳曼語最接近凱爾特語和古意大利語。這三種語言共同構成了古歐洲語言。前三兩千年，也就是青銅時代早期，古歐語是中歐的語言。但其確切的位置和時間，今天已無從考證，或者說有爭議。
*日耳曼語很像，大概是說他們有很長時間的共同進化。大多數語言學家把前日耳曼語從凱爾特語和古意大利語中分離出來的時間定為前2000年的前半年。
*日耳曼語分離後仍與凱爾特語接觸。壹些凱爾特語單詞是從日耳曼語中借來的。此外，日耳曼語對芬蘭語也有影響。壹些日耳曼語單詞出現在芬蘭語中(如日耳曼語中的King、kunningaz、芬蘭語中的kuningas，或者日耳曼語中的Ring、ringaz、芬蘭語中的ringas等。).
“日耳曼”壹詞最早是由希臘歷史學家Boshidoni使用的。他在公元前80年左右首次使用這個詞。可能是他在和壹個今天無法考證的中歐小民族接觸時聽到了這個詞，並用它來稱呼所有日耳曼民族。有可能這樣壹個小族群的名字後來變成了整個族群的名字。
“日耳曼”壹詞的起源和意義至今尚無定論。“Rier”這個詞在日耳曼語中無法考證。德國人自己也不太可能自稱德國人。
在51之前，凱撒在他的高盧戰爭中使用日耳曼這個名稱。凱撒在這裏把萊茵河以東的所有民族都稱為日耳曼人。到目前為止，羅馬人把西歐的人稱為凱爾特人，而東歐的人稱為斯基泰人。羅馬人這才意識到，日耳曼人不是凱爾特人，而是壹個獨立的民族。
羅馬歷史學家塔西佗在他的《日耳曼編年史》中將“日耳曼”稱為壹個相對較新的名稱。壹開始只有通格爾人叫日耳曼人，後來所有日耳曼民族都這麽叫。塔西佗說，高盧人把萊茵河以東的民族稱為“日耳曼人”。後來，這些民族自稱為德國人。根據這種說法，這個詞可能來自凱爾特語。
塔西佗在書中詳細列舉了從萊茵河到維斯瓦河，從多瑙河到北海和波羅的海的各個日耳曼民族部落的聚居地。
嚴肅地說，只有從這個時候開始，我們才能稱這些民族為日耳曼人。過去有很多研究是通過考古研究來推斷石器時代和青銅時代的古日耳曼人。二戰後，這項研究被徹底放棄。
今天，類似的研究在壹個非常細致的學術範圍內恢復了，目標是利用考古學和語言學研究獲得壹個內在不矛盾的整體圖像。據此，研究北歐青銅時代的人幾乎可以肯定是德國人。所謂的戰斧人(公元前2800年至公元前2200年)與德國人的關系至今仍有爭議。在石器時代之前(約公元前3500年至公元前2800年)，農耕文化與日耳曼人的關系幾乎可以完全否定。
最新的理論，通過對河流和地名的研究，認為日耳曼人起源於今天德國中部山區的北部。但大多數學者對這壹理論持懷疑態度。
過去，學者們認為日耳曼語是在大約500年前由於日耳曼語的語音變化而從其他西部印歐語中分離出來的。在這個語音過渡中，比如k通過ch變成h，或者p變成f，t變成th。
新的研究認為這種變化發生的很晚，可能發生在1世紀之前。最重要的證據是辛布裏人的民族名稱。在2世紀後期，辛布瑞用條頓人威脅羅馬北部。這兩個民族的故鄉就是今天的丹麥。在拉丁語中，辛布裏的名字是cimbri，而不是chimbri或himbri。後來日耳曼人的名字用拉丁語寫成了ch，比如chatti。因此，今天大多數學者認為，這種語音轉移在2世紀後期尚未開始或完成。早期流傳下來的壹些地名說明這個理論是正確的。
這個觀點對日耳曼語言學有非常重要的影響。於是，前2至1世紀形成了所謂的“泛日耳曼語”，並在1世紀分裂成許多屬於自己的日耳曼語。以前，日耳曼語類似於印歐語。這種比較古老的語言沒有流傳下來，但是它的基本結構是可以重構的。