陽江方言主要受四種文化的影響:俗文化、中原漢文化、福建客家文化和海外文化。
陽江自漢代起屬高良縣(今高州)管轄，是黑話聚居地。隋唐時期，俗民發展成為大規模的部落聯盟，馮獻家是當時的實際統治者。即使俗民後來被漢化或遷移，俗文化仍作為底層文化積澱下來，成為楊沫文化的深層部分。因此，陽江方言包含了大量的高州方言因素。即使在今天，陽江方言中仍然可以看到許多古越文化的痕跡。
中原漢文化從秦漢開始南下，到宋代達到主流文化的地位。在陽江話和廣州話的對比中，可以發現很多接近普通話的因素，比如廣州話中的“吃”就是陽江話和普通話中的“吃”，廣州話中的“看”也是陽江話和普通話中的“看”。
陽江依山傍海。明清以來，擅長耕山的客家人和擅長耕海的閩南人先後定居，成為陽江人的壹部分。他們的客家話、閩南話也融入陽江話，比如米湯叫“喝”，花生叫“甜豆”，繩子叫“繩子”，都是閩南語詞匯。陽江話在發音上也和客家話略有相似。