截至2016年底，牡丹江市已公布第壹批市級文物保護單位56處，其中古遺址7處，古墓葬3座，古建築3處，石窟寺和石刻1處，近代重要史跡和代表性建築42處。在第壹批市級文物保護單位中，最古老的可以追溯到唐代的渤海國。
七大古遺址分別是三明治山城(唐渤海)，位於東安區；四平山城(唐渤海)和行署山城(唐渤海)，位於陽明區；薩爾滸城址(金)，位於市長安區；頭道亮子遺址(清代)、二道亮子遺址(清代)、三島亮子遺址(清代)均位於寧安市。三座古墓分別是三島關墓(唐渤海)，位於愛民區；嚴家溝墓地(唐渤海)，位於陽明區；大安墓群(金)，位於陽明區。這三處古建築分別是城隍廟(清代)舊址、逸法園商店(清代)舊址和渤海清真寺(清代)，位於寧安市內。1石窟寺和石刻是蔔府貞節碑(1790)，位於海林市。
近代42處重要歷史遺跡和代表性建築分布在東安區、愛民區、Xi區、陽明區、海林市、穆棱市、東寧縣。其中有東滿侵華日軍司令部地下指揮所舊址、海南鄉侵華日軍100細菌支隊、萬路溝侵華日軍地下兵工廠群、老黑山北山侵華日軍碉堡群、缸窯溝侵華日軍陣地遺址等。