無論祠堂改建還是新建，都必須在土地管理部門批準的紅線範圍內建設，嚴禁越線隨意回遷。政府部門對土地的使用是有規劃的，如果越界後將祠堂遷回，影響規劃的實施，要承擔法律責任。
以上內容僅供參考。建議查閱宗族祠堂相關文獻或咨詢相關領域的專家學者，獲取更全面準確的信息。