Đã nộp phạt vì xây nhà trên đất nông nghiệp, có bị phá dỡ?

Xây nhà trên đất nông nghiệp chưa có giấy phép chuyển đổi mục đích sử dụng đất xảy ra phổ biến tại nhiều địa phương trên cả nước. Vậy xây nhà trên đất nông nghiệp có bị tháo dỡ hay không?