Здания можно разрушить только разрушив башни. Башни определяют территорию и если её разрушить (и поставить свою) или занять, то все строения на определённом расстоянии вокруг рухнут.
Есть специальные юниты, саботерами называются. Их можно создать на той же странице, что и Садовников, Геологов и т.д. Они вроде должны разрушать здания (так написанно в описании этих юнитов, я то сам их еще не разу не делал, т.к. играю восном в экономические карты)