我和别人交换的土地，我已经建了现场，别人又要交换土地，该怎么办呢？我们没有合同，但有中介人。