我们打算用3000元的租金租邻居家的耕地盖房子，后来知道不准在耕地盖房子，要求退还租金，对方拒绝，威胁说今后每年家人来我家，每年都要付租金。我们应该怎样回收租金。