我前夫瞒着我借的高利贷，我们现在离婚快一年了，现在高利贷人每天回家闹我该怎么办？还说让我搬走，他们来收房子。离婚协议给了我房子，到现在还没有过户，高利贷人说要收房子。