2015年11月，我父亲买了一栋房子，向我丈夫和我借钱。那时，我和他发生了冲突。现在情况更糟了。他说如果我想离婚，我必须先把钱还给他。