你好！我的家人是这样的。我妻子在我不知不觉中借了高利贷和朋友的钱约30万日元。现在为这件事准备离婚的这笔钱不是夫妻的共同债务。男人在什么情况下不还这笔钱就可以离婚。