如果夫妻之间过不成了，离婚了，那么，男方借的有女方那边的钱，离了婚了他不还了，我们该怎么办。