你好，请问男人已经和其他女人住在一起，我想离婚，但是他没有离开，甚至要我赔偿他的损失，你说如何处理，而我们没有孩子，没有财产，只有普通债务。