我丈夫经常在外面勾结，最近我正好撞到他和一个女人半夜出去，我不想和他离婚，但他不离开。