我和我丈夫已经十年没在一起了。我想和他离婚。他没有离开，还有三个孩子。他一直在他祖母家。那个男人说他必须等房子修好，带一个小女孩来，然后离婚。