我是一个离婚的女人，去年认识了一个没有离婚的男人，现在我不想和他在一起，他说要和我一起生活，但我现在不理睬他，那个男人每天找麻烦，威胁说找不到我，找女儿的麻烦。