你好，我认识男人，和他交往过，但是现在觉得错了，我有家人，有孩子，我不想联系。但是他一直在威胁我，如果没有和他见面，就告诉丈夫我该怎么办，说不要离婚，要保护我的家人。