我想离婚的男人拒绝同意，并对我说了一些威胁的话。如果他离开了，他不会让我的家人走的。在这种情况下，我怎样才能安全离婚？他经常责骂我，侮辱我，有时打我。