他知道我和他妻子出轨了。威胁了我好几次。他来我家威胁我的家人。我该怎么办？他也有家庭。我就是不想让我妻子知道。