他知道我和他老婆出轨了，威胁我好几次。他来我家威胁我的家人。我该怎么办？他也有家庭。我只是不想让我妻子知道。