他知道我和妻子出轨了，威胁我好几次，他来我家威胁我的家人，我该怎么办？他也有一个家庭，我只是不想让我的妻子知道。