别人的老婆跟我出来打工，被她男人找到带回去了，他老公对我没完没了，请问我该咋办。