我以前和我的对方有孩子，她和别人结婚现在离婚了，但是对方男人要我的孩子不去，我该怎么办，对方男人和孩子没有血缘关系。