我大爷在我爸未成年的时候和别的女人结婚，养了别人家的孩子，30多年了，现在他老了，那边的孩子不养他，想把他赶出家门，关键我爸也不想养他，这种情况该怎么办。