我爷爷有两个儿子，小儿子拿走了所有财产，拒绝赡养，现在只能大儿子养吗？我爷爷拒绝起诉小儿子，说丢人。