我是2006年离婚的,有一儿子当时3岁,当时我们是协议离婚的,我净身出户,孩子归男方抚养,我不用承担抚养费,都由男方负责。直到后来男方结了婚分开,孩子都是由爷爷奶奶在照顾抚养,男方一直未做到一个父亲的责任。他们房子拆迁,男方他爸给他好几套房子,他爸只留一套,说是以后给孙子的,如果我现在去要孩子的抚养权,以后能继承他爸的房产吗?