我家被拆除的时候，我父亲和别人协商，在原来的基础上盖房子的人出来的时候，我有权不给他这所房子吗？我父亲现在去世了。