我们离婚协议书上写的房地产归孩子所有，由男人代理，但男人不住女人，女人该怎么办？孩子归男人。