离婚协议书上写着孩子由母亲抚养，父亲支付抚养费，现在母亲不能抚养，要求变更协议，男人不同意怎么办。