你好，律师，我们离婚后，自己写的孩子抚养协议，孩子回到男人身边，我付抚养费，现在我的条件不能像协议那样做，一次给的时间稍长，总数不差，男人不同意我该怎么办。