我离婚的孩子回到了男人身边。我们的协议书上写着每月给孩子支付500人的抚养费，但是我没有工作，他告诉我该怎么办。