我孩子一直由我抚养，对方一直拒绝抚养。我可以以遗弃罪告他吗？但对方已经到法院起诉3次离婚了。