离婚的时候，我正在离家，离婚后，他总是和孩子不在一起，对孩子有暴力的倾向。现在孩子想和我在一起，我该怎么办呢。