我和前妻离婚的孩子18岁和我在一起，总是不回我家照顾孩子，我可以合法地不让她回家。