我想和丈夫离婚，人不在老家可以离开吗？我们有孩子，今天初二的时候，他带了很多人去我家惹麻烦，想打妈妈和弟弟。