男孩11岁，离婚想和母亲住在一起，但父亲没有给，我近年来没有工作，但他父亲没有给零花钱，我自己抚养，孩子和祖父母，他认为孩子属于他。我想问我是否不能跟随我的母亲。