两人虽然没有结婚关系，但是生了一个孩子，孩子一直由母亲抚养，父亲什么也没养育，孩子应该由谁来判断。