未成年人的父母是未成年人的法定监护人，只有在未成年人的父母死亡或者没有监护能力的情况下，法律才规定可以由其他有监护责任的人担任监护人。
所以，抚养未成年子女是父母应当尽到的法定义务，这是父母双方的法定义务，而不是爷爷奶奶或外公外婆的法定义务。所以，男方去世后子女抚养权应该归另一方所有，其他人是无权随意变更抚养权的。
若男方不幸去世，最可能发生的纠纷是孩子的爷爷奶奶和孩子的母亲争夺抚养权，尤其是男方属于家中独子的情况，这样的矛盾更加尖锐。对爷爷奶奶而言，白发人送黑发人是不能承受之痛，对女方而言，丧夫之痛也不好受，而且接下去女方还要面临独自抚养孩子的难题。
所以，对于孩子而言，失去爸爸已经是一大创伤，作为爷爷奶奶和孩子的母亲更应该友好协商，从“最有利于孩子健康成长”的原则出发，安排好孩子的抚养权问题。
《中华人民共和国民法通则》第十六条未成年人的监护人
未成年人的父母是未成年人的监护人。未成年人的父母已经死亡或者没有监护能力的，由下列人员中有监护能力的人担任监护人：
(一)祖父母、外祖父母；
(二)兄、姐；
(三)关系密切的其他亲属、朋友愿意承担监护责任，经未成年人的父、母的所在单位或者未成年人住所地的居民委员会、村民委员会同意的。
