所以离婚的时候没有说因为女方出轨离婚。孩子的抚养权也给了女方。男方能要回孩子的抚养权吗？

抚养权的取得主要是看谁的抚养更有利于孩子的健康成长，注意一个时间点，就是孩子的年龄，因为孩子的意见也是法院判决重要因素。如下法条是法院判决孩子抚养权的依据，供您参考。
根据《婚姻法》的相关规定
　　
1、 法院将孩子判归女方抚养的情况
　　第
一、两周岁以内的子女一般随母亲生活。这主要考虑孩子尚处在幼儿期，需要母亲的哺乳，母亲更能给孩子体贴和照顾。
　　第
二、孩子虽然两周岁以上了，女方已做绝育手术，男方未做，且男方年龄与女方年龄差距不是很大，孩子判归女方的可能性较大。 第
三、孩子一直随母亲生活，如果离婚后改为随父亲生活对其生活习惯改变较大且影响其成长的，孩子判归女方可能性较大。
　　第
四、男女双方的抚养条件，如工作稳定程度、收入情况差距不大的前提下，如果男方对于夫妻感情破裂有过错，比如，有证据证明有婚外情等，孩子判归女方的可能性较大。
　　第
五、男方有不良嗜好，如赌博、汹酒等恶习等。考虑到其恶习对孩子成长有不利影响，法院一般会将孩子判归女方。
　　第
六、如果男女双方均无明显过错，各方面条件都相当，如果女方的思想品质好一些，更有时间照顾孩子，得到孩子抚养权的可能性就会更大。
　　第
七、十周岁以上的孩子随意随母亲生活的。

双方离婚协议已办孩子归男方了，女方还可以起诉要回孩子抚养。可向法院提起诉讼，要求变更抚养关系。
根据最高人民法院《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》有关规定：
人民法院审理离婚案件，对子女抚养问题，应当依照《中华人民共和国婚姻法》第二十九条、第三十条及有关法律规定，从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。
根据上述原则，结合审判实践，提出如下具体意见：
15、离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应另行起诉。
16、一方要求变更子女抚养关系有下列情形之一的，应予支持。
（1）与子女共同生活的，一方因患严重疾病或因伤残无力继续抚养子女的；
（2）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
（4）有其他正当理由需要变更的。

第一如果有证据表明女方确实有出轨的行为在法官眼里是一个不具备抚养小孩的条件，应为有道德污点，第二在中国一般是男性工作女性家务所以一般女性没有固定收入，在法官眼里没有固定收入也不具备抚养小孩的条件，第三你们的共同财产绝大部分会被无过错方得到更让你的财务雪上加霜。除非你的小孩不满两周岁，按照中国法律哺乳期的小孩跟随母亲生活，若果超过两岁的话就很难说了，超过10岁由孩子自己选择。

根据最高人民法院《婚姻法》解释
(二)中的规定，只有符合以下情况，人民法院才支持返还彩礼：一是双方未办理结婚登记手续的；二是双方办理结婚登记手续但确未共同生活的；三是婚前给付并导致给付人生活困难的。如果不符合这三种情况，法院不支持返还彩礼。适用前款第
（二）、
（三）项的规定，应当以双方离婚为条件。那么如何理解生活困难呢？最高人民法院关于适用《中华人民共和国婚姻法》若干问题的解释
（一）第二十七条：婚姻法第四十二条所称‘生活困难’，是指依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。一方离婚后没有住处的，属于生活困难。 根据我国法律规定，一方有婚外情是法定的感情破裂的情形，法院判决离婚的可能性较大，有婚外情行为的一方是过错方，但是法律上婚外情的认定会比常人理解的严格，需要律师根据您的证据材料综合判断。另外法律上并没有规定在抚养权和财产分配中对有婚外情行为一方不分或者少分，但是根据过错情形，实际判决中对非过错方会有一些照顾,非过错方也可以要求过错方给予一定的赔偿。 父母对子女有抚养的义务，抚养费的数额一般根据子女的实际需要、父母双方的负担能力和当地的实际生活水平确定。对于父母有固定收入的，抚育费一般可按其月总收入的百分之二十至三十的比例给付。负担两个以上子女抚育费的，比例可适当提高，但一般不得超过月总收入的百分之五十。无固定收入的，抚育费的数额可依据当年总收入或同行业平均收入，参照上述比例确定。此外，若原定抚育费数额不足以维持当地实际生活水平的；或因子女患病、上学，实际需要已超过原定数额的；以及有其他正当理由应当增加的，而父或母又有给付能力的，法院一般会支持增加抚养费。 如果一方有婚外情，家暴，赌博吸毒等过错，那么另一方可以要求对方支付损害赔偿，根据地区和情节不同会有不同，具体请咨询律师。另外如果一方因为照料老人、抚养子女等为家庭付出很多，也可以要求法院判决对方给予一定的经济补偿，具体补偿金额请当面咨询律师。 婚外与他人生子是对婚姻不忠的行为，但是根据我国法律规定，非婚生子和婚生子在主张抚养费、财产继承等方面有同等的权利。

如果需要针对性解答，可以直接向我咨询并描述您的情况，本地专业律师将24小时在线解答。