男女离婚时候是否要退回彩礼，还需要看实际的情况是否构成了彩礼返还的条件，如果构成了彩礼返还的条件，可以依法要求退回。可以要求返还彩礼的情形包括3种：
1、给付彩礼后悔婚，双方未办理
结婚登记的；
2、双方即使已经办理结婚登记手续，但确未共同生活过就离婚的；
3、婚前给付彩礼导致给付人生活困难。
法律依据：《
中华人民共和国民法典》
第一千零七十六条夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请
离婚登记。
离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。
第一千零七十九条夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。
人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。
有下列情形之一，调解无效的，应当准予离婚：
（一）重婚或者与他人同居；
（二）实施
家庭暴力或者虐待、遗弃家庭成员；
（三）有赌博、吸毒等恶习屡教不改；
（四）因感情不和分居满二年；
（五）其他导致夫妻感情破裂的情形。
一方被宣告失踪，另一方提起离婚诉讼的，应当准予离婚。
经人民法院判决不准离婚后，双方又分居满一年，一方再次提起离婚诉讼的，应当准予离婚。
第一千零八十五条离婚后，子女由一方直接抚养的，另一方应当负担部分或者全部抚养费。负担费用的多少和期限的长短，由双方协议；协议不成的，由人民法院判决。
前款规定的协议或者判决，不妨碍子女在必要时向父母任何一方提出超过协议或者判决原定数额的合理要求。
第一千零八十七条离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。
对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。
