男女离婚时候是否要退回彩礼，还需要看实际的情况是否构成了彩礼返还的条件，如果构成了彩礼返还的条件，可以依法要求退回。一、可以要求返还彩礼的情形包括3种。1.给付彩礼后悔婚，双方未办理结婚登记的。2.双方即使已经办理结婚登记手续，但确未共同生活过就离婚的。3.婚前给付彩礼导致给付人生活困难，离婚时也可以此。二、根据最高人民法院关于适用《中华人民共和国民法典》婚姻家庭编的解释(一)第五条。当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持。(一)双方未办理结婚登记手续。(二)双方办理结婚登记手续但确未共同生活。(三)婚前给付并导致给付人生活困难。适用前款第二项、第三项的规定，应当以双方离婚为条件。男方能在女方起诉离婚的情况下要求返还彩礼吗。