我想问下。结婚半年，由于各种原因，过不到一起去。男方说我离婚，就必须返还彩礼。还有这规矩吗。