我结婚2年了，现在想离婚，但是男方让我退彩礼钱和订婚以前给我的钱，加起来不到2万块，我该怎么办。