我和一个没生孩子的男人结婚已经三四年了。我现在想和他离婚，但他要我还清他的三万八元钱，我没有钱给他，他拒绝离婚。