离婚时，如果公婆索要之前给的钱，该怎么处理？我们买了房子，他们付了一部分钱。