我借了一万高利贷，他扣除了三千利息，十五天后还了一万，我迟到了几天，他问我要五千违约金，还不借。