卖房合同已签，首付已拿，合同违约金20%，办理贷款中，我不愿意卖了，是不是仅付合同违约金这么简单？求指导预估损害。