与中介公司约定时间，但由于特殊原因需要退休，公司不允许退休，有可能减免工资，是否违反劳动法。