我向劳务部门提前支付了2000元的工资，然后我没有在那家工厂工作。现在他让我还钱。