我在一家工厂工作了一个月。一开始，我同意一个月后离开。现在我给他再做三天，不让我离开。我告诉中介我辞职了。他说他要么工作，要么没有工资。我该怎么办？一个月后让步是口头协议。