两年前，我在建筑工地工作。老板在年底结账，从我的工资中扣除了5000元。他说建筑工地损失了钱和5万元。我现在可以回来了吗？我已经两年没在那里工作了。