跟厂家只是口头协议，货款也都给了，害的客户都退货我还赔付了客户的损失，我只要求厂家退货，但厂家不退，我该怎么办。