我没结婚，父亲出轨了，想把我和妈妈赶出家，让情人回来住。我想问问我和妈妈是否有房子的居住权。我父亲有权把我们赶出去吗？房子是夫妻的共同财产，我父母还没有离婚。