我的户口在农村宅基地的老房子里，老房子的户口簿上有我哥哥的三口，我的女儿和父母。我和哥哥都在其他社区申请过宅基地。我现在离婚要搬回老房子，家人有权不让我住吗？老房子很大，没有拥挤，我只想住。