我想盖平房，往前挪两米，跟西邻居隔了一个一米半的胡同，但是他就不让盖。我是不是就盖不起来。