如果拒绝对方行使探视权，那么会引起对方起诉，如果对方起诉就有可能会导致抚养权的变更。现实生活中有很多父母判决离婚时判决子女抚养权归一方，另一方多次且长期拒绝其行使探视权，对方起诉到法院要求变更抚养权，法院会综合考虑是否有利于子女身心健康来评估是否变更抚养权。
我国《婚姻法》规定：“父或母探望子女，不利于子女身心健康的，由人民法院依法中止探望的权利；中止的事由消失后，应当恢复探望的权利。”由此可见，法律把“不利于子女身心健康”作为探望权中止的惟一法定理由。
在司法实践中，一般认为不利于子女身心健康有下列情形：
第一、探望权人成为限制行为能力人或者无行为能力人的。
第二、探望权人患有医学上认为不宜与他人接触或者有传染可能的疾病。
第三、探望权人对子女有违法行为的，包括民事侵权和犯罪，或者挑唆子女与直接抚养人的关系，而影响子女身心健康和直接抚养人的抚养权的。
《婚姻法》第三十八条 离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。
行使探望权利的方式、时间由当事人协议；协议不成时，由人民法院判决。
父或母探望子女，不利于子女身心健康的，由人民法院依法中止探望的权利；中止的事由消失后，应当恢复探望的权利。
