我有两个残疾孩子，丈夫出轨，男方又不想离婚，我也不接受调解，请问律师向这种情况，在等多长时间起诉。