五年前我知道他有外遇，我离开了他和孩子们，我从来没有任何联系。现在我想离婚，但我没有证据证明他的外遇，所以如何处理离婚。