Юмор часто используется как защитная реакция на сомнения. Это способ адекватного сосуществования скептически настроенных людей с социумом (юмор вместо скандалов и агрессии). Наверняка Вы замечали, что он шутит не только по поводу возможных измен, а вообще по поводу всего, что может сойти за потенциальное лицемерие вокруг него. Это необязательно означает, что он Вам действительно не доверяет (иначе бы он серьёзно к этому отнёсся), это просто способ успокоить свою мнительность и не запустить паранойю. Если Вы ни в чём не виноваты (то есть, не изменяете) и уверены в своих чувствах и преданности к молодому человеку, по идее, Вас не должен раздражать такой юмор (если он не проявляется прилюдно), иначе Вы либо изменяете, либо помышляете об этом.