Людей чаще всего раздражает неуправляемость, нежелание других следовать принятым в их среде нормам, несоответствие привычным ожиданиям, неоправданное достоинство других и отсутствие с их стороны заметной реакции на окружающих.
А люди, которые "себя любят", часто именно таковы.
Как бы самодостаточны. Демонстративно. С другой стороны, люди "без достоинства", которые себя явно не любят, могут раздражать ровно тем же, и даже больше.