Пару недель назад у трех коллег был день рождения. Они с другого отдела, но я хотел скинуться, хоть и нехотя.... а потом просто решил, что не скинусь. И что дальше? Ровно ничего. Всё так же здороваюсь с ними и они со мной. Это дело индивидуальное, хочешь или нет. Никто не может тебя заставить скидываться вместе со всеми.
Когда по уважительной причине (были в командировке, в отпуске), поздравьте хотя бы постфактум. Это может быть любой символический подарок. Тут для импровизации - целое море (и маленькое озерцо).