Мне кажется, тут нужно хорошенько подумать, что вас так задело.
Потому что, с одной стороны, шутка может быть всего лишь шуткой, просто случайно попавшей по вашему слабому месту, и тогда нужно подумать о том, как бы сделать это место менее слабым.
А с другой стороны, она может быть хорошо (или даже плохо) завуалированной агрессией или оскорблением, и тогда нужно пересматривать отношения с коллегой. Как минимум, начать учитывать, что коллега - лицо к вам недружественное. В любом случае стоит проработать болевую точку, по которой вас задели, потому что безусловно лучшая защита от оскорблений - это отсутствие болевой реакции на них (непоказное, а искреннее, люди прекрасно считывают чужие эмоции, даже если не отдают себе в этом отчёт), но лучше при этом отдавать себе отчёт, что вас пытаются обидеть.