Если мы хотим добиться спортивных успехов, то тренироваться надо с детства. Например боксом можно заниматься с 10 лет. САМБО можно заниматься с 7 лет.
Если мы хотим заниматься для самозащиты, то тут важен не возраст, а грамотный тренер.
Так что - заниматься можно в любом возрасте. Главное правильно выбрать приоритеты.