Для описания каких систем используется преобразование Фурье-Бесселя?

Более корректно говорить о фурье-преобразовании с функциями Бесселя в качестве базиса.

Такой анализ подходит для для любых систем с цилиндрической (или угловой) симметрией для исследования структуры вдоль радиуса.

Простейший пример.

В тарелке налита вода. В центре тарелке на поверхности воды источник волн. На поверхности воды образуются стоячие волны с цилиндрической симметрией, то есть картинка не меняется при повороте тарелки вокруг центра на любой угол. Вам надо найти спектр колебаний этих стоячих волн.

Неправильное решение. Перейти в полярные координаты и сделать классическое фурье-разложение по тригонометрическим функциям вдоль радиуса.

Почему это неправильно?

Потому что чем дальше волна от центра, тем меньше её амплитуда при одной и той же энергии. Энергия распределяется по более длинной окружности. А неправильное решение будет интерпретировать это уменьшение амплитуды волны, как уменьшение энергии, и тем самым, как уменьшение вклада этой волны в энергию всей системы. Придется "руками" корректировать этот эффект и увеличивать "эффективную" амплитуду тех гармоник, которые сосредоточены около края тарелки и уменьшать "эффективную" амплитуду тех гармоник, которые сосредоточены около центра тарелки.

Правильное решение. Также перейти в полярные координаты, но сделать разложение не по синусам и косинусам, а по ортонормированному базису функций Бесселя. У этого набора функций нет строгого периода, но существует аналог частоты. И вот амплитуды этих бесселевских гармоник и дают правильное спектральное разложение.

Итак, если система имеет трансляционную симметрию, например, имеет период вдоль одного направления декартовых координат (дискретная трансляционная симметрия), а вдоль двух других направлений её можно транслировать на любое расстояние (непрерывная трансляционная симметрия), то делаем классическое преобразование Фурье вдоль первого направления.

А если система имеет осевую симметрию, то вдоль радиуса делаем преобразование Фурье с функциями Бесселя.

И т.д. В зависимости от симметрии системы применяем разные ортонормированные наборы функций (полиномы Лежандра, полиномы Чебышева, полиномы Эрмита, полиномы Лягера и т.д.) для "удачного" разложения функций системы.

.

P.S.

"Неудачные" разложения по неадекватному базису тоже бывают полезными. Например, разложение в ряд Тейлора в окрестности точки, это, вообще, разложение по неортонормированному базису функций, но очень полезное в анализе поведения функции в окрестности точки.