Если отвечать не вдаваясь в подробности о каких размерах идёт речь, то:
Проблема не только в том, что просто линейное или нелинейное. Нужно подобрать функцию для классификатора, которая может быть линейной или нелинейной (гауссовской, полиномиальной, гиперболической и т. д.) Существуют подходы, например, сделать градиентный спуск с различными параметрами , которые, варьируются.
Если нужно быстро получить ответ на вопрос линейный или нелинейный. тогда: нелинейные классификаторы будут иметь более высокий риск переобучения, поскольку они имеют больше степеней свободы. Могут просто запоминать наборы хороших точек данных, а не искать обобщение. С другой стороны, линейный классификатор имеет меньшую способность подгонки, и в случае данных, которые не являются линейно разделяемыми, он не сможет найти хорошую функцию принятия решений и будет страдать от высокой частоты ошибок.
Математического решения для ответа не нашёл. Нужно пробовать классификатор и смотреть, как он работает.