Зависит от многих факторов -- насколько тонкая нужна сортировка, насколько разнообразный мусор предъявляется, каков требуемый баланс между ценой и эффективностью.
Для мусора, особенно предварительно сортированного, может неплохо сработать обычная видеокамера, подключённая к нейросетке для распознавания образов.
Если нужна большая точность, то нужно использовать спектроскопические методы. В частности, насколько я знаю, хорошо подойдёт измерение спектра поглощения терагерцового излучения. Детектор стоит несколько тысяч евро, но для коммерческой системы автоматической сортировки мусора это, наверное, нормально.
Плюс для отдельных видов мусора есть дешёвые и эффективные специализированные способы: железо, например, можно выловить магнитом.