Чем случайный лес отличается от градиентного бустинга?
ОбразованиеПрограммирование+3
Анонимный вопросМашинное обучение и Нейронные сети
· 8,0 K
Старший разработчик компании Google.
Основная специальность - машинное обучение, глубокое... · 16 сент 2021
Случайный лес -- усредненный ответ множества решающих деревьев (простых алгоритмов), обученных на подмножествах обучающей выборки.
Бустинг -- последовательное применение простых алгоритмов для уточнения результатов.
Ключевая разница заключается в процедуре обучения.
Если деревья в лесу можно учить независимо, то есть параллельно, то последующий простой алгоритм в бустинге учится исправлять ошибки предыдущих этапов бустинга (последовательное обучение).
Значительным преимуществом бустинга является простота решения проблемы переобучения. По валидационной выборке можно определить сколько этапов бустинга нужно оставить, чтобы не страдать от переобучения. Со случайным лесом такое не получится.
1 эксперт согласен
Случайный Лес, это ансамбль равноправных Решающих Деревьев. Обучение всех этих деревьев идет независимо друг от друга, то есть параллельно друг другу. Деревья не передают друг другу никакой информации. При голосовании во время прогнозирования (или классифицирования) все деревья имеет одинаковый вес, то есть голосование идет равноправно. Случайный Лес, это один из видов... Читать далее
Эксперт по оптимизации инвестиционного портфеля и прогнозированию биржевых цен.
Перейти на forecast.nanoquant.ru
2 эксперта согласны
В случайном лесу усредняются результаты деревьев решений.
В градиентном бустинге же каждое последующее дерево оптимизируется и уменьшает ошибку предыдущего.
Когда случайно попадаешь в лес требуется больше (меньше) бустинга, нежели если в лесу оказался целенаправленно? Наверное, всё на самом деле совсем не так.
1 эксперт не согласен
Эмиль Пилецкий
22 сентября 2021возражает
Вы генератор текста включили?..