Найдите значения параметра m, при которых функция f(x)=x^3+3mx^2+5mx возрастает на R. как это решить????

Ответ: 0≤m≤5/3

Функция возрастает, если положительна ее первая производная. Значит, надо найти область значений m, при которых первая производная больше нуля при любых x из R (при любых вещественных x).Обращение в ноль в отдельных точках при этом допустимо.

Производная
f'(x) = 3x² + 6mx + 5m
должна быть больше нуля для любых x.

1. При x → ± ∞, f' → +∞. При конечных x, f' - конечна. Следовательно, производная имеет минимум на R. Ищете этот минимум, определяете, при каких m он больше нуля, эти m и будут решением.

Чтобы найти минимум производной, надо взять производную от производной и приравнять ее нулю.

0 = f"(x) = 6x + 6m 

Стало быть, x=-m.

(Вероятно, от вас ждут еще исследования знака f" слева и справа от x=-m, чтобы убедиться, что экстремум является именно минимумом для f', а не максимумом, например, или вообще не экстремумом, а иной особой точкой. Значит, указывеете/показываете, что слева f"<0 и f', соответственно, падает, а справа f">0 и f' - растет. Но, в принципе, было достаточно факта ассимптотического стремления непрерывной конечной функции к +∞ слева и справа. Тогда минимум должен существовать всенепременно, а если есть всего один кандидат на роль минимума, то это минимум и есть и можно знаки f" не проверять.)

В точке своего минимума f'(-m)=3m²-6m²+5m=-3m(m-5/3) и неотрицательна при 0≤m≤5/3. Это и есть искомое решение. При  0≤m≤5/3, f'(x≠-m) > f'(-m) ≥ 0 для всех вещественных x, а f(x), стало быть, монотонно растёт.

2. Можно пойти и другим путем, которого от вас вряд ли ждут в контексте изучаемой темы.

Группируем слагаемые: f'(x) = 3x² + 6mx + 5m = 3(x+m)² + m(5/3-m)

3(x+m)² неотрицательно на R, а m(5/3-m) - не зависит от x. Достаточно потребовать m(5/3-m)≥0, чтобы f' стала больше нуля для любого x≠-m. Ну а решением для неравенства m(5/3-m)≥0 будет 0≤m≤5/3.

UPD. Исправил ошибку в выкладках (верхняя граница для m равна 5/3, а не 5) и включил границы m=0 и m=5/3 в область решений, так как обращение f' в ноль в отдельных точках не помешает f остаться монотонно возрастающей, как мне верно указали в комментарии к другому ответу.