Ну, давайте начнём с первого вопроса.
- Любые ли 3 вершины многоугольника образуют треугольник?
- Сколькии способами можно выбрать первую вершину? А на вторую сколько вариантов останется? А на третью?
После ответа на первый вопрос, можно подумать про второй. Только я бы на Вашем месте искал бы "отрицание". То есть сколько есть треугольников у которых одна из сторон совпадает с одной из сторон многоульника?
Ну, какие будут продвижения — пишите обсудим. А решать (тем более такую простую) задачу за вас полагаю не педагогичным.