Давайте я попробую. Не претендую на абсолютную истину, геометрическая вероятность мне всегда давалась с трудом, но тем не менее.
1) Центр окружности не лежит в таком четырехугольнике тогда и только тогда, когда можно провести диаметр так, чтобы все четыре точки (попадания дротика) оказались в одной из половин окружности, на которую этот диаметр разбивает окружность.
2) Кидаем первый дротик (назовем его и точку попадания №1), и проводим диаметр через точку попадания. Окружность разбивается на две равные части, давайте назовем их левая и правая. Вероятность того, что оставшиеся три дротика попадут в левую часть равна 1/2 * 1/2 * 1/2 = 1/8. В правую - тоже 1/8. Итого, вероятность того, что все дротики попадут в одну из половин 1/8 + 1/8 = 1/4.
3) Тогда, с вероятностью 3/4, дротики попадут в разные половины, и распределение дротиков между этими половинами будет 1-2. Назовем эти дротики (и точки их попадания) №2 (попавший в одну из половин), №3, №4 (попавшие в другую половину). При этом №4 находится дальше от №1, чем №3.
4) Если провести хорду между точками №2 и №4, то центр окружности окажется внутри четырехугольника тогда и только тогда, когда это хорда не пересекает радиус из точки №1. Заметим, что любой хорде, не пересекающей этот радиус можно сопоставить параллельную хорду той же длины, пересекающую этот радиус. Это значит, что вероятность того, что хорда пересечет радиус (и центр окружности будет лежать вне четырехугольника) равна 1/2.
5) Таким образом, получаем, что вероятность того, что центр окружности будет лежать вне четырехугольника равна 1/4 + 3/4*1/2 = 5/8.
Соответственно, мой ответ 3/8.
Лучше конечно было бы добавить чертежи, но лень.