Решение

Запишем закон сохранения энергии для верхнего шарика:
$$mgl=\frac{mv^2}{2}+mglsin\alpha$$
Выразим квадрат скорости:
$$v^2=2gl(1-sin\alpha)$$
Запишем уравнение статики вдоль стержня:
$$N+\frac{mv^2}{l}=mgsin\alpha$$
Сила реакции стержня:
$$N=mg(3sin\alpha-2)$$
Т.к. нам нужна горизонатльная сила, найдем проекцию силы реакции на горизональ:
$$F=Ncos\alpha$$
Отсюда найдем ответ:
$$\boxed{F=mgcos\alpha(3sin\alpha-2)}$$
Видно, что если
$$sin\alpha\leq 2/3$$
То сила равняется нулю, т.к. на стену давления не будет
$$F=0$$

$$F=mgcos\alpha(3sin\alpha-2)$$