Решение

В задаче рассматривается явление полного отражения, то есть, когда преломленный луч выходит паралелльно поверхности.

Рассмотрим луч из пучка, он падает под углом $\pi/2 - \alpha$ к повеохности конуса. Условие полного отражения выведем из закона Снелла:

$$n cos( \alpha ) = 1$$

$$\alpha = arccos ( 2/3 )$$

С углами больше критического понятно, потому что после первого пересечения лучи сразу выходят. А вот с углами меньше интереснее. Рассмотрим второе пересечение после первого отражения, угол под которым луч пересекает поверхность конуса второй раз находим из треугольника:

$$\alpha' = \beta + 2 \alpha$$

Как видим угол падения уменьшается на $2 \alpha$ с каждым отражением после первого. Пока снова не станет меньше критического.