Решение

{а.} Заметим, что при отражении просто меняет знак компонента скорости. Можно развернуть скорость, но это рассматривать тяжело. Проще рассмотреть движение в отражённом квадрате!!! Можно отражать квадраты не только горизонтально, но и вертикально, как движение в сетке. Но горизонтально это делать проще всего.

На рисунке движение по траектории развёрнуто с помощью зеркальных отражений в движение между двумя параллельными прямыми. Соответствующие точки траекторий отмечены одинаковыми буквами.

Нам просто надо, что бы при новом угле за целое количество вертикальных циклов стена-потолок-стена, точка удара прошла целое количество длин стороны горизонтальных.
Из этого рисунка следует:

$$v' \approx \frac{x}{2A'B'} v \approx v \Delta \sqrt{2}; \quad \Delta \approx \frac{1}{2} \left[ \tan \left( \frac{\pi}{4} + \Delta \right) - 1 \right] = \frac{k}{2n},$$

где $k$ и $n$ — целые числа, не имеющие общих делителей,

$$\tan(\pi/4 + \Delta) - 1 = k/n; \quad h_1 \approx 2a \Delta/k, \quad h_2 = 0.$$

{б.} Маловероятно, что $\tan(\pi/4 + \Delta) - 1$ точно равен простой дроби, например 0,03, поскольку вблизи этого числа может быть сколь угодно много других чисел, например чисел вида $0,03 + \sqrt{2}/n$, где $n$ — целое число, которые отличаются от 0,03 на сколь угодно малую величину. Эти числа называются иррациональными, и в математике доказывается, что множество этих чисел мощнее множества простых дробей. Если число иррационально, то траектория не замкнута.

{в.} $P = V/a^3$, поскольку траектория не замкнута. И нету "запрещённых областей"