Решение

Запишем силу дейстыущие на крайнюю глыбу в две стороны:
$$N+m\omega²(R+r)=\frac{\gamma m²}{4r²}+\frac{\gamma Mm}{(R+r)²}$$
Выразим квадрат угловой скорости(он будет таким же лля второй глыбы):
$$\omega²=\frac{\frac{\gamma m²}{4r²}+\frac{\gamma Mm}{(R+r)²}-N}{m(R+r)}$$
Запишем силы на вторую глыбу:
$$\frac{\gamma m²}{4r²}+m\omega²(R-r)=\frac{\gamma Mm}{(R-r)²}+N$$
Выразим квадрат угловой скорости:
$$\omega²=\frac{\frac{\gamma Mm}{(R-r)²}+N-\frac{\gamma m²}{4r²}}{m(R-r)}$$
Приравняем:
$$\frac{\frac{\gamma Mm}{(R-r)²}+N-\frac{\gamma m²}{4r²}}{m(R-r)}=\frac{\frac{\gamma m²}{4r²}+\frac{\gamma Mm}{(R+r)²}-N}{m(R+r)}$$
При решении, получим такой ответ:
$$\boxed{N=\frac{\gamma m²}{4r²}-\frac{\gamma mM(3R²r+r³)}{R(R²-r²)²}}$$
Когда глыбы перестанут удерживаться, сила друг на друга будет равна нулю:
$$N=0$$
Т.к. масса глыб и планеты связаны с кубом их радиусов, с учётом равенства их плотностей, можем записать такое уравнение:
$$\frac{r³}{4r²}-\frac{r_0³(3R_\text{орб.}²r+r³)}{R_\text{орб.}(R_\text{орб.}²-r²)²}=0$$

$$rR_\text{орб.}(R_\text{орб.}²-r²)²=4r_0³(3R_\text{орб.}²r+r)$$
Из условия задачи ясно, что:
$$r_0\gg r \Rightarrow R_\text{орб.}\gg r$$
Используем:
$$rR_\text{орб.}⁵=12r_0³R_\text{орб.}²r$$
Получем ответ:
$$\boxed{R_\text{орб.}=r_0\sqrt[3]{12}}$$