Решение

В сферически симметричном случае приращение гидростатического давления при изменении радиуса на $dr$ будет:

$$dP_{r}=\rho g(r)dr$$

где $g(r)$ - ускорение свободного падения на расстоянии $r$ от центра.

По теореме Гаусса, гравитационное ускорение внутри сферы радиуса $r$ определяется массой, заключенной в сфере радиуса $r$:

$$M(r)=\frac{4}{3}\pi r^{3}\rho$$

По закону всемирного тяготения Ньютона:

$$g(r)=\frac{\gamma M(r)}{r^{2}}=\frac{4}{3}\pi \gamma \rho r$$

Подставим в выражение для давления:

$$dP_{r}=\rho \frac{4}{3}\pi \gamma \rho rdr$$

Проинтегрируем от $r$ до $R$ с учетом граничного условия $P_{r}(R)=0$ на поверхности планеты гидростатическое давление равно нулю.

$$P_{r}(r)=\int_{r}^{R}\frac{4}{3}\rho^{2}\pi \gamma rdr=\frac{2}{3}\rho^{2}\pi \gamma \left( R^{2}-r^{2} \right)$$

В центре планеты $r=0$ давление будет:

$$P_{r}(0)=\frac{2}{3}\rho^{2}\pi \gamma R^{2}$$

Альтеонативное решение

Силу гидростатического давления можно найти из равновесия столба жидкости: сила гравитационного притяжения, приложенная к центру столба, будет уравновешена силой гидростатического давления:

$$F_r = mg(r)$$
Для того, чтобы определить напряжёность гравитационного поля внутри шара, воспользуемся теоремой Гаусса:
$$g(r) \cdot 4\pi l^2 = \frac{4\pi \gamma M l^3}{R^3} \quad \Rightarrow \quad g(r) = \frac{\gamma M l}{R^3}$$
где $l$ - расстояние от центра планеты, до центра столба жидкости. И равно:
$$l = r + \frac{R-r}{2}$$
Найдём силу:
$$F_r = \frac{\gamma Mm l}{R^3} = \frac{\gamma M\rho l}{R^3} S (R-r) = \frac{\gamma M\rho }{R^3} S (R^2-r^2)$$
Масса планеты равна:
$$M = \rho \cdot \frac{4}{3}\pi R^3$$
Тогда давление будет равно:
$$P_r = \frac{F_r}{S} = \frac{2}{3}\pi\gamma\rho^{2}\left( R^{2}-r^{2} \right)$$
При $r = 0$:
$$P_{0}=\frac{2}{3}\pi\gamma\rho^{2}R^{2}$$