Решение

Для начала найдем приращение потенциальной энергии:
$$\Delta U=U-U_0$$
$$U=\frac{-γMm}{R+h}$$
$$U_0=\frac{-γMm}{R}$$
Подставим послдение вда уравнение в первое:
$$\Delta U=-\frac{γMm}{R+h}-(-\frac{γMm}{R})\Rightarrow$$
$$\Rightarrow \boxed{\Delta U=\gamma \frac{Mmh}{R(R+h)}}$$
Относительная ошибка находится по отношению разницы приближенного и верного значений к верному значению, то есть:
$$\varepsilon=\frac{mgh-\Delta U}{\Delta U}$$
Мы знаем что ускорение свободного падения у поверхности высчитывается по формуле:
$$g=\frac{\gamma M}{R^2}$$
Подставив приращение потенциальной энергии и ускорение свободного падения, получим ответ:
$$\boxed{\varepsilon=\frac{h}{R}}$$