Решение

Для начала найдем приращение потенциальной энергии:
$$\Delta U=U-U_0$$
$$U=\frac{-γMm}{R+h}$$
$$U_0=\frac{-γMm}{R}$$
Подставим послдение вда уравнение в первое:
$$\Delta U=-\frac{γMm}{R+h}-(-\frac{γMm}{R})\Rightarrow$$
$$\Rightarrow \boxed{\Delta U=\gamma \frac{Mmh}{R(R+h)}}$$
Относительная ошибка находится по отношению разницы приближенного и верного значений к верному значению, то есть:
$$\varepsilon=\frac{mgh-\Delta U}{\Delta U}$$
Подставив приращение потенциальной энергии, получим ответ:
$$\boxed{\varepsilon=\frac{h}{R}}$$