Решение

По условию задачи, наблюдатель на Земле видит, что ракета теряет массу $m$, тогда релятивистская масса ракеты в лабораторной системе будет меняться по закону:

$$M_{рел}=M-mt \tag{1}$$

Полная энергия ракеты:

$$E=M_{рел}c^{2}$$

Или с использованием (1):

$$E(t)=(M-mt)c^{2} \tag{2}$$

Продифференцируем и найдём изменение энергии ракеты за время $dt$:

$$dE=-mc^{2}dt$$

Эта энергия полностью уносится излучаемыми назад фотонами:

$$dE_{ф}=-dE=mc^{2}dt$$

Так как фотоны излучаются строго назад, их суммарный импульс равен:

$$dP_{ф}=-\frac{dE_{ф}}{c}=-mcdt$$

Согласно закону сохранения импульса, импульс ракеты увеличивается на такую же величину, но в противоположном направлении:

$$dP=-dP_{ф}=mcdt$$

Интегрируя это выражение от $t=0$, когда $P(0)=0$, получаем импульс ракеты в момент времени $t$:

$$P(t)=mct \tag{3}$$

Для любого релятивистского объекта выполняется инвариантная связь между полной энергией, импульсом и массой покоя $M_{0}$:

$$E^{2}-P^{2}c^{2}=M_{0}^{2}c^{4} \tag{4}$$

Подставим (2) и (3) в (4):

$$(M-mt)^{2}c^{4}-m^{2}c^{2}t^{2}c^{2}=M_{0}^{2}c^{4}$$

Упрощая, получим:

$$M_{0}^{2}=M^{2}-2Mmt$$

Или:

$$M_{0}(t)=M\sqrt{1-\frac{2mt}{M}} \tag{5}$$

Так как подкоренное выражение должно быть больше 0, то получим ограничение по времени: $t\lt \frac{M}{2m}$.

Скорость релятивистской ракеты выразим через импульс:

$$\upsilon(t)=\frac{P(t)}{M_{рел}}=\frac{P(t)c^{2}}{E(t)}$$

Подставим сюда выражения (2) и (3):

$$\upsilon(t)=\frac{mctc^{2}}{(M-mt)c^{2}}=\frac{mct}{M-mt}$$

Стоит отметить, что когда масса покоя ракеты станет равной 0 в момент времени $t=\frac{M}{2m}$, скорость ракеты станет равной скорости света. В этот момент наша ракеты превратится в луч света. Наверное, это очень красиво.