Решение

Сначала решим задачу в СТО, так как в условии не указано на необходимость приближений, а глава всё таки называется СТО...

Гамма-фактор:
$$\gamma(v)=\left(1-\frac{v^2}{c^2}\right)^{-\frac{1}{2}}\tag{1}$$

ЗСЭ:
$$\gamma_1m_1c^2+\gamma_2m_2c^2=\gamma Mc^2$$
или чуть упростив
$$\gamma_1m_1+\gamma_2m_2=\gamma M\tag{2}$$
Запишем ЗСИ по осям (одна сонаправлена с $v_1$, другая ей перпендикулярна). Пусть скорость итоговой частицы направлена под углом $\varphi$ к первой оси:
$$\gamma_1 m_1 v_1+\gamma_2 m_2 v_2\cos\alpha=\gamma M v\cos\varphi\tag{3}$$
$$\gamma_2 m_2 v_2\sin\alpha=\gamma M v\sin\varphi\tag{4}$$
Записать законы сохранения в таких задачах несложно, самое важное - аккуратно и быстро решить получившуюся систему. Можно сделать так: возведем $(4)$ и $(5)$ в квадрат, сложим получившиеся выражения, используя основное тригонометрическое тождество избавимся от $\varphi$, подставим туда $\gamma M$ из $(3)$:
$$(\gamma_1 m_1 v_1+\gamma_2 m_2 v_2\cos\alpha)^2+(\gamma_2 m_2 v_2\sin\alpha)^2=(\gamma_1m_1+\gamma_2m_2)^2v^2$$
$$(\gamma_1 m_1 v_1)^2 +2\gamma_1\gamma_2m_1m_2 v_1v_2\cos\alpha+(\gamma_2 m_2 v_2)^2=(\gamma_1m_1+\gamma_2m_2)^2v^2$$
$$v^2=\frac{(\gamma_1 m_1 v_1)^2 +2\gamma_1\gamma_2m_1m_2 v_1v_2\cos\alpha+(\gamma_2 m_2 v_2)^2}{(\gamma_1m_1+\gamma_2m_2)^2}$$
$$v^2=\frac{(\gamma_1 m_1 v_1)^2 +2\gamma_1\gamma_2m_1m_2 v_1v_2\cos\alpha+(\gamma_2 m_2 v_2)^2}{(\gamma_1m_1+\gamma_2m_2)^2}\tag{5}$$
Строго говоря это и есть ответ. Подставив $(5)$ в $(2)$, можно получить и массу.

Но исходя из авторского ответа, предполагается что для всех скоростей $\gamma\approx 1$, тогда
$$v=\frac{\sqrt{(m_1v_1)^2+(m_2v_2)^2+2m_1m_2v_1v_2\cos\alpha}}{m_1+m_2}\tag{6}$$
$$M=m_1+m_2\tag{7}$$

Если бы автор указал бы это в условии, можно было бы получить то же самое намного проще:
$$M=m_1+m_2$$
$$(m_1+m_1)\vec v=m_1\vec v_1+m_2\vec v_2$$
Возведем в квадрат и воспользуемся правилами скалярного произведения:

$$(m_1+m_1)^2 v^2=m_1^2v_1^2+m^2_2 v^2_2+2m_1m_2v_1v_2\cos\alpha$$
и отсюда выразить ответ