Решение

Поскольку частицы одинаковые, то их массы равны. Обозначим векторы начальных скоростей $\vec\upsilon_{1}$, $\vec\upsilon_{2}$, конечных скоростей - $\vec u_{1}$, $\vec u_{2}$ и угол между ними $\beta$.

Запишем закон сохранения энергии:

$$\upsilon_{1}^{2}+\upsilon_{2}^{2}=u_{1}^{2}+u_{2}^{2}$$

Запишем закон сохранения импульса в векторной форме:

$$\vec\upsilon_{1}+\vec\upsilon_{2}=\vec u_{1}+\vec u_{2}$$

Взведём в квадрат векторное равенство:

$$\upsilon_{1}^{2}+\upsilon_{2}^{2}+2\upsilon_{1}\upsilon_{2}\cos\alpha=u_{1}^{2}+u_{2}^{2}+2u_{1}u_{2}\cos\beta$$

Используя закон сохранения энергии, упростим:

$$\upsilon_{1}\upsilon_{2}\cos\alpha=u_{1}u_{2}\cos\beta$$
$$\cos\beta=\frac{\upsilon_{1}\upsilon_{2}\cos\alpha}{u_{1}u_{2}}$$

$u_{2}$ выразим из закона сохранения энергии:

$$u_{2}=\sqrt{\upsilon_{1}^{2}+\upsilon_{2}^{2}-u_{1}^{2}}$$

Окончательно:

$$\cos\beta=\frac{\upsilon_{1}\upsilon_{2}\cos\alpha}{u_{1}\sqrt{\upsilon_{1}^{2}+\upsilon_{2}^{2}-u_{1}^{2}}}$$

Чтобы задача имела физическое решение, необходимо выполнение двух условий:

$$u_{1}^{2} \lt v_{1}^{2}+v_{2}^{2} \tag{1}$$
$$\cos\alpha\le \frac{u_{1}\sqrt{\upsilon_{1}^{2}+\upsilon_{2}^{2}-u_{1}^{2}}}{\upsilon_{1}\upsilon_{2}} \tag{2}$$