Решение

Запишем второй закон Ньютона, с учетом того, что ускорение равно нулю:
$$T=(m+M)g$$
Запишем уравнение статики, относиетльно оси катушки:
$$Tr=mgR$$
Подставим силу натяжения нити:
$$(m+M)gr=mgR$$
Сократим ускорение свободного падения, раскрыв скобки:
$$mr+Mr=mR$$
Получим ответ:
$$\boxed{m=\frac{Mr}{R-r}}$$