Решение

Запишем второй закон Ньютона, с учетом того, что ускорение равно нулю:

$$T=(m+M)g$$

Запишем уравнение статики, относиетльно оси катушки:

$$Tr=mgR$$

Подставим силу натяжения нити:

$$(m+M)gr=mgR$$

Сократим ускорение свободного падения, раскрыв скобки:

$$mr+Mr=mR$$

Получим ответ:

$$\boxed{m=\frac{Mr}{R-r}}$$