Альтернативное решение

Будем рассматривать моменты сил относительно точки касания $\textbf{O}$ катушки с поверхностью, так как не знаем, в какую сторону направлена сила трения. Относительно этой точки ненулевой момент имеет только сила $\textbf{F}$.
Отметим такой $\alpha = \theta$, что при этом угле линия действия силы $\textbf{F}$ проходит через точку касания $\textbf{O}$.

1. при $\alpha > \theta$ момент силы $\textbf{F}$ направлен на читателя перпендикулярно плоскости рисунка и, следовательно, катушка ускоряется влево.
2. при $\alpha < \theta$ момент силы $\textbf{F}$ направлен от читателя перпендикулярно плоскости рисунка и, следовательно, катушка ускоряется вправо, то есть в сторону натянутой нити.
3. при $\alpha = \theta$ момент силы $\textbf{F}$ нулевой - катушка не вращается.

Из геометрии находим:

$$\cos\theta = \frac{r}{R}$$

Альтернативное (вольное) решение