Решение

На систему тел массами $M$ и $m$ не действуют внешние горизонтальные силы, поэтому по горизонтали центр масс этих тел двигаться не должен. Пусть масса $m$ в общем случае колеблется с малой амплитудой, тогда и по вертикали центр масс указанных тел практически не движется.

Обозначим точку центра масс тел через $D$. Получается, что масса $m$ колеблется так, как будто подвешена в неподвижной(!) точке $D$ на нити длиной $DC$. Запишем период ее колебаний

$$T_m=2\pi\sqrt{\dfrac{DC}{g}}.$$

Ясно, что для неподвижности точки $D$ период колебаний точки $A$ должен быть равен периоду колебаний массы $m$ на нити $DC$:

$$T_m=T_A=\frac{2\pi}{\omega}.$$

Длина нити $DC$ находится через определение центра масс

$$DC=\frac{BC\cdot M}{M+m}.$$

Из всех предыдущих уравнений получаем

$$BC=\frac{g(M+m)}{\omega^2M}.$$