Элементарная математика. Геометрия.

Пусть:
$O_1$ и $O_2$ — центры больших шаров радиуса $R$, $A$ и $B$ — точки их касания с плоскостью;
$O_3$  — центр одного из меньших шаров радиуса $r$, $C$ и $D$ — точки их касания с плоскостью.

Тогда $AB = 2R$, $CD = 2r$.

Соединим точки $O_1$ и $O_3$, $O_1$ и $A$, проведем отрезок $O_3E \parallel CA$.

По теореме Пифагора для прямоугольного треугольника $O_1O_3E$ получим

$AC^2 =(R + r)^2 - (R - r)^2 =4Rr.$

С другой стороны, $AC^2$ можно найти из прямоугольного $\triangle AOC$ по теореме Пифагора 

$AC^2 = R^2 + r^2.$

Приравниваем выражения для $AC^2$:

$4Rr =R^2 + r^2.$

Переносим все в левую часть и получаем квадратное уравнение относительно $R$
$R^2 - 4Rr + r^2 = 0.$
Его решение записывается так
$R = \frac{4r \pm \sqrt{12r^2}}{2} = \frac{4r \pm 2\sqrt{3}r}{2} = r(2 \pm \sqrt{3}).$
Если $R > r$, то выбираем $R = r(2 + \sqrt{3})$.
Тогда $\frac{R}{r} = 2 + \sqrt{3}.$

Ответ:

$( 2 + \sqrt{3}).$