В задачах такого вида принято считать первой среду в которой луч падает и отражается, второй — в которой преломляется. С учетом этого у вас ошибка в условии: нужно tg α = n2/n1.
Обозначим угол между отраженным и преломленным лучом буквой φ (рис. ), где
γ + φ + β = 180° или φ = 180° – (γ + β). (1)
По закону преломления
\[ \frac{ \sin \alpha }{ \sin \gamma } = \frac{n_2}{n_1}, \] (2)
По условию
\[ tg \alpha = \frac{ \sin \alpha }{ \cos \alpha } =
\frac{n_2}{n_1}.\;\;\; (3) \]
Из уравнений (2)-(3) получаем, что cos α = sin γ. Так как
cos α = sin (90° – α), а α = β (закон отражения), то
90° – α = 90° – β = γ или γ + β = 90°.
Подставим полученное выражение в уравнение (1)
φ = 180° – 90° = 90°.