Сперва хотел отразить точку A по y=x. Потом эту точку повернуть на 45-arctan(1/2), где arctan(1/2) угол между осью абсцисс и линией y=x/2. Нарисовав график, понял, что это не сработает.
Возьмем некую точку x,y с x>0 и y>0 (т.е. в первом квадранте). Вы можете найти координаты отраженной точки? Или хотя бы нарисовать эту точку на рисунке?
Обычно, чтобы построить отражение, мы опускаем перпендикуляр от точки к прямой. Если точка пересечения этого перпендикуляра O, то BO=OC и угол \angle BOC = 180^\circ. Мы знаем координату точки B. Можем ли мы найти координату точки O? А затем точки C?
Я веду к тому, что матрица, которая вам нужна, является последовательным применением матриц отражения и матриц поворота , т.е. является произведением этих матриц. Т.е. вы правильно выбрали идею решения, сначала отразить, потом повернуть. Попробуйте отразить от другой прямой, например от y=0 и/или сделать больше шагов: повернуть - отразить - повернуть обратно