Do $SA\perp AC,SB\perp BC$ nên $S,A,B,C$ nằm trên mặt cầu đường kính $SC$,

Ta có $A{C}^2=A{B}^2+B{C}^2-2AB.BC.\sin {45}^0=10a^2\Rightarrow AC=a\sqrt{10}$

Gọi H là hình chiếu vuông góc của S lên (ABC)

Ta có $CA\perp SA$ và $CA\perp SH$ nên $CA\perp HA$

Tương tự: $CB\perp HB$

Khi đó ABCH nội tiếp đường tròn đường kính HC nên $HC=\frac{AC}{\sin {45}^0}=2\sqrt{5}a$

Ta có: $HB=\sqrt{H{C}^2-B{C}^2}=a\sqrt{2}$

Gọi K, I là hình chiếu vuông góc của C và của H lên AB. Khi đó $\Delta CKB$ và $\Delta HIB$ vuông cân nên $CK=\frac{3\sqrt{2}a}{\sqrt{2}}=3a$ và $HI=\frac{HB}{\sqrt{2}}=a$

Do đó $\frac{d\left(H,\left(SAB\right)\right)}{d\left(C,\left(SAB\right)\right)}=\frac{HI}{CK}=\frac{1}{3}$

Ta có $\sin \alpha =\frac{\sqrt{2}}{4}\Rightarrow \frac{d\left(C,\left(SAB\right)\right)}{CB}=\frac{\sqrt{2}}{4}\Rightarrow d\left(C,\left(SAB\right)\right)=CB.\frac{\sqrt{2}}{4}=\frac{3a}{2}\Rightarrow d\left(H,\left(SAB\right)\right)=\frac{a}{2}$

Khi đó $\frac{1}{S{H}^2}=\frac{1}{d^2\left(H,\left(SAB\right)\right)}-\frac{1}{H{I}^2}=\frac{4}{a^2}-\frac{1}{a^2}=\frac{3}{a^2}\Rightarrow S{H}^2=\frac{a^2}{3}$

Vậy $SC=\sqrt{S{H}^2+H{C}^2}=\sqrt{\frac{a^2}{3}+20a^2}=\frac{a\sqrt{183}}{3}$, suy ra bán kính mặt cầu $R=\frac{a\sqrt{183}}{6}$