足し算の $+$ や，かけ算の $\times$ のように，二つの数から新たな数をひとつ決める規則を二項演算子といいます．
問題文の演算子 $\star$ は，$0$ でないふたつの実数からひとつの実数を決める規則を定めます．この奇妙な演算子 $\star$ が満たす $2$ つの条件だけを手掛かりに，方程式を解くのが今回の問題です．
解法
与えられた規則を使える様に，方程式をいじってやる方針で解いてみましょう．別の解き方は下の補足で説明しています．
方程式の左辺に，二番目の規則を適用すると $$1\star (2 \star x)=(1\star 2)\times x$$ です．したがって， $$(1\star 2)\times x=1 \star x$$ ここで，両辺を $\frac{2}{x}$ 倍すると ($x$ が $0$ でないことに注意)， $$(1\star 2)\times 2=(1 \star x)\times \frac{2}{x}$$ です．この式の左辺に，再び二番目の規則を適用すると， $$1\star(2\star2)=(1 \star x)\times \frac{2}{x}$$ となります．ここで，一番目の規則より， $$1\star(2\star 2)=1\star 1=1$$ なので， $$1=(1 \star x)\times \frac{2}{x}$$ です．さらに，両辺を $\frac{x^2}{2}$ 倍すると， $$\frac{x^2}{2}=(1\star x)\times x$$ 先程と同様に，右辺は， $$(1\star x)\times x=1\star(x \star x)=1\star 1=1$$ 結局，もとの方程式は， $$\frac{x^2}{2}=1$$ と同値です．これを解くと， $$x=\pm \sqrt{2}$$ です．よって，答えは $\boxed{x=\pm \sqrt{2}}$ となります．
補足
実は，二項演算 $a\star b$ の値は $\frac{a}{b}$ と一致します．これを示す方針で解いても正解です．（鋭い数覚の持ち主なら気づいたかもしれません） まず，$\frac{a}{b}$ が与えられた $2$ つの規則を満たすことは簡単に確かめられます． 次に，$a\star b=\frac{a}{b}$ を示します． まず，$a=b=c$ のときを考えると，二番目の規則から， $$a\star (a\star a)=(a\star a)\times a $$ 一番目の規則より，$a\star a=1$ なので， $$a\star 1=1\times a=a$$ したがって，$a \star 1=a$ であることがわかります．ここで，二番目の規則で，$b=c$ とすると， $$a\star (b\star b)=(a\star b)\times b$$ つまり， $$a\star 1=(a\star b)\times b$$ となります．$a \star 1=a$ を代入すると， $$a\star b=\frac{a}{b}$$ が示されます．
したがって，この問題の方程式は， $$\frac{1}{\frac{2}{x}}=\frac{1}{x}$$ つまり， $$x^2=2$$ と同値になるというわけです．
