<em>f(x)</em> = 1/(1 - <em>x</em>)
<em>g(x)</em> = (<em>x</em> - 1)/<em>x</em>
The inverse functions <em>f</em> ⁻¹<em>(x)</em> and <em>g </em>⁻¹<em>(x)</em>, if they exist, are such that
<em>f( f</em> ⁻¹<em>(x) )</em> = <em>x</em>
<em>g( g</em> ⁻¹<em>(x) )</em> = <em>x</em>
So we have
<em>f( f</em> ⁻¹<em>(x) )</em> = 1/(1 - <em>f</em> ⁻¹<em>(x) </em>) = <em>x</em>
Solve for <em>f</em> ⁻¹<em>(x)</em> :
1 = (1 - <em>f</em> ⁻¹<em>(x)</em> ) <em>x</em>
1 - <em>f</em> ⁻¹<em>(x)</em> = 1/<em>x</em>
<em>f</em> ⁻¹<em>(x)</em> = 1 - 1/<em>x</em>
<em>f</em> ⁻¹<em>(x)</em> = (<em>x</em> - 1)/<em>x</em>
and so <em>f</em> ⁻¹<em>(x)</em> = <em>g(x)</em>.
Similarly, you can solve for <em>g</em> ⁻¹<em>(x)</em> <em>:</em>
<em>g(</em> <em>g</em> ⁻¹<em>(x) )</em> = (<em>g</em> ⁻¹<em>(x)</em> - 1) / <em>g</em> ⁻¹<em>(x)</em> = <em>x</em>
1 - 1/<em>g</em> ⁻¹<em>(x)</em> = <em>x</em>
1/<em>g</em> ⁻¹<em>(x)</em> = 1 - <em>x</em>
<em>g</em> ⁻¹<em>(x)</em> = 1/(1 - <em>x</em>)
So we know <em>f(x)</em> and <em>g(x)</em> are inverses of one another,
<em>f</em> ⁻¹<em>(x)</em> = <em>g(x)</em>
<em>g</em> ⁻¹<em>(x)</em> = <em>f(x)</em>
Then
(a) (<em>f</em> o <em>g</em>)(<em>x</em>) = <em>x</em>
(b) (<em>g</em> o <em>f</em> ⁻¹)(<em>x</em>) = <em>g(g(x))</em> = (<em>g(x)</em> - 1)/<em>g(x)</em> = 1 - 1/<em>g(x)</em> = 1 - <em>x</em>/(<em>x</em> - 1) = 1/(1 - <em>x</em>)
(c) (<em>f</em> o<em> g</em> ⁻¹)(<em>x</em>) = <em>f(f(x))</em> = 1/(1 - <em>f(x) </em>) = 1/(1 - 1/(1 - <em>x</em>)) = 1/(<em>x</em>/(<em>x</em> - 1)) = (<em>x</em> - 1)/<em>x</em>