There's probably a more efficient way to do it, but the following method works.
First, note that
<em>x</em>² - <em>x</em> - 2 = (<em>x</em> + 1) (<em>x</em> - 2)
Now use synthetic division to divide
<em>a</em> <em>x</em>⁴ + <em>b</em> <em>x</em>³ - <em>x</em>² + 2<em>x</em> + 3
by the two factors above.
Division by <em>x</em> + 1 :
-1 | <em>a</em> <em>b</em> -1 2 3
… | -<em>a a</em> - <em>b</em> -<em>a</em> + <em>b</em> + 1 <em>a</em> - <em>b</em> - 3
= = = = = = = = = = = = = = = = = = = = = = = = = = = = =
… | <em>a</em> <em>b</em> - <em>a a</em> - <em>b</em> - 1 -<em>a</em> + <em>b</em> + 3 <em>a</em> - <em>b</em>
which is to say,
(<em>a</em> <em>x</em>⁴ + <em>b</em> <em>x</em>³ - <em>x</em>² + 2<em>x</em> + 3) / (<em>x</em> + 1)
= <em>a</em> <em>x</em>³ + (<em>b</em> - <em>a</em>) <em>x</em>² + (<em>a</em> - <em>b</em> - 1) <em>x</em> + (-<em>a</em> + <em>b</em> + 3) + (<em>a</em> - <em>b</em>) / (<em>x</em> + 1)
Division by <em>x</em> - 2 :
2 | <em>a b</em> - <em>a</em> <em>a</em> - <em>b</em> - 1 -<em>a</em> + <em>b</em> + 3
… | 2<em>a </em>2<em>a</em> + 2<em>b </em>6<em>a</em> + 2<em>b</em> - 2
= = = = = = = = = = = = = = = = = = = = = = = = = = =
… | <em>a a</em> + <em>b </em>3<em>a</em> + <em>b</em> - 1 5<em>a</em> + 3<em>b</em> + 1
meaning,
(<em>a</em> <em>x</em>³ + (<em>b</em> - <em>a</em>) <em>x</em>² + (<em>a</em> - <em>b</em> - 1) <em>x</em> + (-<em>a</em> + <em>b</em> + 3)) / (<em>x</em> - 2)
= <em>a</em> <em>x</em>² + (<em>a</em> + <em>b</em>) <em>x</em> + (3<em>a</em> + <em>b</em> - 1) + (5<em>a</em> + 3<em>b</em> + 1) / (<em>x</em> - 2)
Putting everything together, we have
(<em>a</em> <em>x</em>⁴ + <em>b</em> <em>x</em>³ - <em>x</em>² + 2<em>x</em> + 3) / (<em>x</em>² - <em>x</em> - 2)
= <em>a</em> <em>x</em>² + (<em>a</em> + <em>b</em>) <em>x</em> + (3<em>a</em> + <em>b</em> - 1) + (5<em>a</em> + 3<em>b</em> + 1) / (<em>x</em> - 2) + (<em>a</em> - <em>b</em>) / (<em>x</em>² - <em>x</em> - 2)
Combine the remainder terms:
(5<em>a</em> + 3<em>b</em> + 1) / (<em>x</em> - 2) + (<em>a</em> - <em>b</em>) / (<em>x</em>² - <em>x</em> - 2)
= ((5<em>a</em> + 3<em>b</em> + 1) <em>x</em> + (6<em>a</em> + 2<em>b</em> + 1)) / (<em>x</em>² - <em>x</em> - 2)
We're given that the remainder is 3<em>x</em> + 5, so
5<em>a</em> + 3<em>b</em> + 1 = 3
6<em>a</em> + 2<em>b</em> + 1 = 5
Solve this system for <em>a</em> and <em>b</em> :
5<em>a</em> + 3<em>b</em> = 2
6<em>a</em> + 2<em>b</em> = 4
5<em>a</em> + 3<em>b</em> = 2
3<em>a</em> + <em>b</em> = 2
5<em>a</em> + 3<em>b</em> = 2
-9<em>a</em> - 3<em>b</em> = -6
(5<em>a</em> + 3<em>b</em>) + (-9<em>a</em> - 3<em>b</em>) = 2 + (-6)
-4<em>a</em> = -4
<em>a</em> = 1
5 • 1 + 3<em>b</em> = 2
3<em>b</em> = -3
<em>b</em> = -1