I'll use the integrating factor method for the first DE, and undetermined coefficients for the second one.
(a) Multiply both sides by exp(7<em>t</em> ):
exp(7<em>t</em> ) d<em>x</em>/d<em>t</em> + 7 exp(7<em>t</em> ) <em>x</em> = 5 exp(7<em>t</em> ) cos(2<em>t</em> )
The left side is now the derivative of a product:
d/d<em>t</em> [exp(7<em>t</em> ) <em>x</em>] = 5 exp(7<em>t</em> ) cos(2<em>t</em> )
Integrate both sides:
exp(7<em>t</em> ) <em>x</em> = 10/53 exp(7<em>t</em> ) sin(2<em>t</em> ) + 35/53 exp(7<em>t</em> ) cos(2<em>t</em> ) + <em>C</em>
Solve for <em>x</em> :
<em>x</em> = 10/53 sin(2<em>t</em> ) + 35/53 cos(2<em>t</em> ) + <em>C</em> exp(-7<em>t</em> )
(b) Solve the corresonding homogeneous DE:
d²<em>x</em>/d<em>t</em> ² + 6 d<em>x</em>/d<em>t</em> + 8<em>x</em> = 0
has characteristic equation
<em>r</em> ² + 6<em>r</em> + 8 = (<em>r</em> + 4) (<em>r</em> + 2) = 0
with roots at <em>r</em> = -4 and <em>r</em> = -2. So the characteristic solution is
<em>x</em> (char.) = <em>C₁</em> exp(-4<em>t</em> ) + <em>C₂</em> exp(-2<em>t</em> )
For the particular solution, assume an <em>ansatz</em> of the form
<em>x</em> (part.) = <em>a</em> cos(3<em>t</em> ) + <em>b</em> sin(3<em>t</em> )
with derivatives
d<em>x</em>/d<em>t</em> = -3<em>a</em> sin(3<em>t</em> ) + 3<em>b</em> cos(3<em>t</em> )
d²<em>x</em>/d<em>t</em> ² = -9<em>a</em> cos(3<em>t</em> ) - 9<em>b</em> sin(3<em>t</em> )
Substitute these into the non-homogeneous DE and solve for the coefficients:
(-9<em>a</em> cos(3<em>t</em> ) - 9<em>b</em> sin(3<em>t</em> ))
… + 6 (-3<em>a</em> sin(3<em>t</em> ) + 3<em>b</em> cos(3<em>t</em> ))
… + 8 (<em>a</em> cos(3<em>t</em> ) + <em>b</em> sin(3<em>t</em> ))
= (-<em>a</em> + 18<em>b</em>) cos(3<em>t</em> ) + (-18<em>a</em> - <em>b</em>) sin(3<em>t</em> ) = 5 sin(3<em>t</em> )
So we have
-<em>a</em> + 18<em>b</em> = 0
-18<em>a</em> - <em>b</em> = 5
==> <em>a</em> = -18/65 and <em>b</em> = -1/65
so that the particular solution is
<em>x</em> (part.) = -18/65 cos(3<em>t</em> ) - 1/65 sin(3<em>t</em> )
and thus the general solution is
<em>x</em> (gen.) = <em>x</em> (char.) + <em>x</em> (part.)
<em>x</em> = <em>C₁</em> exp(-4<em>t</em> ) + <em>C₂</em> exp(-2<em>t</em> ) - 18/65 cos(3<em>t</em> ) - 1/65 sin(3<em>t</em> )
