Let (<em>x</em>, <em>y</em>, <em>z</em>) be a point on the plane in the first octant. The box formed by this point has volume <em>xyz</em>, and you want to maximize this subject to the equation of the plane.
Use the method of Lagrange multipliers: the Lagrangian is
<em>L</em>(<em>x</em>, <em>y</em>, <em>z</em>) = <em>xyz</em> - <em>λ</em> (<em>x</em> + 2<em>y</em> + 3<em>z</em> - 6)
Find its critical points:
∂<em>L</em>/∂<em>x</em> = <em>yz</em> - <em>λ</em> = 0
∂<em>L</em>/∂<em>y</em> = <em>xz</em> - 2<em>λ</em> = 0
∂<em>L</em>/∂<em>z</em> = <em>xy</em> - 3<em>λ</em> = 0
∂<em>L</em>/∂<em>λ</em> = -(<em>x</em> + 2<em>y</em> + 3<em>z</em> - 6) = 0
Solving the first three equations for <em>λ</em> gives
<em>λ</em> = <em>yz</em> = <em>xz</em>/2 = <em>xy</em>/3
Solve these equations for <em>y</em> and <em>z</em> :
• <em>yz</em> = <em>xz</em>/2 => <em>y</em> = <em>x</em>/2 => 2<em>y</em> = <em>x</em>
• <em>yz</em> = <em>xy</em>/3 => <em>z</em> = <em>x</em>/3 => 3<em>z</em> = <em>x</em>
Substitute these solutions into the last equation and solve for <em>x</em>, then again for <em>y</em> and <em>z</em> :
<em>x</em> + 2<em>y</em> + 3<em>z</em> - 6 = 3<em>x</em> - 6 = 0 => 3<em>x</em> = 6 => <em>x</em> = 2, <em>y</em> = 1, <em>z</em> = 2/3
At this critical point, the maximum volume is
<em>xyz</em> = 2*1*2/3 = 4/3