I assume the given plane has equation
<em>x</em> + 3<em>y</em> + 4<em>z</em> = <em>d</em>
for some constant <em>d</em> ≠ 0.
You want to maximize the function <em>V(x, y, z)</em> = <em>xyz</em> subject to the above constraint. The Lagrangian would be
<em>L(x, y, z, λ)</em> = <em>xyz</em> - <em>λ</em> (<em>x</em> + 3<em>y</em> + 4<em>z</em> - <em>d</em>)
Find its critical points:
∂<em>L</em>/∂<em>x</em> = <em>yz</em> - <em>λ</em> = 0
∂<em>L</em>/∂<em>y</em> = <em>xz</em> - 3<em>λ</em> = 0
∂<em>L</em>/∂<em>z</em> = <em>xy</em> - 4<em>λ</em> = 0
∂<em>L</em>/∂<em>λ</em> = <em>x</em> + 3<em>y</em> + 4<em>z</em> - <em>d</em> = 0
The first three equations tell you that <em>λ</em> = <em>yz</em> = <em>xz</em>/3 = <em>xy</em>/4. Then, for instance,
<em>yz</em> = <em>xz</em>/3 → 3<em>yz</em> - <em>xz</em> = <em>z</em> (3<em>y</em> - <em>x</em>) = 0 → <em>z</em> = 0 <u>or</u> 3<em>y</em> - <em>x</em> = 0
If <em>z</em> = 0, we get zero volume which is not useful. So 3<em>y</em> = <em>x</em>. Similarly, you would find <em>x</em> = 4<em>z</em> and 3<em>y</em> = 4<em>z</em>, so a critical point occurs when <em>x</em> = 3<em>y</em> = 4<em>z</em>.
In the fourth equation, we get upon substituting
<em>x</em> + 3<em>y</em> + 4<em>z</em> = 3<em>x</em> = <em>d</em> → <em>x</em> = <em>d</em>/3, <em>y</em> = <em>d</em>/9, <em>z</em> = <em>d</em>/12
Then the largest volume of this box would be
<em>V(d</em>/3, <em>d</em>/9, <em>d</em>/12<em>)</em> = <em>d</em> ³ / 324
