We have
f ( x , y ) = x 3 − 3 x y 2 − 3 x 2 − 3 y 2 f x ( x , y ) = 3 x 2 − 3 y 2 − 6 x f x x ( x , y ) = 6 x − 6 f y ( x , y ) = − 6 x y − 6 y f y y ( x , y ) = − 6 x − 6 f x y ( x , y ) = − 6 y \begin{aligned}
f(x,y)&=x^3-3xy^2-3x^2-3y^2\qquad &
f_x(x,y)&=3x^2-3y^2-6x\qquad &
f_{xx}(x,y)&=6x-6 \\
& & f_y(x,y)&=-6xy-6y &
f_{yy}(x,y)&=-6x-6 \\
& & & &f_{xy}(x,y)&=-6y
\end{aligned} f ( x , y ) = x 3 − 3 x y 2 − 3 x 2 − 3 y 2 f x ( x , y ) f y ( x , y ) = 3 x 2 − 3 y 2 − 6 x = − 6 x y − 6 y f xx ( x , y ) f yy ( x , y ) f x y ( x , y ) = 6 x − 6 = − 6 x − 6 = − 6 y
At a critical point
f x ( x , y ) = f y ( x , y ) = 0 ⟺ 3 ( x 2 − y 2 − 2 x ) = 0 and − 6 y ( x + 1 ) = 0 ⟺ { x = − 1 or y = 0 } and x 2 − y 2 − 2 x = 0 ⟺ ( x , y ) = ( − 1 , 3 ) or ( − 1 , − 3 ) or ( 0 , 0 ) or ( 2 , 0 ) \begin{aligned}
f_x(x,y)=f_y(x,y)=0
&\iff 3(x^2-y^2-2x)=0\text{ and }-6y(x+1)=0 \\
&\iff \{x=-1\text{ or }y=0\}\text{ and }x^2-y^2-2x=0 \\
&\iff (x,y)=(-1,\sqrt{3})\text{ or }(-1,-\sqrt{3})\text{ or }(0,0)
\text{ or }(2,0)
\end{aligned} f x ( x , y ) = f y ( x , y ) = 0 ⟺ 3 ( x 2 − y 2 − 2 x ) = 0 and − 6 y ( x + 1 ) = 0 ⟺ { x = − 1 or y = 0 } and x 2 − y 2 − 2 x = 0 ⟺ ( x , y ) = ( − 1 , 3 ) or ( − 1 , − 3 ) or ( 0 , 0 ) or ( 2 , 0 )
Here is a table giving the classification of each of the four critical
points.
critical point f x x f y y − f x y 2 f x x type ( 0 , 0 ) ( − 6 ) × ( − 6 ) − 0 2 > 0 − 6 local max ( 2 , 0 ) 6 × ( − 18 ) − 0 2 < 0 saddle point ( − 1 , 3 ) ( − 12 ) × 0 − ( − 6 3 ) 2 < 0 saddle point ( − 1 , − 3 ) ( − 12 ) × 0 − ( 6 3 ) 2 < 0 saddle point \begin{array}{|c|c|c|c|}\hline \genfrac{}{}{0pt}{}{\text{critical}}{\text{point}} & f_{xx}f_{yy}-f_{xy}^2 & f_{xx} & \text{type} \\ \hline (0,0) & (-6)\times(-6)-0^2>0 & -6 & \text{local max} \\ \hline (2,0) & 6\times(-18)-0^2<0 & & \text{saddle point} \\ \hline (-1,\sqrt{3}) & (-12)\times0-(-6\sqrt{3})^2<0 & & \text{saddle point} \\ \hline (-1,-\sqrt{3}) & (-12)\times 0-(6\sqrt{3})^2<0 & & \text{saddle point} \\ \hline \end{array} point critical ( 0 , 0 ) ( 2 , 0 ) ( − 1 , 3 ) ( − 1 , − 3 ) f xx f yy − f x y 2 ( − 6 ) × ( − 6 ) − 0 2 > 0 6 × ( − 18 ) − 0 2 < 0 ( − 12 ) × 0 − ( − 6 3 ) 2 < 0 ( − 12 ) × 0 − ( 6 3 ) 2 < 0 f xx − 6 type local max saddle point saddle point saddle point