ไม่ทราบว่าผมทำผิดตรงไหนครับ ช่วยเช็คให้ที
ให้ $x=y=0$ ได้ว่า $f(f(0))=f(0)-f(0)+f(f(0))-f(0)-3f(0)$ นั่นคือ $f(0)=0$
ให้ $x=0$ ได้ว่า $f(f(y))=f(y)-f(0)+f(f(y^2))-f(-y)-y^2-3f(0)+3y$
$\therefore f(f(y))=f(y)+f(f(y^2))-f(-y)-y^2+3y$ ________(1)
ให้ $y=0$ ได้ว่า $f(f(x^2))=f(x)-f(-x)+f(f(0))-f(x)+x^2-3f(x)-2x$
$\therefore f(f(x^2))=x^2-2x-3f(x)-f(-x)$ ______________(2)
แทน (2) ใน (1) ได้ว่า $f(f(y))=f(y)+y^2-2y-3f(y)-f(-y)-f(-y)-y^2+3y$
$\therefore f(f(y))=y-2f(y)-2f(-y)$______________(3)
แทน $y=x^2$ ใน (3) ได้ว่า $f(f(x^2))=x^2-2f(x^2)-2f(-x^2)$_________(4)
จาก (2)=(4) ได้ว่า $x^2-2x-3f(x)-f(-x)=x^2-2f(x^2)-2f(-x^2)$
$\therefore 2f(x^2)+2f(-x^2)=2x+3f(x)+f(-x)$______________(5)
แทน $x$ ด้วย $-x$ ใน (5) ได้ว่า $2f(x^2)+2f(-x^2)=-2x+3f(-x)+f(x)$_____________(6)
จาก (5)=(6) ได้ว่า $2x+3f(x)+f(-x)=-2x+3f(-x)+f(x)$
$\therefore 2x+f(x)=f(-x)$
จาก (3) ได้ว่า $f(f(y))=y-2f(y)-2(2y+f(y))=-3y$___________(7)
เห็นชัดว่า $f(x)=-x$ เป็นคำตอบหนึ่ง แต่พอนำไปแทนใน (7) จะไม่เป็นจริง
: