นี่ก็อีกข้อหนึ่งของKingMath สสวท. ข้อนี้ตอนแรกก็ทำแบบลุงBankerแต่รู้สึกว่าใช้เวลาเยอะ เลยลองแทนค่่า$x$ลงไปทีละรอบ แบบนี้
ให้$f(x) =\frac{x-1}{x+1}$ แทนครั้งแรก

$f(\frac{x-1}{x+1}) =\dfrac{(\frac{x-1}{x+1})-1}{(\frac{x-1}{x+1})+1} = -\frac{1}{x}$ เป็นการแทนในรอบที่สอง

แทนค่าในรอบที่สาม $f(-\frac{1}{x}) = \dfrac{-\frac{1}{x}-1}{-\frac{1}{x}+1} = \frac{x+1}{1-x} $

แทนค่าในรอบที่สี่ $f(-\frac{x+1}{x-1}) = \dfrac{\frac{x+1}{1-x}-1}{\frac{x+1}{1-x}+1} = x$

แทนค่าในรอบที่ห้า $f(x) =\frac{x-1}{x+1}$
จะเห็นว่ามีการวนรอบกลับมาที่เดิมทุก4รอบ .....
ดังนั้น$2003= 4(500)+3$.....ตกมาที่การแทนรอบที่สาม
ดังนั้นคำตอบคือ $\frac{x+1}{1-x} = \frac{\sqrt{2}+1}{1-\sqrt{2}} = -3-2\sqrt{2}$
$a= -3 , b=-2$
$a^2+b^2 = 13$

ขอบคุณมากครับ คุณ banker และคุณกิตติ