[กิตติ]

$(a+1)^2 + (b+1)^2 = (ab-1)^2$

$a^2+2a+1+b^2+2b+1=a^2b^2-2ab+1$

$(a^2+2ab+b^2)+2(a+b)+1-a^2b^2=0$

$(a+b)^2+2(a+b)+1-a^2b^2=0$

$\left\{\,(a+b)+1\right\}^2-a^2b^2=0 $

$\left\{\,(a+b)+1+ab\right\} \left\{\,(a+b)+1-ab\right\} =0$

กระจายต่อไม่หมด...มาทำต่อ

$(a+1)(b+1) \left\{\,(a-1)(1-b)+2\right\} =0$

$a=-1,b$ เท่ากับเท่าไหร่ก็ได้
$b=-1,a$ เท่ากับเท่าไหร่ก็ได้

$(a-1)(1-b)+2=0 \rightarrow (a-1)(1-b)=-2$ โจทย์กำหนดให้$a,b$ เป็นจำนวนเต็ม ดังนั้น$(a-1),(1-b)$ ก็ต้องเป็นจำนวนเต็ม เราจึงแยกตัวประกอบของ$-2$ ออกมาเป็น$(-1)(2),(-2)(1)$
คราวนี้จับคู่แก้สมการก็ได้ชุดคำตอบ $(a,b)$ เป็น $(0,-1),(-1,0),(2,3),(3,2)$....ตรงกับที่คุณRM@เฉลยเสียที