Troubleshooting GenAI Apps
อาการ → สาเหตุ → วิธีแก้ ที่เจอบ่อยในข้อสอบ
| อาการ | สาเหตุที่น่าจะเป็น | วิธีแก้ |
|---|---|---|
คำตอบถูกตัดกลางประโยค | ชน | เพิ่ม max_tokens / สั่งให้ตอบกระชับ |
Error เรื่อง input ยาวเกิน / ลืมต้นบทสนทนา | context window overflow | สรุป history, sliding window, chunk เล็กลง, ลด top-k |
| เกิน quota (RPM/TPM) | exponential backoff + jitter, cross-region inference, ขอเพิ่ม quota, provisioned throughput |
| request format ผิดสำหรับโมเดลนั้น | ใช้ Converse API / ตรวจ schema ของโมเดล |
| IAM ไม่อนุญาต หรือยังไม่เปิด model access | แก้ IAM policy / เปิด model access ใน console |
RAG ตอบไม่ตรง แม้เอกสารมีคำตอบ | chunk ไม่ดี, embedding ไม่เหมาะ, ไม่มี metadata filter | ปรับ chunking (hierarchical/semantic), hybrid search, reranker, metadata |
RAG ใช้ข้อมูลเก่า | ยังไม่ sync | ตั้ง ingestion อัตโนมัติ |
JSON ที่ได้ parse ไม่ได้บางครั้ง | โมเดลไม่ทำตาม format | structured output/tool schema, ตัวอย่าง few-shot, ลด temperature, validate + retry |
คำตอบไม่สม่ำเสมอระหว่างรอบ | temperature สูง / prompt กำกวม | ลด temperature, ทำ prompt ให้ชัด, version prompt |
Prompt ใหม่ทำให้บางเคสแย่ลง | prompt regression | เทียบ version ด้วย golden dataset + Logs Insights |
แชตบอตเริ่มตอบผิดหลังคุยไปนานๆ และ log แสดงว่า input tokens ใกล้ขีดจำกัดของโมเดล ควรแก้อย่างไร?
การดึงความรู้ออกมาใช้ทันทีหลังอ่าน (retrieval practice) ช่วยให้จำได้นานขึ้นมาก