27 ต.ค. → 9 พ.ย. 2569 · ทุกตัวเลขในหน้านี้วัดจากระบบจริงบนเครื่อง r1 · มีทั้งที่ดีขึ้นและที่ยังไม่ดี — บอกตรงๆ ทั้งสองแบบ
สายทดสอบจากชุดเทสอัตโนมัติ (บท S01) · ลูกค้าเป็นเสียงสมมติ ที่ AI สร้าง พูดใส่ระบบจริงทุกชั้น: หูถอดเสียง → สมองคิด → ตะกร้า → เสียงตอบ · สายที่สองโทรมาวันเดียวกัน บอทเปิดความจำแล้วรู้ว่า "ของเดิม" คืออะไร
ไม่ใช่วิดีโอ — หน้าเว็บเล่นซ้ำผลเทสจริงวันที่ 8 พ.ย.: ข้อความ คำตอบบอท ตะกร้า ความจำ และเวลาตอบ มาจากระบบจริงทั้งหมด · ซ้าย = ลูกค้า (เสียงที่ AI สร้าง) · ขวา = บอท (เสียงเปรมวดี สังเคราะห์ใหม่จากคำตอบเดิม เพราะชุดเทสไม่ได้อัดเสียงบอทไว้)
จดเองหลังวางสาย: สมองตัวใหญ่ (30B) แตกเป็นข้อ ทุกข้อต้องมีประโยคจริงจากสายเป็นหลักฐาน ไม่มีหลักฐาน = ทิ้ง · ของที่สั่งจดจากระบบตะกร้าตรงๆ ไม่ผ่านโมเดล
เวลาตั้งแต่ลูกค้าพูดจบจนบอทเริ่มพูด
สมองที่ใช้คุยในสายเป็นโมเดลเล็ก (4B) เพื่อให้ตอบไว · สั่งในพรอมต์อย่างเดียวมันทำตามไม่ครบ เราจึงวัดเป็นตัวเลขก่อน แล้วย้ายเรื่องที่พลาดบ่อยมาเป็นโค้ดรอบโมเดล
ตอบถูกจากความจำ
เดิมโมเดลตอบ "ไม่มีข้อมูล" ทั้งที่มี · ตอนนี้ด่านตอบจากความจำแทน: "ครั้งก่อนรับ Glow Serum 2 ชิ้นค่ะ ใช้แล้วเป็นยังไงบ้างคะ"
สั่งซ้ำจากความจำ
โมเดลไม่เคยปล่อยคำสั่งใส่ตะกร้าเลย (0/10) · ตอนนี้ด่านอ่านความจำ ใส่ตะกร้าให้ และพูดยืนยันชื่อของกับจำนวน
ผิดน้อยลง
ลูกค้าเลือก "แชท" ไว้ แต่โมเดลลอกคำถามจาก FAQ "แชทหรือ SMS" · แก้ข้อความ FAQ ตามความจำก่อนถึงโมเดล
ไม่ถามผิดคนแล้ว
โมเดลลอกตัวอย่างในพรอมต์ไปถามคนที่ไม่เคยซื้อ · สลับตัวอย่างตามสถานะลูกค้า
ดีขึ้นครึ่งเดียว
เสนอแล้วตัดข้อมูลโปรออกจากพรอมต์ · ยังซ้ำครึ่งหนึ่งเพราะประวัติในสายยังล่อ — ยังไม่จบ
บอกจ่ายแล้วแต่ยังคุยต่อ
เดิมโมเดลขอบคุณแล้ววางสายทันที · ตอนนี้รับทราบแล้วถามต่อ · ถ้าบอกจ่ายทั้งที่ไม่มีของค้าง บอทบอกตรงๆ ว่าไม่มีรายการรอชำระ
เทรนจากเสียงคนจริง ใส่ทุกเสียงที่มี ทั้งดีและไม่ดี · ทุกเสียงอ่านประโยคขายชุดเดียวกัน 6 ประโยค × 2 รอบ แล้วให้หูของระบบฟังทวน (ตัวเลข = อ่านผิดกี่ % ยิ่งต่ำยิ่งดี · ประโยคชุดนี้มีตัวเลขและคำอังกฤษ ตัวเลขจึงสูงกว่าในสายทดสอบ) · เลื่อนลงเพื่อเลื่อนการ์ดไปทางขวา →
เสียงผู้ชายอ่านคำขายบางคำเพี้ยน เช่น "สนใจ" → "สไลด์" · เราลองทั้งเทรนเพิ่ม และเปลี่ยนวิธีเขียนก่อนส่งให้เสียงอ่าน (บนจอยังเห็นคำเดิม) แล้ววัดเทียบกัน
ให้พี่เปาพูดคำยากแล้วคัดรอบที่ถูกมาเทรนต่อ · คำยากดีขึ้นนิดเดียว (61 vs 58 จาก 90) แต่ประโยคทั่วไปแย่ลง (ผิด 12.1% vs 9.9%) และชื่อร้าน "เวลาบิวตี้" ถูกแค่ 1/3 · จึงไม่ใช้ และหันมาแก้ที่ข้อความแทน
พี่เปารุ่น r1p พูดคำอังกฤษในประโยคขายได้ถูก 86% (เดิม 65%) · "Glow Serum" 6/9 (เดิม 0/9)
ไม่ใช่เสียงคนจริง — สร้างจากคำบรรยายอย่างเดียว เช่น "ผู้หญิงวัย 30 เสียงขึ้นจมูก" (โมเดล VoxCPM2) · ไม่มีเจ้าของเสียง จึงไม่ต้องขออนุญาตใคร · ยังไม่ได้เทรนเข้าระบบโทร เป็นตัวเลือกให้ทีมเลือกไปทำต่อ · ตัวเลขมุมการ์ด = หูของระบบอ่านผิดกี่ %
ลอง 4 แบบกับเสียงเดียวกัน: A ประโยคเขียน · B ภาษาพูด มี เออ/อ่ะ/แหละ · C B + บอกโมเดลว่า "คนธรรมดาคุยโทรศัพท์" · D C แต่ปล่อยให้โมเดลพูดอิสระขึ้น
13 บทสนทนา 36 เทิร์น · ลูกค้าเป็นเสียงสมมติ 13 คน (คนละอายุ คนละสำเนียง มีเสียงซ่า) โทรเข้าระบบจริงผ่านทางเดียวกับลูกค้า · ตรวจทั้งคำตอบ ตะกร้า การวางสาย ความจำ และเสียงที่บอทพูดออกมา · ใช้ทุกครั้งที่เปลี่ยนโมเดลหรือแก้โค้ด
รอบล่าสุด (9 พ.ย.) ผ่าน 27/28 — 1 สายบอทพูดประโยคเดิมซ้ำ รันบทนั้นซ้ำ 8 ครั้งผ่านหมด · ยังไม่ได้แก้
ประชุมครั้งก่อนบอกว่ากำลังทดสอบ — ผลออกแล้ว · เปลี่ยนตัวรันโมเดลเป็น vLLM (ประมวลผลหลายสายเป็นชุดเดียว) โมเดลเดิม คุณภาพเดิม · ลูกค้าจำลองโทรผ่านเว็บจริง (WebRTC) เข้าทีละ 1.5 วิ
ตัวรันเดิม (llama.cpp) · ตัวรันใหม่ (vLLM) · ตัวเดิมที่ 32 สาย รับได้แค่ 20–26 สาย
วัด 26 ต.ค. บน r1 · ทุกสายพูดประโยคเดียวกัน · ตัวจำลอง 100 คนโหดกว่าจริง (ทุกคนพูดจบพร้อมกัน) · คอขวดถัดไปคือ "หู" เมื่อเกิน 48 สาย · ยังไม่ได้วัดซ้ำหลังเพิ่มความจำและด่านกันพลาด
หูถอดเสียงชอบแต่งคำจากเสียงรบกวน (เสียงซ่าล้วน → "สวัสดีครับ" 12 ใน 12 ครั้ง) · เพิ่มหูตัวที่สองเช็กว่ามีคนพูดจริงไหม ไม่มี = ทิ้ง
ประโยคสั้นที่หูสองตัวได้ยินไม่ตรงกัน บอทขอให้พูดอีกครั้ง แทนที่จะเดาแล้วตอบผิด
บอทวางเมื่อลูกค้าลาเท่านั้น ("แค่นี้" "ไว้ก่อน" "ไม่สะดวก") · ถ้าลูกค้ายังไม่ลา ตัดคำลาของบอทออกแล้วถาม "มีอะไรให้ช่วยเพิ่มเติมไหมคะ"
"ขอคุยกับผู้ชายได้ไหม" → สลับเป็นพี่เปาทันทีในสายเดิม คำลงท้ายเปลี่ยนเป็น ครับ
โมเดลฟรีจาก Microsoft ฟังคลิปยาวถึง 60 นาทีรวดเดียว แล้วบอกว่าช่วงไหนใครพูด · เหมาะกับถอดสายย้อนหลัง/ประชุม · เราทำหน้า lab ให้วางลิงก์ YouTube แล้วฟังผลได้
ข้อความไทยยังสู้ตัวที่ใช้ในสายไม่ได้ · ตัวถอดสดของ VibeVoice ไทยใช้ไม่ได้เลย · ใช้ในสายต่อด้วย Typhoon · VibeVoice เก่งเรื่องแยกคน
แต่ละสี = คนที่โมเดลแยกได้ · ยังไม่ได้ฟังตัดสินทุกคลิป ว่าแยกถูกไหม · 1 คลิปพัง: โมเดลวนพูดคำเดิมซ้ำ 17 นาที
เปิด lab ลองลิงก์เอง →ย้ายทุกอย่างจากเครื่องเก่ามาเครื่อง r1 (GB300) · หน้า lab โทรได้ทุกเสียงจากลิงก์เดียว ไม่ต้องใช้รหัส
เครื่องใช้ร่วมกับทีมอื่น · เสียงที่ไม่มีคนใช้ 10–15 นาทีปิดเองคืนการ์ดจอ · กดโทรแล้วปลุกให้
KNOWLEDGE.md สรุปสถาปัตยกรรม การเทรนเสียง และวิธีรัน สำหรับทีมที่จะ deploy เอง