AI Crawler คืออะไร? วิธีเช็คว่า ChatGPT มองเห็นเว็บไซต์คุณหรือเปล่า

AI Crawler คืออะไร

AI Crawler คือบอทที่บริษัท AI ส่งมาดึงหน้าเว็บของคุณไปใช้ ทั้งเก็บไปเทรนโมเดลและเก็บเข้า index ที่ AI ใช้อ้างอิงตอนตอบคำถาม ถ้าบอทเข้าไม่ได้ หรือเข้าได้แต่ได้หน้าเปล่ากลับไป ChatGPT ก็อ้างอิงเว็บคุณไม่ได้ ต่อให้เนื้อหาดีแค่ไหน

คำถาม “ChatGPT เห็นเว็บเราไหม” กับ “AI รู้จักแบรนด์เราไหม” เป็นคนละเรื่อง โมเดลอาจพูดถึงบริษัทคุณได้จากข้อมูลที่เทรนไว้เมื่อสองปีก่อน ทั้งที่วันนี้เปิดเว็บคุณไม่ได้เลย ถ้าอยากเช็คว่า AI จำแบรนด์ได้แค่ไหน อ่าน วิธีเช็คว่า AI รู้จักแบรนด์คุณหรือไม่ หน้านี้พูดถึงระบบท่อข้างใต้ที่ทำให้ทุกอย่างเริ่มต้นได้

5 สาเหตุที่เว็บไม่ขึ้นใน ChatGPT

1. robots.txt บล็อกบอทของ OpenAI อยู่

OpenAI เคารพ robots.txt สำหรับบอทอัตโนมัติของตัวเอง หลายเว็บใส่คำสั่งบล็อก AI แบบเหมารวมไว้ตั้งแต่ช่วงปี 2023-2024 ที่คนตื่นเรื่องโดนดูดข้อมูล แล้วไม่เคยกลับไปแก้ Cloudflare เองก็บล็อก AI crawler เป็นค่าเริ่มต้นให้โดเมนใหม่มาตั้งแต่ปี 2025 แปลว่าคำสั่งบล็อกอาจมีอยู่โดยไม่มีใครในทีมเป็นคนเขียน บรรทัด Disallow บรรทัดเดียวก็พอทำให้เว็บถูกอ้างอิงไม่ได้ถาวร

2. เนื้อหาโผล่หลัง JavaScript ทำงานเสร็จ

ข้อนี้คือตัวใหญ่ที่สุด และมองไม่เห็นเลยถ้าเปิดดูในเบราว์เซอร์ ณ ปี 2026 ไม่มี AI crawler ตัวไหนรัน JavaScript ทั้ง GPTBot, OAI-SearchBot, ClaudeBot และ PerplexityBot งานวิเคราะห์การดึงหน้าเว็บของ GPTBot กว่า 500 ล้านครั้งไม่พบร่องรอยการรัน JavaScript เลยสักครั้ง GPTBot โหลดไฟล์ .js ประมาณ 11% ของ request แต่ไม่เคยสั่งให้มันทำงาน ส่วน Googlebot เรนเดอร์ JavaScript ด้วย headless Chrome เว็บที่เรนเดอร์ฝั่ง client จึงติดหน้าแรก Google ได้สบายๆ ในขณะที่ส่งหน้าเปล่ากลับไปให้ AI ทุกเจ้า ช่องว่างตรงนี้คือเหตุผลที่ประโยค “เราติดหน้าแรกอยู่แล้ว” กับ “ChatGPT ไม่รู้จักเราเลย” อยู่ด้วยกันได้บ่อยขนาดนั้น

3. เซิร์ฟเวอร์หรือ CDN บล็อกก่อนถึง robots.txt

กฎกัน bot, rate limit และ WAF ตัดคำขอทิ้งตั้งแต่ขอบเครือข่าย บอทได้ 403 กลับไปแล้วเลิกสนใจ robots.txt ของคุณจะเปิดโล่งแค่ไหนก็ไม่มีผล เพราะบอทไม่เคยเข้าไปถึงจุดที่จะได้อ่านมัน

4. เว็บไม่อยู่ใน index ของ Bing

ChatGPT search ดึงผลจาก index ของ Bing เป็นหลัก หน้าที่ Bing ไม่เคยเก็บ ChatGPT search ก็หยิบมาตอบได้ยากมาก ต่อให้ฝั่ง Google แข็งแรงดี การเช็คว่า Bing เก็บเว็บคุณไว้หรือยังเป็นหนึ่งในไม่กี่ปัจจัยของ ChatGPT ที่ดูได้ฟรีจากแดชบอร์ดจริง

5. ไม่มีประโยคไหนบนหน้าที่หยิบไปอ้างได้

เข้าถึงได้เป็นเงื่อนไขจำเป็น แต่ยังไม่พอ หน้าที่ไม่เคยสรุปใจความเป็นประโยคเดียวที่ยกไปใช้ได้ ก็ไม่เหลืออะไรให้โมเดลดึง งานวิจัยพฤติกรรมการอ้างอิงของ AI ชี้ไปทางเดียวกัน คือการใส่ตัวเลขสถิติเพิ่มโอกาสถูกมองเห็นราว 22% ใส่คำพูดอ้างอิงเพิ่มราว 37% และประมาณ 55% ของการอ้างอิงมาจากเนื้อหาหนึ่งในสามส่วนบนของหน้า ซ่อนคำตอบไว้ท้ายบทความคือการทิ้งการอ้างอิงไปเปล่าๆ

GPTBot กับ OAI-SearchBot กับ ChatGPT-User ต่างกันอย่างไร

สามชื่อนี้โผล่ใน log เซิร์ฟเวอร์ของคุณและทำงานคนละอย่าง บล็อกผิดตัวคือเสียการอ้างอิงไปโดยไม่ได้อะไรกลับมา

วิธีเช็คว่า ChatGPT มองเห็นเว็บคุณหรือเปล่า

ขั้นตอนที่ 1 — อ่าน robots.txt ของตัวเอง (2 นาที)

• เปิด yourdomain.com/robots.txt ในเบราว์เซอร์
• หาคำว่า GPTBot, OAI-SearchBot, ChatGPT-User และบล็อก User-agent: * ที่มี Disallow: / อยู่ข้างใต้
• ถ้าไม่มีไฟล์นี้เลยก็ไม่เป็นไร ไม่มีไฟล์แปลว่าไม่มีข้อห้าม

ขั้นตอนที่ 2 — ดึงหน้าเว็บแบบเดียวกับที่บอททำ (5 นาที)

• รันคำสั่ง curl -A "OAI-SearchBot" https://yourdomain.com/ > test.html
• เปิด test.html ด้วย text editor แล้วค้นหาประโยคที่คุณรู้ว่ามีอยู่บนหน้าจริง
• ถ้าหาไม่เจอ หรือไฟล์มีแต่ <div> เปล่ากับ script ไม่กี่กิโลไบต์ แปลว่าเนื้อหาคุณผูกกับ JavaScript และ AI มองไม่เห็นอะไรเลย
• ถ้าได้ 403 หรือหน้า challenge กลับมาแทน HTML แปลว่า CDN หรือไฟร์วอลล์บล็อกบอทอยู่

ขั้นตอนที่ 3 — เช็คว่า Bing เก็บเว็บคุณไว้หรือยัง (3 นาที)

• ค้น site:yourdomain.com บน Bing แล้วนับจำนวนผลลัพธ์
• สมัคร Bing Webmaster Tools แล้วดูรายงาน index coverage ว่ามีหน้าไหนถูกเก็บแล้วโดนคัดออกบ้าง

ข้อควรระวัง: การกด “View source” ใน Chrome ไม่ใช่การทดสอบแบบเดียวกัน เบราว์เซอร์บางตัวโชว์ DOM ที่เรนเดอร์เสร็จแล้วแทนที่จะเป็น response ดิบ ทำให้หน้าที่พึ่ง JavaScript ดูเหมือนปกติทั้งที่ไม่ปกติ ให้ใช้ curl พร้อมระบุ user-agent ของบอท หรือปิด JavaScript ทิ้งก่อนเปิดดูหน้านั้น

ควรแก้อะไรก่อน

1. แก้เรื่องการเข้าถึงก่อนแก้เนื้อหา

เขียนบทความใหม่ทั้งเว็บระหว่างที่ OAI-SearchBot ยังได้ 403 กลับไป ก็ไม่มีอะไรเปลี่ยน ปลดบล็อกก่อน ยืนยันด้วย curl แล้วค่อยไปลงแรงกับงานเขียน

2. Server-side rendering ให้ผลมากกว่างานเทคนิคอื่นทั้งหมด

ถ้าขั้นตอนที่ 2 ได้หน้าเปล่ากลับมา รายการ GEO ข้ออื่นยังไม่มีความหมาย ทางแก้มีทั้ง server-side rendering, static generation และ prerender เฉพาะ user-agent ของบอท จะเลือกทางไหนได้ขึ้นกับแพลตฟอร์มที่ใช้ และเว็บสำเร็จรูปบางเจ้าไม่เปิดตัวเลือกนี้ให้เลย

3. วางของที่หยิบไปอ้างได้ไว้ให้บอท

พอ HTML ส่งถึงครบแล้ว ให้เขียนคำตอบตรงๆ ความยาว 40-60 คำไว้ใต้หัวข้อทุกหัวข้อ ระบุชื่อแหล่งอ้างอิงในเนื้อความ และเก็บข้อสรุปที่แข็งแรงที่สุดไว้ในหนึ่งในสามส่วนบนของหน้า เพราะการอ้างอิงส่วนใหญ่ถูกดึงมาจากตรงนั้น

4. เช็คซ้ำทุกครั้งที่ deploy

อัปเดตธีม กฎ WAF ใหม่ หรืออัปเวอร์ชัน framework ทำให้บล็อกกลับมาแบบเงียบๆ ได้ ให้ถือว่าการทดสอบด้วย curl เป็นขั้นตอนก่อนปล่อยของ ไม่ใช่งานตรวจครั้งเดียวจบ

CiteLogics — ดูว่า AI Crawler ได้อะไรกลับไปจากเว็บคุณจริงๆ

AI Visibility Audit ดึงหน้าเว็บคุณด้วย user-agent ของ AI crawler ตัวจริง แสดงให้เห็นว่า HTML ที่แต่ละเจ้าได้รับหน้าตาเป็นอย่างไร แล้วให้คะแนน crawlability พร้อมอีก 4 มิติของ AIVS Score

• AI Visibility Audit — รายงาน AIVS Score ฉบับเต็ม + คุย 30 นาที ราคา 2,000 บาท ส่งภายใน 24 ชั่วโมง
• Big Win (Audit + WebFix) — ตรวจพร้อมลงมือแก้ให้ทั้งหมด รวมงานแก้ server-side rendering ราคา 42,000 บาท

ขอ สแกน AI Visibility ฟรี หรือติดต่อ sales@citelogics.com

คำถามที่พบบ่อย