รายงานผลการเข้าถึงของ AI CRAWLER
เปรียบเทียบก่อน–หลังปรับปรุงเว็บไซต์ จาก Server Log จริง
[โดเมนลูกค้า]
[ชื่อลูกค้า] ([ชื่อลูกค้า])
วันที่ออกรายงาน: 26 สิงหาคม 2026
|
ช่วงก่อนปรับปรุง 27–28 กรกฎาคม 2026 (24 ชั่วโมง · 1,610 requests) |
ช่วงหลังปรับปรุง 20–25 สิงหาคม 2026 (5 วัน · 18,012 requests) |
|
AI เข้าเว็บเพิ่มขึ้น +126% 79 → 179 ครั้งต่อวัน |
robots.txt 404 → 200 bot หาไฟล์เจอแล้ว |
หน้าที่ AI เข้าถึง 3 → 9 จาก 9 หน้าทั้งหมด |
1 สรุปสำหรับผู้บริหาร
รายงานนี้ตอบคำถามเดียวคือ “หลังปรับปรุงเว็บไซต์แล้ว AI เข้ามาอ่านเว็บของเรามากขึ้นจริงหรือไม่” โดยไม่ได้ใช้การคาดการณ์ แต่ใช้บันทึกการเข้าเว็บจริงจากเซิร์ฟเวอร์ (server access log) ซึ่งบันทึกทุกครั้งที่มีการเรียกดูหน้าเว็บ พร้อมระบุว่าเป็นโปรแกรมตัวใด
|
ผลสรุป: ได้ผลจริงในจุดที่ตั้งใจแก้ • AI เข้ามาอ่านเว็บเพิ่มจาก 79 เป็น 179 ครั้งต่อวัน (+126%) • GPTBot ของ OpenAI เริ่มเข้ามาแล้ว จากเดิมไม่เคยเข้าเลย • ระบบค้นหาของ ChatGPT (OAI-SearchBot) เข้าถี่ขึ้น 4 เท่า • ไฟล์ robots.txt ที่เคยหาไม่เจอ (404) ตอนนี้ทำงานปกติ ถูกเรียกใช้ 218 ครั้ง • AI เข้าถึงหน้าย่อยได้ครบทั้ง 9 หน้า จากเดิมที่เข้าถึงเพียง 3 หน้า |
|
สิ่งที่ยังไม่เป็นไปตามเป้า • ClaudeBot, PerplexityBot และ Google-Extended (Gemini) ยังไม่เข้ามาเลยแม้แต่ครั้งเดียว ทั้งที่เว็บไซต์อนุญาตไว้ชัดเจนแล้ว • Applebot เข้ามาน้อยลง 80% ซึ่งยังสรุปสาเหตุไม่ได้ในขณะนี้ |
2 จำนวนครั้งที่ AI เข้าเว็บ ก่อน–หลัง
ตัวเลขคิดเป็น “ครั้งต่อวัน” เพื่อให้เทียบกันได้ เนื่องจากช่วงเวลาที่เก็บข้อมูลทั้งสองรอบยาวไม่เท่ากัน คอลัมน์สุดท้ายคือจำนวนเครื่องต้นทางที่แตกต่างกัน ซึ่งใช้ยืนยันว่าเป็นการเข้าจากระบบจริง ไม่ใช่การปลอมแปลงจากเครื่องเดียว
|
โปรแกรม AI |
ก่อน |
หลัง |
เปลี่ยนแปลง |
เครื่องต้นทาง |
|
GPTBot — เก็บข้อมูลฝึก AI ของ OpenAI |
0.0 |
6.0 |
เข้ามาใหม่ |
5 |
|
OAI-SearchBot — ระบบค้นหาของ ChatGPT |
6.1 |
27.0 |
+343% |
33 |
|
ChatGPT-User — ผู้ใช้ ChatGPT กดเปิดลิงก์ |
4.1 |
4.0 |
−2% |
16 |
|
ClaudeBot — Anthropic |
0.0 |
0.0 |
ยังไม่เข้ามา |
0 |
|
PerplexityBot — Perplexity AI |
0.0 |
0.0 |
ยังไม่เข้ามา |
0 |
|
Google-Extended — Gemini |
0.0 |
0.0 |
ยังไม่เข้ามา |
0 |
|
Bytespider — TikTok / ByteDance |
31.5 |
88.8 |
+182% |
138 |
|
Meta-ExternalAgent — Meta / Llama |
12.2 |
29.4 |
+141% |
59 |
|
Amazonbot — Amazon |
2.0 |
19.2 |
+860% |
85 |
|
Applebot — Apple / Siri |
23.4 |
4.6 |
−80% |
4 |
|
รวมทุกโปรแกรม |
79.2 |
179.0 |
+126% |
|
|
เหตุใดตัวเลขในรายงานนี้จึงต่ำกว่าที่นับได้ตอนแรก ตัวเลขดิบจาก log ระบุว่า AI เข้ามา 401 ครั้งต่อวัน (+406%) แต่เมื่อตรวจสอบโดยละเอียดพบว่าต้องหักออกสองส่วน จึงจะเป็นตัวเลขที่เชื่อถือได้ 1. มีผู้ไม่ประสงค์ดี 2 เครื่อง ปลอมชื่อโปรแกรมเป็น AI เพื่อสแกนหาช่องโหว่ของเว็บ รวม 1,127 ครั้ง คิดเป็น 55% ของยอดที่นับได้ 2. มีการทดสอบระบบจากทีมงานเอง 369 ครั้ง ซึ่งต้องหักออกเช่นกัน รายงานฉบับนี้ใช้ตัวเลขหลังหักทั้งสองส่วนแล้ว คือ 179 ครั้งต่อวัน (+126%) ซึ่งเป็นการเข้าถึงจากระบบ AI จริงเท่านั้น |
3 หลักฐานว่าการแก้ไขได้ผล
3.1 ไฟล์ robots.txt — ไฟล์บอกทางให้ AI
robots.txt คือไฟล์มาตรฐานที่โปรแกรมเก็บข้อมูลทุกตัวจะเรียกอ่านก่อนเข้าเว็บ เพื่อดูว่าเจ้าของเว็บอนุญาตให้เข้าถึงส่วนใดบ้าง เดิมเว็บไซต์ไม่มีไฟล์นี้ ทำให้ทุกครั้งที่ AI มาขอจะได้รับคำตอบว่า “ไม่พบไฟล์” (สถานะ 404)
|
รายการ |
ก่อนปรับปรุง |
หลังปรับปรุง |
|
การเรียกไฟล์ robots.txt |
ไม่พบไฟล์ (404) จำนวน 45 ครั้ง |
ทำงานปกติ (200) จำนวน 218 ครั้ง |
|
การเรียกไฟล์ sitemap.xml |
1 ครั้ง |
122 ครั้ง (GPTBot เรียกอ่านด้วย) |
3.2 หน้าเว็บที่ AI เข้าถึงได้
เดิม AI เข้าถึงได้เพียง 3 หน้า และไม่เคยแตะหน้าห้องพัก สิ่งอำนวยความสะดวก หรือหน้ากิจกรรมเลย หลังปรับปรุงเข้าถึงได้ครบทั้ง 9 หน้า
|
หน้าเว็บ |
ก่อน (ครั้ง) |
หลัง (ครั้ง) |
|
หน้าแรก / |
5 |
37 |
|
about.html |
0 |
3 |
|
facilities.html |
0 |
5 |
|
[หน้าย่อย A] |
0 |
4 |
|
[หน้าย่อย B] |
0 |
5 |
|
[หน้าข่าว] |
0 |
3 |
|
contact.html |
1 |
8 |
|
[หน้าบริการ] |
1 |
6 |
|
room-only.html |
0 |
6 |
4 สิ่งที่ยังไม่เป็นไปตามเป้า
|
ClaudeBot / PerplexityBot / Gemini ยังไม่เข้ามาเลย เว็บไซต์ระบุอนุญาตให้ทั้งสามระบบเข้าถึงไว้ชัดเจนตั้งแต่วันที่ 6 สิงหาคม แต่ตลอด 5 วันที่ตรวจสอบ ไม่พบการเข้ามาแม้แต่ครั้งเดียว สาเหตุ: การอนุญาตเป็นเพียงการเปิดประตูรอไว้ ไม่ได้ทำให้ระบบเหล่านี้เดินเข้ามาเอง โปรแกรมเหล่านี้จะเข้ามาก็ต่อเมื่อพบลิงก์จากเว็บไซต์อื่น หรือพบการกล่าวถึงแบรนด์จากแหล่งภายนอก สิ่งที่ควรทำต่อ: งานขั้นถัดไปควรเป็นการสร้างการกล่าวถึงแบรนด์จากภายนอกเว็บ ไม่ใช่การแก้ไขโค้ดบนเว็บเพิ่มเติม เพราะงานบนเว็บได้ทำครบแล้ว |
|
Applebot เข้ามาน้อยลง 80% จำนวนลดจาก 23.4 เหลือ 4.6 ครั้งต่อวัน ยังสรุปสาเหตุไม่ได้ในขณะนี้ ข้อจำกัดที่ต้องระบุอย่างตรงไปตรงมา: ข้อมูลช่วงก่อนปรับปรุงเก็บไว้เพียง 24 ชั่วโมง ซึ่งสั้นเกินกว่าจะสรุปแนวโน้มของโปรแกรมที่เข้ามาไม่สม่ำเสมอได้ ตัวเลขนี้จึงอาจเกิดจากจังหวะการเก็บข้อมูล ไม่ใช่ผลจากการแก้ไขเว็บ ควรตรวจซ้ำอีกครั้งใน 1 เดือนจึงจะสรุปได้ |
|
ChatGPT-User ยังเท่าเดิม จำนวนคงที่ที่ประมาณ 4 ครั้งต่อวัน โปรแกรมนี้ทำงานเมื่อผู้ใช้ ChatGPT กดเปิดลิงก์เว็บไซต์เท่านั้น จึงสะท้อนจำนวนผู้ใช้จริงที่ถูกแนะนำให้มาที่เว็บ ตัวเลขนี้จะเพิ่มขึ้นเมื่อ AI เริ่มแนะนำเว็บไซต์ให้ผู้ใช้มากขึ้น ซึ่งต้องใช้เวลาสะสม |
5 เรื่องความปลอดภัยที่ตรวจพบ
ระหว่างวิเคราะห์ พบการพยายามเจาะระบบอย่างต่อเนื่องจากเครื่องต้นทาง 2 แห่ง รวม 1,127 ครั้งในช่วง 5 วัน โดยปลอมชื่อโปรแกรมให้ดูเหมือนเป็น AI ที่น่าเชื่อถือ
|
ลักษณะการโจมตี |
จำนวนครั้ง |
ผลลัพธ์ |
|
ค้นหาไฟล์รหัสผ่านและคีย์ระบบ (.env) |
262 |
เข้าไม่ได้ (403) |
|
ดึงข้อมูลลับของเซิร์ฟเวอร์คลาวด์ |
98 |
เข้าไม่ได้ (404) |
|
พยายามอ่านไฟล์ระบบของเครื่อง |
35 |
เข้าไม่ได้ (404) |
|
ค้นหาไฟล์ซอร์สโค้ด (.git) |
24 |
เข้าไม่ได้ (404) |
|
ผลการตรวจสอบ: ยังไม่มีข้อมูลรั่วไหล ทีมงานได้ทดสอบยิงคำสั่งเดียวกับที่ผู้โจมตีใช้ซ้ำด้วยตนเอง เพื่อยืนยันว่าระบบปลอดภัยจริง ไม่ใช่เพียงอ่านจาก log ผลคือทุกคำสั่งถูกปฏิเสธทั้งหมด สาเหตุหลักคือเว็บไซต์เป็นแบบ Static HTML ซึ่งไม่มีระบบประมวลผลฝั่งเซิร์ฟเวอร์ให้โจมตีได้ ข้อควรพิจารณาในอนาคต: หากมีแผนย้ายไปใช้ระบบจัดการเนื้อหาเช่น WordPress ในภายหลัง ความปลอดภัยจะไม่แข็งแรงเท่าปัจจุบันโดยอัตโนมัติ และจำเป็นต้องวางระบบป้องกันเพิ่มเติม เนื่องจากเว็บไซต์นี้ถูกสแกนหาช่องโหว่อยู่ตลอดเวลา |
6 ข้อเสนอขั้นถัดไป
|
ลำดับ |
สิ่งที่ควรทำ |
เหตุผล |
|
1 |
สร้างการกล่าวถึงแบรนด์จากเว็บไซต์ภายนอก |
เป็นทางเดียวที่จะทำให้ ClaudeBot, Perplexity และ Gemini เข้ามา งานบนเว็บทำครบแล้ว |
|
2 |
เพิ่มไฟล์ favicon.ico ที่หน้าแรกของเว็บ |
พบการเรียกหาไฟล์นี้แล้วไม่พบ 168 ครั้งใน 5 วัน แก้ไขได้ทันที |
|
3 |
เพิ่มเนื้อหาในแต่ละหน้าให้มีความยาวมากขึ้น |
ปัจจุบันทุกหน้ายังสั้นกว่าเกณฑ์ที่ระบบให้คะแนน ทำให้เสียคะแนนส่วนนี้ทั้งเว็บ |
|
4 |
ตรวจซ้ำอีกครั้งในอีก 1 เดือน |
เพื่อยืนยันแนวโน้ม และดูว่า Applebot กลับมาหรือไม่ |
|
หมายเหตุเรื่องวิธีเก็บข้อมูล ข้อมูลทั้งหมดมาจาก server access log ของเว็บไซต์โดยตรง ไม่ได้ใช้เครื่องมือภายนอกหรือการประมาณการ ช่วงก่อนปรับปรุงเก็บได้ 24 ชั่วโมง ส่วนช่วงหลังปรับปรุงเก็บได้ 5 วัน จึงมีการแปลงเป็นค่าเฉลี่ยต่อวันเพื่อให้เปรียบเทียบกันได้อย่างเป็นธรรม การปรับปรุงเว็บไซต์ทยอยขึ้นใช้งานเป็นระยะ (6, 18, 19 และ 24 สิงหาคม) ข้อมูลชุดนี้จึงสะท้อนสภาพเว็บไซต์หลังวันที่ 18 สิงหาคมเป็นหลัก |