ما الذي يتلقاه زاحف الذكاء الاصطناعي فعلاً من موقعك

التحذير المعتاد أن زواحف الذكاء الاصطناعي لا تشغّل JavaScript، فالموقع الحديث خفي عنها. النصف الأول صحيح وموثّق جيداً. أما النصف الثاني فقفزة، وهو خاطئ بالنسبة للمنصات التي تُبنى عليها معظم المواقع التسويقية. وقد قسنا ذلك بدل الافتراض، لأن القياس يستغرق دقيقة تقريباً والافتراض تكرر حتى صار فولكلوراً.

الطريقة

الزاحف الذي لا يشغّل JavaScript يرى بالضبط البايتات التي أعادها الخادم ولا شيء غيرها. فاطلب الصفحة بمعرّف وكيل زاحف، وجرّد كل ما داخل script وstyle وnoscript، وأزل الوسوم الباقية، وعُدّ الكلمات المتبقية. فذلك هو المحتوى الذي يعمل عليه الزاحف. والاختبار كله أمر curl وعشرون سطر تحليل، ويستطيع أي أحد إعادة تشغيله على موقعه.

كل موقع اختبرناه يقدّم محتواه في HTML الأولي. فموقع عميل Framer يعيد 3,322 كلمة مع تسعة عشر عنصر h2 قبل أن يعمل سطر JavaScript واحد. ومواقع Webflow تعيد عناوينها وتنقلها ونص متنها. وهذا الموقع يعيد 2,763. فـ Webflow تنشر HTML ثابتاً وFramer تعرض مواقعها المنشورة من الخادم، فالتخويف لا يصف أياً منهما.

ويبقى التحذير صالحاً للنمط لا للمنصة. فالمحتوى الذي لا يوجد إلا بعد جلب خفي فعلاً: جدول أسعار محمّل من واجهة برمجية، أو مجموعة نتائج مرشّحة، أو أكورديون تُحقن ألواحه عند النقر، أو أداة تقييمات، أو تضمين طرف ثالث. وتظهر هذه في مواقع Webflow وFramer بقدر ظهورها في غيرها، وهي ما ينبغي تدقيقه. فالمنصة ليست الخطر. بل المكوّن.

فجوتان يجدهما الاختبار

عمود JSON-LD هو الاكتشاف الحقيقي. فموقعان من المختبَرة لا يعيدان بيانات مهيكلة إطلاقاً، فلا شيء في الصفحة يخبر آلة بنوع ما تنظر إليه أو بمن نشره. وتلك مشكلة أرخص إصلاحاً بكثير من مشكلة عرض، وهي الموجودة فعلاً.

والثانية عمود البايتات لكل كلمة، وهو طريقة لسؤال كم من الذي ترسله محتوى. فهذا الموقع يرسل 129 بايت لكل كلمة ظاهرة. وصفحة Framer الرئيسية نفسها ترسل 1,328، أي 2.2 ميغابايت من HTML تحمل 1,661 كلمة. ولا شيء في ذلك معطوب وهي تُعرض بجمال للإنسان، لكن زاحفاً يعمل عبر صفحات كثيرة يدفع ثمن الحمولة كلها ليصل إلى عُشر الواحد بالمئة الذي هو نص. وهي الغريزة نفسها وراء إبقاء الصفحة سريعة للبشر، وقد عرضناها في لماذا يبطؤ موقع Webflow، مطبقة على قارئ مختلف.

ماذا تفعل بهذا

• شغّل الاختبار على صفحتك الرئيسية قبل تصديق أي شيء، بما في ذلك هذا. اجلبها بمعرّف وكيل زاحف، وجرّد السكربتات، واقرأ ما بقي.
• دقّق المكونات لا المنصات. فكل ما يصل بعد جلب هو المعرّض للخطر، أياً كان المنشئ الذي أنتج الصفحة.
• أضف البيانات المهيكلة قبل تحسين أي شيء آخر. فهي أرخص إشارة في القائمة وموقعان من ستة هنا لا يملكانها.
• افحص الملف قبل الصفحة. فالزاحف الممنوع لا يصل إلى HTML أصلاً، وذلك تدقيق منفصل: انظر أي الوكلاء يخاطبهم ملف robots.txt لديك فعلاً.

والمقالة الرفيقة لهذه هي أي زواحف الذكاء الاصطناعي تلتزم robots.txt فعلاً التي تتناول مسألة الوصول، وكيف تقرر محركات البحث الذكية ما تستشهد به تتناول ما يحدث حين تصير الصفحة قابلة للوصول والقراءة معاً. وإن كنت ما زلت تختار بين المنشئين فمسألة العرض ليست ما ينبغي أن يحسمها: انظر Webflow أم Framer.