هل ترى مساعدات الذكاء الاصطناعي موقعك؟
أصبح الناس يسألون ChatGPT أو Claude أو Perplexity عن النشاط التجاري الذي يختارونه. إذا لم تستطع برامج الزحف الخاصة بها قراءة موقعك، فلن تُرشَّح أبدًا. اكتب عنوان موقعك وشاهد ما تراه.
- •قواعد robots.txt لـ 7 برامج زحف للذكاء الاصطناعي
- •حظر الجدار الناري لـ GPTBot وClaudeBot وPerplexityBot
- •النص المقروء والبيانات المنظمة وllms.txt وخريطة الموقع
كيف تجد مساعدات الذكاء الاصطناعي الشركات
برامج الزحف تقرأ صفحاتك
ترسل OpenAI وAnthropic وPerplexity وGoogle روبوتات خاصة بها. وملف robots.txt والجدار الناري هما من يقرر دخولها.
تقرأ HTML فقط
معظم برامج زحف الذكاء الاصطناعي لا تشغّل JavaScript. النص الذي لا يظهر إلا بعد تشغيل السكربتات يكون غير مرئي لها.
البيانات المنظمة تساعد
ترميز schema يخبرها بوضوح من أنت وأين تعمل وماذا تقدّم.
llms.txt طريق مختصر
ملف نصي قصير يسرد أهم صفحاتك لأدوات الذكاء الاصطناعي، كخريطة موقع مكتوبة لها.
ما الذي نفحصه
- أي برامج زحف الذكاء الاصطناعي يسمح بها ملف robots.txt أو يحظرها
- هل يرفض الجدار الناري برامج زحف الذكاء الاصطناعي
- النص الموجود في الصفحة دون JavaScript
- البيانات المنظمة (schema.org)
- llms.txt وخريطة الموقع والعنوان والوصف
- وسم noindex يخفي الصفحة
أسئلة
هل يجب أن أحظر روبوتات تدريب الذكاء الاصطناعي؟
القرار لك. روبوتات التدريب مثل GPTBot وCCBot تستخدم المحتوى لتدريب النماذج. أما روبوتات البحث والمستخدمين مثل OAI-SearchBot وChatGPT-User وPerplexityBot فتجلب الصفحات للإجابة عن الأسئلة وتضع رابطًا لموقعك. حظرها يعني أنه لا يمكن الاستشهاد بك.
موقعي محظور مع أنني لم أغيّر شيئًا.
كثير من شركات الاستضافة والجدران النارية، ومنها بعض إعدادات Cloudflare، تحظر روبوتات الذكاء الاصطناعي افتراضيًا. الفحص يكشف ذلك، وغالبًا يكفي تغيير خيار واحد.
هل يضمن هذا أن يرشّحني ChatGPT؟
لا. الفحص يتأكد أن أدوات الذكاء الاصطناعي تستطيع قراءة موقعك. أما الترشيح فيعتمد أيضًا على التقييمات، وذكر مواقع أخرى لك، ووجود محتوى واضح ومفيد.
هل يتم حفظ أي شيء؟
لا. نقرأ صفحاتك العامة مرة واحدة لإعداد التقرير ولا نحتفظ بشيء.
هل تريد أن ترشّحك مساعدات الذكاء الاصطناعي؟
يصلك رد خلال يوم عمل واحد بنطاق واضح وسعر. لا فريق مبيعات، تتحدث مباشرة مع المهندس الذي سيبنيه.