تعريف مصطلح ملف Robots.txt – Robots.txt

مصطلح ملف Robots.txt – Robots.txt, يشير ملف robots.txt إلى ملف نصي يُخزَّن على خادم موقع الويب، ويتواصل مع برامج زحف محركات البحث. يُحدَّد في هذا الملف الملفات والمجلدات التي يمكن لبرامج الزحف الوصول إليها، وتلك التي يمنع مدير الموقع الوصول إليها. وبذلك، يُمكن لمدير الموقع حصر الصفحات المفهرسة على الصفحات التي يرغب في عرضها فقط.