Robots.txt
מתוך ויקיפדיה, האנציקלופדיה החופשית
- הכותרת שניתנה לערך זה מתחילה באות גדולה עקב מגבלות טכניות. הכותרת הנכונה היא robots.txt.
פרוטוקול robots.txt הוא מוסכמה המאפשרת למנהל אתר אינטרנט (Webmaster) להגדיר חלקים באתר שלא יסרקו על ידי מנועי חיפוש ובוטים (רובוטים אוטומטיים המתוכננים לבצע פעולה המונית) אחרים המצייתים לפרוטוקול. הגדרה זו מתבצעת באמצעות קובץ בשם robots.txt ומכיל תחביר מיוחד ונמצא בספריית השורש (root) של האתר.
[עריכה] דוגמאות לשימוש
מונע מכל הבוטים לאנדקס את האתר:
User-agent: * Disallow: /
כדי לחסום בוט מסוים (GoogleBot לדוגמה):
User-agent: GoogleBot Disallow: /
ערך זה הוא קצרמר בנושא מחשבים. אתם מוזמנים לתרום לוויקיפדיה ולהרחיב אותו.
