כתובות URL שביקשנו לחסום מגוגל בקובץ robots.txt יכולות להופיע בתוצאות החיפוש. בדוגמה שלפנינו אנחנו רואים שתי תוצאות, ואם נלך לקובץ ה- robots.txt של האתר, נוכל לראות שיש בו disallow לכתובות שמתחילות ב-assets/files – בדיוק כמו הכתובות שראינו בתוצאות החיפוש של גוגל.
אם כך, חשוב שתשימו לב, אם אתם רוצים שהקבצים לא יופיעו בכלל בגוגל, יש דרכים אחרות לעשות זאת – קובץ robots.txt אינו מונע מכתובות ה-URL מלהופיע בתוצאות החיפוש בגוגל.
רוצים ללמוד כיצד לחסום כתובות אתרים מגוגל? הצטרפו לקורס המקיף להכשרת מקדמי אתרים
