איך מנועי חיפוש עובדים (ולפעמים לא) – עוד גורמים מתקילים
בקטע הקודם דיברנו על גורמים מתקילים שבעלי אתרים עלולים להיות לא מודעים להם בעת יצירת האתר שלהם, במאמר הקרוב נדבר על גורמים מתקילים שבעלים של אתר עלול להשתמש בכוונה על מנת לחסום את העכבישים של מנועי החיפוש.
כשהסיבה המובנת ביותר מאליה הוצגה כבר במאמר הקודם (תוכן בתשלום) ישנם עוד מספר סיבות לחסימת העכביש: לדוגמא – התוכן ניתן בחינם אך לא רוצים ליצור נגישות מובנת מאליה להשיגו לכל אחד.
דפים שמוצגים רק לאחר מילוי טופס ולחיצה על “שלח” לדוגמה מהווים גם הם דלת סגורה לעכבישים. עכבישים אינם מסוגלים לכתוב או ללחוץ על כפתורים. כמו כן תפריטים שנפתחים פתאום כלפיי מטה כאשר עומדים עליהם עם העכבר (תפריטי JAVA) עלולים גם הם להוות מכשול עבור העכביש.
אותו דבר יכול לקרות עבור מסמכים שזמינים רק כאשר מבצעים חיפוש בשורת חיפוש פנימית באתר.
מסמכים שנחסמים בכוונת תחילה לא מאונדקסים ברוב המקרים. ניתן לעשות זאת באמצעות תגי ROBOT או באמצעות קובץ robots.txt ישנם מאמרים רבים שניתן למצוא באינטרנט אודות קובץ מסוג זה.
דפים שדורשים כניסת משתמש חוסמים עכבישי חיפוש. זכרו העכביש אינו יכול לכתוב, איך הוא ייכנס לאתר ?
לבסוף ברצוני לציין הערה חשובה עבור דפים שמבצעים הפנייה לפני הופעת תוכן כלשהוא, לא רק שגוגל לא יציג את הדפים שלכם באינדקס האתר עלול להיזרק לחלוטין מהאינדקס שלו. מנועי החיפוש מכנים את השיטה הזאת “הסוואת אתרים” או “פיתיון – החלפה” אתם מוזמנים לבקר בקווים המנחים של גוגל
כעת שלמדנו מה גורם לעכבישים להיחנק ולהיתקע, איך נגרום להם להגיע לדפים שאנחנו מעוניינים שהם יגיעו אליהם ? הדרך היא יצירת קישורי HTML ישירים לדפים שאותם אנו רוצים שהעכביש יבקר. כמו כן לתת להם “בריכה עם מים רדודים” לשחק בה. העכביש מתחיל בד”כ בדף הבית שלכם.
אם דף מסוים לא נגיש להגעה מדף הבית סביר להניח שהעכביש לא ימצא אותו. כאן נכנס לתפקיד דף מפת אתר.
לסיכום למדנו כעת על דרכים לחסום את העכבישים בכוונת תחילה והתחלנו להבין כיצד לפתוח את הדרך לעכביש להגיע לכל הדפים באתר. בקטע הבא נבין מה העכביש רואה מאחורי הקישורים באתר שלכם.
