איך מנועי חיפוש עובדים (ולפעמים לא)

כולנו יודעים כמה חשוב להגיע לדף התוצאות הראשון בגוגל. אבל לפעמים האתר שלך לא מצליח להגיע לשלושת הדפים הראשונים ואתה לא מבין למה. יכול להיות שאתה גורם לבלבול אצל העכביש שמנסה לאנדקס את האתר. כיצד תוכל לדעת אם זה אכן מה שקורה ? המשך לקרוא את החלק הקרוב.

נניח שיש לך אתר לתפארת בתחום שלך, עתיר בחומרים רלוונטיים אך האתר אינו מופיע במנועי החיפוש בדפים הראשונים. כמובן שאתה יודע שאם אתה לא מופיע בדפים הראשונים , הגולשים שמחפשים את התחום שלך לא יגיעו לאתר שלך. עדיין קשה לך להבין למה האתר שלך לא מופיע במנועי החיפוש הגדולים. המתחרים שלך מחזיקים מקומות גבוהים יותר בתוצאות החיפוש והאתרים שלהם לא קרובים להיות טובים ואיכותיים כמו האתר שלך.

מנועי חיפוש אינם אנשים. כדי להצליח לעמוד ולאנקס את עשרות בילניוני הדפים שקיימים ברשת האינטרנט העולמית, מנועי החיפוש העולמיים הפכו את הפעילות שלהם לכמעט אוטומטית לחלוטין.

תוכנה לסריקת אתרים לא הולכת להסתכל על האתר שלך באותם עיניים שבן אדם היה מסתכל עליו. זה לא אומר שאסור לך שיהיה לך אתר שהוא הנאה לעיניי הגולשים שלך. אבל מה שזה כן אומר שעליך להיות מודע לדרך שבה מנועי החיפוש “רואים” את האתר שלך, ולהתכוונן בהתאם.

למרות המורכבות הרבה של האינטרנט, והטיפול בכמויות מידע אדירות במהירות, מנועי חיפוש למעשה מבצעים רשימה קצרה של פעולות בכדי להחזיר תוצאות רלוונטיות למשתמשים שלהם. כל אחד מארבעת הפעולות הללו עלולות להשתבש מעת לעת. זה לא שמנועי החיפוש משתבשים לפתע זה פשוט קורה מתי שהם נתקלים במשהו שהם לא תוכנתו להתמודד עימו. או שהצורה שבה הוא תוכנת להתמודד עם אותו דבר ספיציפי מובילה לתוצאות פחות רצויות.

ההבנה כיצד מנועי חיפוש פועלים תעזור לכם להבין מה עלול להשתבש בדרך. כל מנועי החיפוש מבצעים את הפעילויות הבאות :

זחילה ברשת – מנועי חיפוש שולחים תוכנות אוטומטיות שלעיתים נקראות “רובוטים” או “עכבישים” שמשתמשים במבנה הקישורי באתר כדי “לזחול” בתוך דפי האתר. לפי ההשערות הטובות ביותר שלנו אותם עכבישים כבר זחלו בלמעלה מחצי מהדפים שקיימים כיום באינטרנט.

אינדוקס מסמכים – אחרי שהעכבישים זוחלים בדפי האתר, התוכן שלו צריך להיות מסודר בצורה שתגרום לו להיות זמין במהירות מתי שמשתמש מבצע חיפוש. לכן כל הדפים מאוחסנים בתוך מאגר נתונים ענקי ומסודר בקפידה שמרכיב למעשה את האינדקס של אותו מנוע חיפוש. האינדקסים האלה מכילים ביליוני דפים שמשוגרים למשתמש בשברירי שנייה.

עיבוד שאילתות – שהמשתמש מבצע שאילתת חיפוש במנועי החיפוש, פעולה שמבוצעת מאות מיליוני פעמים ביום, מנוע החיפוש סורק את האינדקס שלו בכדי למצוא את המסמכים הרלוונטיים. חיפושים שנראים על פני השטח מאוד דומים יכולים להניב תוצאות שונות לחלוטין. לדוגמה חיפוש של הביטוי

“field and stream magazine” בלי גרשיים מסביב לביטוי מניב יותר מארבע מיליון דפים רלוונטיים, כעת אם נבצע את אותו חיפוש עם גרשיים, גוגל מוצא רק 19,600 תוצאות. זה רק אחד מסוגים רבים של הגדרות שהמשתמש יכול לבצע כדאי לעזור למנוע החיפוש להתמקד יותר במה שהוא מחפש.

דירוג תוצאות –  גוגל לא הולך להציג בפניכם 19,600 תוצאות באותו עמוד, וגם אם הוא היה מציג עליו למצוא דרך להחליט איזה מהדפים יופיעו ראשונים. לכן המנוע מריץ אלגוריתם על התוצאות על מנת לחשב אילו מהם הרלוונטיות ביותר לקטגוריה. תוצאות אלו יופיעו ראשונות ואחריהם בסדר יורד כל השאר.

עכשיו שקיבלתם מושג אילו תהליכים מעורבים, נתמקד בקטעים הבאים בכל אחד בנפרד. זה יעזור לכם להבין איך דברים יכולים ללכת טוב, וכמובן כיצד ומדוע לפעמים הפעולות האלה יכולות “להשתבש”.

המאמר הנוכחי יעסוק בעיקר בזחילה, בקרוב ייצא מאמר שמתעסק בכל שאר התהליכים.