תפקידו של מנוע החיפוש הוא לספק תוצאות חיפוש רלבנטיות למילות המפתח שאותן הקלדנו. ככל שמנוע החיפוש ידייק בתוצאות, דהיינו התוצאות שיתקבלו יהיו רלבנטיות, כך תגדל יעילותו והשימוש בו יהפוך לתכוף יותר. כך היה בתחילת העשור, כאשר גוגל היטיב לספק תוצאות ממוקדות יותר ורלבנטיות יותר מהמתחרים.
אחת משאלות מיליארד הדולר היא כיצד מנוע החיפוש קובע את מידת הרלבנטיות של דפי המידע המצויים באינטרנט וכיצד קובע מנוע החיפוש את הדירוג (מיקום) של הדפים השונים? בלי ספק יש לכך תשובה, אולם אין גורם היודע להשיב באופן מלא ומוחלט על השאלה, מלבד גוגל, אשר לפי דעתי, דואגים למידור המידע באופן כזה, שלא ישכון אצל אדם אחד בודד מלבד אלו הממונים על הסוד עצמו. אם כך כיצד אנו המקדמים אתרים יכולים לקדם אתר? הרי אין הנחיות מדויקות וברורות. יש הנחיות כלליות, שמדברות על מה נדרש מאתר אינטרנט כך ששיבוצו בגוגל יתאפשר וישנן הנחיות מאוד מדויקות מה לא לעשות באתר כך שמיקומו לא יפגע.
כאשר העכביש, שליחו הנאמן של מנוע החיפוש, מגיע לדף מסוים, הוא בודק את תוכן הדף, את מבנה הדף ואת הקישורים. העכביש מנסה לסרוק את הדף בדומה לעין האנושית. הוא מתחיל בסריקה מהפינה השמאלית העליונה של הדף ומתחיל לרדת מטה וימינה, בדומה לסריקת העין האנושית את עיתון הבוקר וביודעין כי הכותרות החשובות יהיו מן הסתם בחלק העליון של הדף, מובלטות מהמלל הרגיל. דברים חשובים פחות יוצנעו בחלקים תחתונים של הדף ובאותיות קטנות יותר מהאותיות האחרות. בנוסף ושוב בדומה לעיתון, העכביש מחפש הפניות לדפים נוספים. ההפניות החשובות יופיעו בראש הדף והפחות חשובות יוצנעו בחלקים אחרים, פחות בולטים.
אחד החסרונות הגדולים של העכביש על פני העין האנושית הוא אי היכולת לנתח תמונות. בעיתון תמונה אחת יכולה להיות שווה אלף מילים, אולם אצל העכביש אלף תמונות לא יהיו שוות מילה אחת. העכביש לא מסוגל “להסתכל” בתמונה ולהסיק ממנה מסקנות. העכביש פשוט ממשיך הלאה ומחפש מלל.
קידום אתרים הוא מקצוע שהעוסקים בו, מקדמי האתרים, פועלים במטרה לאפשר לעכבישים שנשלחים על ידי מנועי החיפוש למצוא במה עוסק כל דף באתר, כך שהקישור לדף יוצג במקום גבוה ככל האפשר בתוצאות חיפוש על פי מילות מפתח שמאפיינות את התחום בו הדף עוסק. כמובן שהגולש, שהפעיל את החיפוש, מצפה שבלחיצה על הקישור, אכן יגיע לדף העוסק בתחום בו הוא מתעניין.
היכולת לזהות את העכביש ולהבדילו מהגולשים מנוצלת לעיתים להצגת תכנים שונים לעכביש ולגולש האנושי. שיטה זו נקראת מיסוך האתר (cloaking). אתרים שהתכנים שבהם אינם ראויים לצפיית בן תמותה נורמאלי נוקטים בשיטה זו בכדי שמנועי החיפוש הנוטים לסנן תכנים מסוג זה לא יסננו אותם. כאשר העכביש מגיע, השרת מזהה אותו ומציג בפניו דף ובו מידע תמים ואילו כאשר הגולש מגיע, מוצגים בפניו דברים אחרים לגמרי. ניצול נוסף לשיטה זו נעשה במטרה לקדם אתרי פלאש. אתרים אלו קשים יותר לקידום מהאתרים הרגילים ובמקרים מסוימים מוצגת לעכביש גרסת מלל בעוד שלגולש מוצגת גרסת פלאש של הדף. במקרה זה הדעות חלוקות לגבי תקינות הפעולה. בכל אופן עד לרגע זה לא יצאה הכרזה כלשהי מגוגל בנושא זה והנושא נשאר פתוח.
