אם טרם קראתם את המאמר “איך מופיעים בתוצאות סקירת ה AI של גוגל” אז אני ממליץ בחום לקרוא אותו לפני שתמשיכו הלאה. כפי שראינו במאמר ההופעה אינה אוטומטית ובטח שלא מובטחת, במידה ותפעלו בהתאם להנחיות במאמר הסיכוי של האתר שלכם להופיע במנועי ה AI השונים יעלה ואם בכל זאת אתם לא מוצאים את האתר שלכם במנועי הבינה השונים יכול מאוד להיות שהאתר חסום!
ישנן מספר דרכים לומר למנועי החיפוש והבינה שלא לגשת לתכנים באתר שלכם, בחלק מהמקרים זה מכוון ובחלק אחר ממש לא מכוון. מדובר בטעות שגרמה לאתר להחסם, בחלק גדול מהמקרים בעלי האתרים בכלל לא מודעים לכך שהאתר חסום.
איך התכנים מהאתר מגיעים למנועי החיפוש וה AI?
לפני הכל אנחנו חייבים להבין כיצד התכנים באתר מגיעים למנועי החיפוש והבינה. האם יש דרך להצהיר על תכנים חדשים? האם צריך לבקש ממשהו לקרוא את התכנים? התשובה לשאלות הללו מתחילה בשליחים של המנועים השונים שאותם אנו מכנים עכבישים או זחלנים מה שעושה לכם את זה 😊. תוכלו למצוא חומר רב בנושא בסרטון שהכנו בכתובת הזו.
כיצד נחסמים תכנים באתר?
אז אחרי שהצטיידנו במידע על האופן שבו התוכן מגיע למנועים יהיה לנו קל יותר להבין כיצד תכנים מהאתר נחסמים לסריקה על ידי מנועי החיפוש וה AI. לפני שתמשיכו אני ממליץ לכם לצפות בסרטון זה העוסק בחסימת תכנים.
ישנם מספר דרכים לחסום תכנים מהאתר למנועי החיפוש והבינה המלאכותית:
- חסימת תוכן בחלקים מתוך כתובת באתר
החסימה הזו בד”כ קשורה לאופן שבו פותח האתר. קיימות מספר טכנולוגיות ויישומים שיכולים לגרום לכך שרק חלק מהתוכן בכתובות באתר לא נגישים למנועים השונים. - חסימת כתובות
ישנן מספר דרכים לחסום כתובות מסוימות באתר או לגרום לכך שהכתובות הללו פשוט לא יופיעו במנועים השונים. בסרטון שהמלצנו לצפות בו בפסקה למעלה הכרנו את תגית וקובץ ה ROBOTS אולם ישנם דרכים נוספות אשר מונעים מהכתובות מלהופיע במנועי החיפוש והבינה הקשורות להיררכיית התכנים באתר ומשקל הכתובות. - חסימת כל הכתובות במחיצות מסוימות
כל הכתובות בתוך מחיצות מסוימות באתר לא מופיעים במנועים השונים. - חסימה של כל האתר
במקרה זה בד”כ יכולים להיות מספר סיבות: חסימה בשם משתמש וסיסמה, חסימה בקובץ ROBOTS וחסימה בחומת האש (Firewall) שבחברת האחסון
כיצד נוודא שהתכנים באתר שלנו לא נחסמים?
כפי שניתן להבין קיימות הרבה סיבות לכך שהתכנים באתר שלנו יהיו חסומים, בחלק מהמקרים נאלץ להשתמש במומחים לפתירת הבעיה ובחלק אחר נוכל לטפל בכך באופן עצמאי.
במאמר זה קבצתי מספר בדיקות שתוכלו לערוך באופן עצמאי ואשר תוצאותיהן יכולות לרמוז על בעיות הקשורות לחסימות תכנים ואשר יכולות להוות סיבה לכך שהאתר לא מופיע בגוגל ו/או במנועי הבינה המלאכותית. תחת כל בדיקה תוכלו למצוא את אחד מהפתרונות האפשריים לביטול החסימות.
בדיקת תגית וקובץ ה ROBOTS
הבדיקה הכי פשוטה וקלה לביצוע: צופים בסרטון חסימת התכנים ומוודאים שאין חסימה בתגית או קובץ ה ROBOTS. שימו לב, למקרה שבו הכתובת נמצאת בתוך מחיצה אשר נחסמת על ידי קובץ ROBOTS.TXT.
בדיקת מקטעים
בבדיקה זו נוודא שאין חסימות של חלקים מתוך כתובת מסוימת באתר.
איך בודקים?
העתיקו קטע של מלל מתוך הדף והדביקו אותו בשורת החיפוש בגוגל כשהמלל בתוך גרשיים. אם בתוצאות גוגל לא מופיעה תוצאה ובה המקטע הנבחר בכתובות המסוימת, סימן שהמקטע חסום לגוגל. בכדי לוודא שהחסימה ברמת הדף חזרו על הבדיקה עבור מקטע אחר.
טיפול
אם רק חלק ממקטעים שונים בכתובת חסומים עליכם ליצור קשר עם התכנת. כנראה שמדובר בפיתוח ויישום שאינו מאפשר לזחלנים לגשת לתכנים. אם כל המקטעים חסומים עברו לבדיקת אינדוקס.
בדיקת אינדוקס
בבדיקה זו נוודא שאין חסימה לכתובת מסוימת באתר.
אם עברתם את בדיקת המקטעים ולו רק למקטע אחד אזי תנוח נפשכם – הכתובת לא חסומה ואתם יכולים להמשיך לבדיקת העומק.
תוכלו לבדוק האם כתובת מסוימת מהאתר אינה חסומה לגוגל על ידי שימוש בכלי מנהל האתרים של גוגל בכתובת: Google Search Console
תוכלו ללמוד על הכלי בסרטון שהכנו בנושא כאן.
ישנן עוד דרכים לבדיקת חסימה בגוגל ללא צורך בכלי מנהל האתרים אבל היתרון הגדול של הכלי הוא בכך שאם הכתובת חסומה תקבלו הסבר מדוע היא חסומה ואם הכתובת לא חסומה אלא פשוט גוגל החליט שלא לאנדקס אותה אז גם על כך תקבלו חיווי, דבר שלא תקבלו באמצעות הבדיקות האחרות.
איך בודקים?
נכנסים לנכס של האתר שלכם בכלי (ראו צילום מסך מטה), בוחרים בתפריט הצד “בדיקת דף” [1] מקלידים את הכתובת אותה אתם רוצים לבדוק [2] (כדאי לגלוש לכתובת ולהעתיק את הקישור מהדפדפן) כדי להיות בטוחים שמדובר על הגרסה האחרונה והעדכנית של הדף כדאי ללחוץ על הקישור [3] “בדיקה של כתובת אתר פעילה” ולהמתין מעט.
בסיום יעלה דף דומה לזה שמופיע בצילום המסך הבא:
שימו לב לנקודות הבאות:
- וודאו שאתם אכן נמצאים בגרסה פעילה [4]
- מועד הבדיקה נכון לזמן הבדיקה [5]
- במידה והכתובת חסומה גוגל יציין זאת ובמידה ויש בעיה בחלק מהתכנים בכתובת גם אז לפעמים גוגל ידווח על כך. שימו לב שבבדיקה של הדף הישנה גוגל הציג בסימן קריאה שאף סרטון לא נוסף לאינדקס ובבדיקה הפעילה גוגל ציין [6] שזוהה סרטון בדף…
הטיפול יהיה בהתאם לממצאים. אם עברתם את כל הבדיקות הקודמות עד לבדיקה הנוכחית אז כנראה שמדובר בדף המכיל תוכן לא איכותי כזה שמנועי החיפוש החליטו שאין בו תרומה כלשהי. במידה וזה לא המקרה ואתם משוכנעים שהתוכן מאוד איכותי עברו לבדיקה הבאה – בדיקת עומק.
בדיקת עומק
הבדיקה הזו מורכבת מעט ואת הבדיקה המקיפה לאתר תאלצו לעשות עם כלים מקצועיים מתאימים. אז על מה מדובר?
אפשט את הנושא הזה ככל האפשר. מנועי החיפוש והבינה משקיעים מאמצים בקריאת התכנים באתרים. ככל שיהיו באתר יותר תכנים איכותיים, מקוריים ונגישים יהיה להם אינטרס להשקיע יותר בסריקת האתר. תארו לעצמכם שיש באתר תכנים שבכדי להגיע אליהם העכבישים יאלצו לסרוק 4 ו 5 דפים עד שיגיעו לדפים הללו, דבר שיגרור מאמץ סריקה גדול יותר.
דבר נוסף אם התכנים תקועים עמוק בתוך האתר כנראה שבעל האתר לא חושב שיש בהם חשיבות לגולשים הפוטנציאלים ולכן מנועי החיפוש כעקרון נמנעים מלסרוק אותם או ליחס להם חשיבות. דפים אלו לא יופיעו בתוצאות החיפוש ו/או ב AI ובטח שלא בראש תוצאות החיפוש בעבור שאילתות תחרותיות.
אתם חייבים לוודא שכל דפי האתר לא יופיעו בעומק 4 ואילך.
כיצד מחשבים את עומק הדף? עומק הדף הוא המספר הקטן ביותר של הקישורים הפנימיים מדף הבית ועד לדף הנבדק.
אם אתם עובדים עם חברת קידום אתרים אז היא אמורה לבדוק את עומקי הדפים באתר, להתריע על בעיות ולהציע פתרונות. אם אתם פועלים באופן עצמאי ללא ליווי מקצועי תצטרכו לבדוק את עומק הדפים באופן ידני.
אז אם ביצעתם את בדיקת האינדוקס לכתובת מסוימת וגוגל ציין שהכתובת זמינה ואתם לא מוצאים את הכתובת גם בבדיקת המקטעים, בדקו את עומק הכתובת באתר! עם העומק גדול מ 3 כנראה שזו הבעיה.
הפתרון יהיה להוסיף קישור מדף הבית או מדף אחר בעומק 1 לכתובת הבעייתית ו/או להוסיף מפת HTML דבר שיקטין את עומק הכתובת.
בציור למעלה ניתן לראות את עומק דפי האתר ללא מפת HTML ואת השיפור המשמעותי בעומק הדפים לאחר הוספת המפה מ 4 ו-5 ל 2.
בדיקת חומת אש
הבדיקה הזו מצריכה עזרה בד”כ מהמפתחים או מחברת האחסון. אתר האינטרנט שלכם מאוחסן בשרת אחסון המוגן באמצעות חומת אש שתפקידה לבלום פניות “לא חוקיות” לאתר. פניות אלו יכולות לנבוע מניסיונות לחבל באתר וגם מניסיונות של אותם זחלנים של מנועי החיפוש והבינה מלאכותית לסרק את האתר שלכם. לפעמים הזחלנים הללו פונים באופן אגרסיבי (אלפי פניות בזמן קצר) לשרת דבר שיכול להפיל את האתר שלכם ואז מנגנון חומת האש נכנס לפעולה וחוסם את הגישה לזחלנים.
אתם חייבים לוודא מול הגורמים המקצועיים שאין חסימות כאלו. ברוב המקרים החסימות הן פרטניות לזחלנים מסויימים ולתקופות זמן קצובות אבל יש מקרים שבהם החסימות יכולות להיות רוחביות על כל הזחלנים.
מקווה שהצלחתי להעביר לכם את כל הנדרש בשפה פשוטה ובגובה העיניים 😊. אם יש לכם שאלות או הערות אתם מוזמנים ליצור עמנו קשר ונשמח לענות על שאלותיכם.
שאלות ותשובות
מדוע השתמשת במילה כתובת ולא דף?
התשובה לשאלה הזו אינו פשוטה כלל. בעקרון לכל דף באתר יכולות להיות אין סוף כתובות. בכדי להיות מדויקים מציינים שמדובר בכתובת מהאתר ולא בדף מהאתר. אגב הכתובת שנרצה שתופיע בגוגל תקרא הכתובת הקנונית של הדף.
במקרה שהעומק גדול מ 3 האם לא מספיק להשתמש במפת XML?
ממש לא! יש הבדל בין מפת XML למפת HTML. במקרה של בעיות עומק הם לא יפתרו על ידי שימוש במפת XML אלא HTM בלבד.
אלו כלים יכולים לעזור במציאת עומק דפי האתר?
יש מספר כלים מקצועיים שיכולים לעזור. הכלי המדויק ביותר, ולפי דעתי המקצועי ביותר הוא TechSEO360. הכלי לא פשוט לתפעול ודורש הבנה בסיסית+ בתחום. אם אין לכם ידע מוקדם ואתם מוכנים לעגל פינות (בכל מה שקשור לעומק הדפים באתר) תוכלו להשתמש ב Screaming Frog. כלי נפוץ יותר וקל יותר לשימוש.
מאמרים נוספים בנושא
פתיחת עסק בגוגל לעסק שלי (Google My Business) – כל השלבים והטיפים שאתם צריכים להכיר
