כידוע, מנועי החיפוש, ובראשם גוגל, לא אוהבים הכפלה של תכנים. שימוש בתוכן לא מקורי עשוי לגרום לירידה בהערכה של דף ולכן גם בדירוגו בתוצאות החיפוש עד כדי היעלמו כליל מן התוצאות.
נראה שגורמים שליליים בעולם קידום האתרים, משתמשים בעובדה זו ובאפשריויות טכנולוגיות שונות כדי לגרום נזק למתחרים.
השיטה הפשוטה ביותר לגרום להכפלת תוכן במזיד, היא להעתיק את התוכן (Copy&Past) ולשים אותו באתר אחר. חסרונה של שיטה זו מנקודת המבט של אותם גורמים שליליים היא שאתר המקור יכול לשנות את התוכן ובכך לבטל את הכפילות.
קיימות שיטות מתוחכמות יותר שמאפשרות הצגת התוכן הנוכחי ובכך מבטיחות הכפלת תכנים לתמיד.
נסקור כאן שתיים מן השיטות:
1. שימוש בפונקציה של ColdFusion באופן זדוני
2. שימוש זדוני בProxy
שימוש בפונקציה של ColdFusion
אתרים שכתובים ב ColdFusion (סיומת הקבצים cfm) ובתמימותם (לפחות ברב המקרים) מאפשרים שימוש בפונקציה מסויימת, נותנים חופש לגורמים אינטרסנטיים להציג לכאורה כחלק מן האתר, תוכן דף של אתר אחר..
אתרים רבים בעברית ובאנגלית חשופים לאיום זה והראייה, אם מחפשים בגוגל
site:www.mxak.org/default.cfm?res=762&Company_id=648441&PageUrl=//
מתקבלת רשימת האתרים :
חיפוש דפים בעברית בלבד, יציג אתרים בעברית:
העובדה שדפים אלה מאונדקסים מעידה על כך שמישהו טרח גם לשים מתישהו קישור לכל דף שכזה (ככל הנראה מפורומים או תכנים אנונימיים מסוגם כדי להסוות את מקור הקישור).
ההתמודדות עם בעייה זו היא ע”י חסימה מתאימה בקוד האתר מפני שימוש בפונקציות ColdFusion.
שימוש זדוני בProxy
לא תמיד שימוש בProxy נעשה למטרות זדוניות. גולש שמסיבה כלשהי מעוניין לגלוש בצורה אנונימית משתמש בProxy באופן הבא:
בצורה זו, הפנייה לאתר www.yoursite.com נעשית מכתובת הIP של הProxy ולא מהכתובת הרגילה של הגולש.
גם כאן, גורמים זדוניים מצאו שימוש קלוקל לטכנולוגיה באופן הבא:
התוצאה: הכפלת תוכן …
ההתמודדות עם בעייה זו, גם על פי המלצת מנועי החיפוש, כרוכה בזיהוי גישה של רובוט מוכר לאתר ובדיקה שהגישה אינה נעשית דרך Proxy:
בכל דף מדפי האתר:
• בדוק אם הבקשה לצפות בדף מגיעה מרובוט ע”י בדיקת תחילת המחרוזת ב user-agent (Google: ‘Googlebot’ , Yahoo: ‘Yahoo! Slurp.’ , MSN: ‘MSNBot’ )
• אם הפנייה מרובוט:
– בצע reverse DNS lookup על הIP למציאת שם המכונה ממנה באה הבקשה
– בדוק שהשם הוא מהדומיין שמתאים לרובוט( Google: XXX.googlebot.com , Yahoo: XXX. crawl.yahoo.net , MSN: XXX.search.live.com)
– ודא שהשם אינו מזוייף ע”י ביצוע Forward DNS למציאת ה-IP שמשויך לשם המכונה. צריכה להיות התאמה לכתובת ה-IP שבבקשה לצפייה.
