למה אין משהו דומה לבוטים של מודולי השפה שדומה לקובץ ה ROBOTS ? אז זהו יש!
הקונספט הוצע לראשונה בשנת 2024 על-ידי קבוצות מובילות בקהילת ה-SEO העולמית, בשותפות עם חוקרים וחברות טכנולוגיה העוסקות בפיתוח LLMs (מודלי שפה גדולים).
חיזוק נוסף הגיע גם מצד בעלי האתרים, במטרה ליצור סטנדרט גלובלי שיקל עליהם ולבוטים של מודולי השפה “להסתדר אחד עם השני”. מדובר עדיין ביוזמה בצמיחה, אך כבר כעת כמה מהשחקניות הגדולות בתחום לוקחות חלק – בראשן OpenAI (עם ChatGPT), Anthropic (Claude), Google (Gemini, Bard), Meta (LLama) וחברות נוספות.
מהו קובץ llms.txt ?
מדובר בקובץ טקסטואלי פשוט בשם llms.txt המאפשר לבעלי אתרים לתת הנחיות מפורטות לבוטים של מודלי שפה גדולים (LLMs), כמו ChatGPT.
בדומה לקובץ -robots.txt, קובץ llms.txt יכול להכיל פקודות כמו Allow, Disallow, ותגי זיהוי לבוטים מסוימים. את הקובץ יש להעלות לספריית השורש של האתר כך שיהיה נגיש לבוטים שמיישמים את הפרוטוקול ומכבדים את ההנחיות. למרות הדימיון בין הקבצים ל-robots.txt ול-llms.txt יש מטרות שונות — robots.txt משמש כמחסום עבור בוטים שונים, הנשמעים לקובץ, כמו למשל הבוטים של גוגל, בינג, ahref, majestic ועוד. מצד שני, ההנחיות שבקובץ llms.txt, מאפשרות לבוטים לתעדף תכנים איכותיים ורלוונטיים בהתאם למה שבעלי האתר רוצים לקדם.
תוכלו להרחיב את הידע אודות חסימת תכנים באתר באמצעות סרטון שהכנו בנושא חסימת תכנים.
אלו בוטים (עכבישים) נשמעים להנחיות לקובץ llms.txt ?
חלק מפתרונות ה-LLM המובילים כבר התאימו עצמם, כאשר ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google) ו-LLama (Meta) מודיעות על תמיכה הדרגתית או ניסיונית. חשוב לציין שלא כל מודול שפה בשוק מחויב במאה אחוז להנחיות האלו – לפחות לא כרגע – אבל לא מן הנמנע שהסטנדרט ילך ויתרחב ככל שיעבור הזמן.
טיפים לניהול יעיל של הקובץ
לפניכם מספר המלצות וטיפים מהמומחים שלנו בסאו סימפל הקשורות לניהול התוכן בקובץ:
- בדקו שאין סתירה בין קובץ ה robots .txt לבין קובץ ה llms.txt. הכוונה היא להימנע ממצב שבו אתם חוסמים, לדוגמה, את הבוט של chatgpt בקובץ הרובוטס ובקובץ ה llms אתם מבקשים ממנו לסרוק תכנים.
וודאו שאתם לא מבקשים לסרוק תוכן שחסמתם על ידי תגיות ROBOTS או שהתוכן חסום בשל יישום טכנולוגיה כלשהי שלא מאפשרת לבוטים לסרוק אותו. - וודאו שהכתובות שאותן ביקשתם לסרוק הן הכתובות הקנוניות של הדפים.
- אל תוסיפו בקובץ בקשות לסריקה של תכנים ישנים שאינם רלוונטיים. כדאי להתמקד בתכנים החשובים ביותר לכם.
- זכרו לעדכן את הקובץ בהתאם לעדכונים באתר. אם אתם מעלים חומרים/מוצרים חדשים או שעדכנתם תכנים ישנים וחשוב לכם שהם יופיעו כחלק מהתוצאות במודולי השפה זה המקום.
- הקובץ הוא גם המקום לבקש מהעכבישים של מודולי השפה שלא לאנדקס תכנים מתוך האתר שלכם.
אם אתם בעלי אתר וורדפרס בוודאי תשמחו לגלות שתוספי SEO שונים כבר הוסיפו את הקובץ והניהול שלו כחלק אינטגרלי מהתוסף.
חשוב להדגיש כי הנושא עדין מוגדר כניסיוני. מידע מורחב יותר תוכלו למצוא כאן.
מאמרים נוספים בנושא
פתיחת עסק בגוגל לעסק שלי (Google My Business) – כל השלבים והטיפים שאתם צריכים להכיר
