הבלוג שלנו

גוגל הודיעו בשבוע שעבר שיעדכנו את הסוכן-משתמש (User-agent) של רובוט הסריקה של גוגל (Googlebot Crawler) ב-18 באפריל, 2016 וישנו אותו מסוכן-משתמש של אייפון לסוכן-משתמש של אנדרואיד.

כך נראה ה-User-agent של גוגלבוט היום:

 Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

וכך הוא ייראה אחרי שהעדכון יצא לפועל, ב-18 באפריל:

Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

ההבדל העיקרי הוא שגוגל מסירים את המחרוזת Apple iPhone  וספארי ומחליפים אותה באנדרואיד וכרום. גוגל מסבירים שהשינוי נעשה כדי לאפשר ל-Renderer להבין טוב יותר דפים שמשתמשים בטכנולוגיה חדישה יותר, והוסיפו שאלו התפתחו בזמן האחרון ונעשו דומים יותר לכרום מאשר לספארי.

גוגל מעריכים שרוב האתרים לא יושפעו מהשינוי, אבל ברשת מעריכים שזה הולך להיות אחד הגורמים המשפיעים על דירוג האתרים בחודשים אפריל-מאי 2016. לפי גוגל, ברוב המקרים אתר יושפע מהשינוי אם הוא מחפש מחרוזת ספציפית של Googlebot user-agent. ישנן תוכנות firewall שמאפשרות לגוגלבוט לסרוק את האתר לפי מחרוזת user-agent בלבד. אף על פי שהתהליך אינו נוגד את הנחיות גוגל, הפניית הגוגלבוט לתוכן שונה מזה שמוצג למשתמשים רגילים עלול להיחשב לצורה של הסוואה (cloacking) ולגרום להענשה ידנית, ולכן אינו מומלץ. לפי גוגל, מנהלי אתרים צריכים להתייחס אל רובוט הסריקה כמו אל כל דפדפן.

גוגל אישרו שימשיכו לסרוק מאותה כתובת IP, כך שהשינוי לא ישפיע על אתרים שמאפשרים סריקת רובוטים לפי כתובות IP.

איך לבדוק אם האתר יושפע מעדכון הגדרות גוגל לסמארטפון?

אם האתר עלול להיות מושפע מהשינוי, גוגל ממליצים להשתמש בכלי אחזר ועבד כמו גוגל (Fetch and render) שנמצא ב-Search Console (וכבר עודכן במחרוזת הסוכן-משתמש החדשה), או לשנות את מחרוזת הסוכן-משתמש באמצעות כלי הפיתוח שבדפדפן כמו Chrome Device Mode. כמו כן, גוגל ממליצים להשתמש ב-feature detection ולוודא שהאתר נגיש למשתמשים בכל הדפדפנים.