אם יש לכם אתר אינטרנט ואתם בודקים את הנתונים שלו עם גוגל אנליטיקס, סביר להניח שתשימו לב לכך שחלק (לא מבוטל) מהגולשים מגיעים ממקומות שונים ומשונים. סין, יפן, אוסטרליה, פולין, צ'ילה, ארגנטינה והרשימה ממשיכה. מאין באים כל הטיפוסים הללו והאם משטרת הגבולות נרדמה בשמירה? ובכן, התשובה היא שרבים מהגולשים אינם בכלל גולשים. כלומר, מדובר על כניסות של תוכנות אוטומטיות המכונות רובוטים. כן, ממש כמו הסוכנים ב"מטריקס" רק שהפעם זה אתם בתפקיד קיאנו ריבס.
הרובוטים שאנחנו מדברים עליהם הם תוכנות שמהוות את חלק הארי בתעבורת הגלישה ברשת. למעשה, על פי דו"ח שפורסם בשנת 2015, הם מהווים כ-40%(!) מכלל הגלישה באינטרנט, ומחקר שנערך שנה קודם לכן מצא שתעבורת הגלישה של הרובוטים במגמת עלייה ושיעורי צמיחתה עומדים על כ-10% משנה לשנה.
.jpg)
מה זה אומר עליי ועל האתר שלי?
כעת, לשאלת מיליון הדולר, האם אתם צריכים לדאוג מכך? ובכן, התשובה היא "לא בהכרח". מומחים מעריכים כי רוב הצמיחה בתעבורת הגלישה של הרובוטים היא "אש ידידותית". הרובוטים הם תוכנות שסורקות את אתרי האינטרנט, מחפשות מידע רלבנטי, ועוזרות לאסוף נתונים לטובת דירוגים ומיקומים ברשת (מישהו אמר גוגל?). יתרונם טמון בכך שהם מסוגלים לבצע סריקה של נתונים רבים בזמן קצר, ועל כן משפרים תהליכים ומשדרגים את נראותם של אתרי האינטרנט השונים.
חברת התוכנה Incapsula, אשר עוסקת באבטחת מידע ושירותי ענן, חקרה עמוקות את הנושא. החבר'ה הרציניים והשקדנים ב- Incapsulaניטרו מידע של לא פחות מכ-1.5 מיליארד ביקורים רובוטיים בקרב כ-20,000 מהלקוחות שלהם (ובכ-250 מדינות). בראיון שנערך בחדשות ABC עם מארק גאפן, מייסד-שותף ב-Incapsula, האחרון ציין כי המחקר ביקש לבדוק "מה באמת קורה שם בחוץ (באינטרנט)?". לדבריו, המחקר כלל גם אתרי אינטרנט קטנים וגם אתרים גדולים ומורכבים.
התוצאות הצביעו על שתי סיבות עיקריות לשגשוג בתעבורת הגלישה של הרובוטים "הטובים". ראשית, שיפור מתמיד ביכולות הטכנולוגיות שלהם. שנית, עליה בשיעורם של רובוטים אשר מתוכנתים על ידי חברות המתמחות באופטימיזציה למנועי חיפוש (ובעברית – חברות קידום אתרים).
הצד האפל של המטריקס
אולם, לא הכל ורוד בעולם הרובוטי. לצד הרובוטים הטובים שמסוגלים לאנדקס אתרי אינטרנט ולאסוף עליהם מידע, ישנם גם רובוטים "זדוניים" שמופעלים על ידי ספאמרים, האקרים ובעלי אינטרסים שונים. החבר'ה ב-Incapsula מעריכים שכ-30% מהרובוטים אינם "ידידותיים למשתמש". בעוד האחוז היחסי של הרובוטים הזדוניים נותר ללא שינוי, ב-Incapsula מצביעים על ירידה במספר הרובוטים שמבצעים פעולות ספאם ברשת. הסיבה לכך, לדעתם, היא העדכונים האחרונים של גוגל (פנדה, פינגווין ושות') אשר נאבקים בקישורי ספאם וקידום אתרים בכובע שחור.
סוג נוסף של רובוטים הוא "רובוטים מתחזים". אלה, בהתאם לשמם, מנסים להתחזות לגולשים אנושיים מתוך מטרות שונות. במקרה ה"סביר" מדובר על אלמנטים של קידום אתרים, ובמקרה הרע על פריצות וחבלה. "המשותף לכל הרובוטים המתחזים הוא שהם מנסים להשתמש בזהות בדויה", מסביר גאפן בראיון ל-ABC, "למשל, הם מציגים את עצמם כרובוטים מטעם גוגל, אבל לא מתנהגים כמצופה ולא מגיעים מכתובת IP מתאימות". גאפן מציין כי שיטות הפעולה של הרובוטים המתחזים הן שונות אך המטרה תמיד אחת – לחדור לאתר ולפרוץ את חומות האבטחה שלו.
אז מה עושים?
מרבית תוכנות האבטחה שתתקינו לא יצליחו למנוע לחלוטין את כניסתם של הרובוטים לאתר האינטרנט שלכם. יתרה מכך, לא תמיד אתם רוצים לחסום את התנועה הזו שכן חלק ניכר מהרובוטים (כ-70%) הם רובוטים "טובים". ממש כמו חיידקים טובים בגוף. אולם, היות שהכניסות של הרובוטים משבשות משמעותית את הנתונים שאתם רואים בגוגל אנליטיקס, יש לכם אפשרות להסיר אותם מהסטטיסטיקה. על מנת לעשות זאת עליכם להיכנס ללשונית Admin באנליטיקס, לבחור ב-View Setting ולסמן בחלק התחתון את השדה "Bot Filtering".
.jpg)
