שלוש דרכים פשוטות של שיפור תקציב הזחילה שלכם

מדי יום גוגל סורק מספר עצום של עמודי אינטרנט על מנת לאנדקס אותם, כדי שבשעת הצורך יוכל להציג את התוצאות הרלוונטיות ביותר לגולשים המקלידים מילות חיפוש כלשהן. הסריקה מתבצעת על ידי זחלנים (Crawlers, המכונים גם עכבישים או רובוטי חיפוש): הם נכנסים לאתרי אינטרנט חדשים על מנת להוסיף אותם למאגר המידע של גוגל או לאתרי אינטרנט קיימים על מנת לבדוק האם היו בהם שינויים ומהם, על מנת לעדכן אותם במאגר המידע של גוגל. כך, כאשר גולש מסוים יקליד מילות חיפוש רלוונטיות, יוכל גוגל “לשלוף מזכרונו” את האתרים המתאימים ולהגיש לגולש רשימה של תוצאות חיפוש.

כיצד גוגל מחליט האם לסרוק אתר מסוים או לא? ובכן, יתכן שהוא מצא קישורים חדשים המפנים אל האתר, או שהוא גילה כי התבצע עדכון במפת האתר וכן הלאה. לא ניתן למנות בפירוט את כל הסיבות בגינן גוגל יחליט לסרוק אתר מסוים, אולם כן ניתן לומר שעל חלקם ניתן להשפיע באמצעות פעולות קידום אתרים.

“תקציב זחילה” (Crawl Budget) הוא מספר הדפים הנסרקים באתר מסוים מדי יום. מי שקובע אותו הוא גוגל, והוא נקבע בדרך כלל על ידי גודל האתר, מספר הקישורים הנכנסים אליו וכמות השגיאות שבו, אם יש כאלה.

גוגל לא סורק את כל האתרים הקיימים ברשת בכל יום, ולכן לעיתים יכול לחלוף פרק זמן מסוים בין העלאתו לאוויר של עמוד חדש, או עדכון של עמוד קיים, ועד שהוא ייסרק על ידי הזחלנים של גוגל. בפרט, אם באתר מסוים יש מספר רב של עמודים אולם תקציב זחילה נמוך – למשל, אתר שיש בו 30,000 עמודים ותקציב זחילה של 200 עמודים ביום – יש סיכוי ששינוי באתר לא ייסרק על ידי גוגל במשך זמן רב מאוד. אם זהו המצב שלכם, יש לכם בעיית תקציב זחילה.

איך תדעו האם יש לכם בעיית תקציב זחילה? בצעו את הפעולות הבאות:

על מנת לשפר את תקציב הזחילה חייבים להיכנס עמוק פנימה. ראשית עליהם להבין בדיוק מהם העמודים אותם גוגל סורק באתר שלכם, והדרך היחידה לדעת זאת באופן מדויק היא לעיין בדוחות השרתים (Server Logs). ניתן להשיג אותם משרת האחסון שבו נמצא האתר שלכם ולעשות בהם שימוש באמצעות אחד מן התוספים הרבים הקיימים ברשת. אגב, זו גם הזדמנות נהדרת להיפטר מכל מיני שגיאות 404 שאולי תמצאו באתר באמצעות יומני השרת הללו.

הנה שלושה דברים פשוטים שתוכלו לשפר, ובעקבותיהם ישתפר גם תקציב הזחילה שלכם:

השאיפה לאפס טעויות

אם הזחלן של גוגל נכנס לאתר כלשהו ומתחיל לזהות בו כמות הולכת וגדלה של שגיאות (כגון הפניות לעמודים שאינם קיימים או לולאות שונות), הוא יתחיל להגיע לביקורים בתדירות הולכת ופוחתת. כלומר, ככל שיהיו באתר פחות שגיאות שכאלה, כך יגדל הסיכוי שהוא יגיע לבקר לעיתים קרובות יותר.

לא תמצאו את השגיאות בעמודי האתר אם תסתכלו בגוגל אנליטיקס, שכן הוא ממילא עוקב אחרי עמודים תקינים בלבד. השגיאות שבאתר יופיעו אך ורק ביומני השרת שהוזכרו לעיל. ברגע שתמצאו אותם, מצאו את השגיאות הנפוצות ביותר ותקנו אותן. לעיתים תצטרכו לתקן מספר שורות קוד בלבד ולעיתים יהיה מדובר בעבודה יסודית יותר.

דברים שגוגל לא צריך לראות

אם יש באתר שלכם חלקים שאינכם רוצים שייסרקו ויאונדקסו על ידי גוגל, חסמו אותם מפני הזחלנים בעזרת קובץ robots.txt. זוהי בעיה נפוצה בעיקר באתרי מסחר או מכירות שבהם ניתן לבצע חיפוש על פי מספר סינונים שונים, שכל אחד מהם עשוי לאלץ אתכם להשתמש בכתובת URL אחרת. אם זהו המצב אצלכם, כדאי לאפשר לזחלן של גוגל לסרוק חלק מן האפשרויות (פילטר אחד או שניים בלבד) ולא את כולם.

צמצמו הפניות

ככל שיש יותר הפניות באופן כללי, כך מתארכת עבודתו של הזחלן. שימוש בהפניה 301, לדוגמה, מתבצע בעיקר כאשר קיימים מספר עמודים שיש בהם תוכן דומה (למשל במצב שבו מעבירים אתר שלם מ-https ל-https) – אולם במקרה כזה הזחלן לא יעבור מיד אל העמוד שאליו בוצעה ההפניה אלא ישמור אותו לאחר מכן. במילים אחרות, ככל שיש יותר הפניות, כך לזחלן יקח יותר זמן לסרוק את העמודים הרלוונטיים. צמצמו את ההפניות, ומשך הזמן יתקצר.