איך לפתור בעיות של תוכן משוכפל

ככל שאתרי האינטרנט נעשים יותר ויותר מבוססי תוכן, כך משתכללים מנועי החיפוש. האלגוריתמים של גוגל ומנועי חיפוש אחרים הולכים ומשתפרים בזיהוי תכנים משוכפלים, מה שעלול להוביל לפגיעה בדירוג של אתרים שאינם מקפידים על שימוש בתוכן מקורי או שאינם מיטיבים לערוך סדר בכתובות ה-URL של העמודים השונים בתוך האתר.

להלן נרחיב מעט אודות תוכן משוכפל ודרכים אפשריות למניעתו ופתרון הבעיות הנוצרות בעקבותיו.

כל תוכן המופיע ביותר מעמוד אינטרנט אחד עשוי להיחשב כתוכן משוכפל. גם אם המופעים אינם זהים ב-100% אולם חלקים נרחבים בהם דומים, אזי מנועי חיפוש עשויים להבחין בכך. זה יכול להיות תוכן המופיע בשני אתרים נפרדים, כאשר למשל אחד מהם פשוט השתמש בטקסט של האחר מבלי לשנותו, או אפילו באותו אתר – למשל גרסת דפדפן מול גרסת הדפסה, אתר המבצע הפניות ממספר מקומות אל אותו תוכן, גרסת דסקטופ לעומת גרסת מובייל או תוכן באתר הנמצא בעיצומו של תהליך מעבר מ-HTTP ל-HTTPS.

מבחינת מנועי החיפוש, תוכן משוכפל פירושו כפילות מיותרת בתוצאות החיפוש, מה שיוביל להשמטת אחת מן התוצאות מן הרשימה המוצגת לגולשים שחיפשו דבר מה. ואם דווקא העמוד שהושמט הוא העמוד המקורי שממנו הועתק התוכן, או העמוד שמוטב לנו שיוצג לגולשים, אזי יש לנו בעיה.

קיימות מספר אפשרויות לפתרון בעיות תוכן משוכפל:

השימוש בתג noindex מתבצע על ידי הוספתו לקוד ה-HTML של עמודים מסוימים באתר, על מנת שכאשר הם ייסרקו על ידי מנועי החיפוש הם לא יאונדקסו, כלומר לא יוצגו בין תוצאות החיפוש. ראוי להדגיש כי התג הזה רלוונטי רק לגבי מנועי החיפוש, וגולשים המגיעים לעמוד עדיין יוכלו להיכנס לעמוד שיש לו תג כזה ולראות את התוכן שבו.

הסכנה בתג noindex היא בשימוש לא נכון בו. ללא ידע מקצועי מתאים קיימת האפשרות לחסום בטעות ספריות שלמות של האתר מאינדוקס במנועי החיפוש, ועל כן מומלץ להיוועץ במומחה קידום אתרים על מנת לעשות זאת באופן יעיל.

תג קנוניקל הוא שורת HTML שניתן להוסיף לקוד העמוד ותפקידה להגדיר עבור מנועי החיפוש מהי כתובת ה-URL המועדפת של העמוד. הדבר יגדיר לגוגל ומנועי חיפוש אחרים איזה תוכן שייך לאיזה עמוד, ובמידת הצורך יסייע להם לשפר את ההחלטה איזו תוצאה להציג ברשימת התוצאות ואיזו לא.

עם זאת, השימוש בתגי קנוניקל מחייב מעבר ידני על כל האתר והגדרת תגי קנוניקל מדויקים עבור כל עמוד ועמוד בנפרד. במקרה של אתר גדול הכולל עשרות ומאות עמודים שונים, הדבר עשוי להיות מסורבל וסבוך לביצוע.

אם אתר נמצא בעיצומו של מעבר לדומיין חדש, אחת הדרכים הפשוטות ביותר להימנע מבעיה של סריקת התוכן על ידי מנועי החיפוש וזיהויים כתוכן משוכפל היא שימוש בהפניה 301. זו למעשה הפניה קבועה המעבירה את התעבורה המגיעה לעמוד הישן באופן אוטומטי אל העמוד החדש.

הפניה 301 היא גם פשוטה יותר לביצוע, שכן היא אינה מחייבת מעבר על כל עמוד באתר אלא ניתנת להגדרה גורפת פעם אחת בלבד. מעין “כל מי שמגיע לעמוד המתחיל ב-HTTP, הפנה אותו מיד לעמוד המתחיל ב-HTTPS”.