הסרת תוכן מהאתר – חלק ב'

מאת: אופיר ורדי

במאמר זה נלמד על הסרת תוצאות שליליות ממנוע החיפוש, והסרת כתובות URL ואתרים שבשליטתנו בפרט.

גוגל מדריכה בעצמה מנהלי אתרים כיצד להתמודד עם עמודים ואתרים שלנו הכוללים תוכן המזיק לשמנו הטוב ולתדמית שאנחנו רוצים לבנות. המידע נכון גם במקרים בהם ביקשנו ממנהל אתר להסיר עמוד ונענינו בחיוב, ועתה עלינו להסביר למנהל האתר כיצד להסיר את העמוד ממנוע החיפוש בדרך המהירה ביותר.

הסרת כתובת URL יחידה

ישנן שלוש דרכים בסיסיות להסרת עמוד מתוצאות מנוע החיפוש:

• הטמנת הודעה המבקשת לא לסרוק את העמוד באמצעות קובץ robots.txt
• הטמעת תגית noindex בקוד המקור של הדף
• הפניית הגולשים לעמוד (ובעקבות זאת את מנגנון האינדוקס של גוגל) לעמוד 404 (העמוד לא קיים) או לסטאטוס 410 (העמוד היה קיים בעבר וכעת הוא לא).

חשוב לזכור: הסרת התוכן מהעמוד אינה מספיקה על מנת לחסום את העמוד. יש לבצע אחד משלושת הצעדים שפורטו לעיל על מנת להצליח להסיר את העמוד הלא-רצוי באופן מהיר יחסית.

הסרת אתר שלם ממנוע החיפוש

גם כאן ניתן להשתמש בקובץ robots.txt ולשתול בתוכו הוראה למנוע החיפוש להתעלם מהאתר או מחלק ממנו. כלי זה (http://www.google.com/support/webmasters/bin/answer.py?answer=158587) מאפשר לבדוק האם הקובץ הוגדר כהלכה והאם מנוע החיפוש ידלג על העמוד או האתר הרצויים.

אם ברצוננו לחסום את הופעתו של האתר site.com, נוסיף לקובץ את המקטע הבא:

User-agent: *

Disallow: /

אם ברצוננו לחסום רק תיקייה מסויימת באתר site.com, נניח site.com/blog, נוסיף את המקטע הבא:

User-agent: *

Disallow: /blog/

כמו כן, במידה ואתם משתמשים ב-Google Webmaster Tools, והאתר רשום על שמכם בכלי זה, תוכלו לבחור בעצמכם אילו עמודים לא ייסרקו ע"י גוגל ע"י כניסה לתפריט Site Configuration, ומשם ל- Crawler access ו- Remove URL. רק אתרים הרשומים בכלי זה יוכלו להשתמש באפשרויות ההסרה הידידותיות של גוגל.

ומה עושים אם מישהו הגיש בקשה להסיר עמוד באתר שלי?

כאן שוב, אם אתם בעלי האתר ומשתמשים בשירות של גוגל לוובמאסטרים, תוכלו להיכנס לתפריט Crawler Access ולצפות שם בבקשות להסרת תוכן שהוגשו ע"י אנשים שאינם בעלי האתר. אם יש לכם את השליטה באתר תוכלו למחוק את הבקשות האלה ולוודא כי מנוע החיפוש כן יסרוק את התוכן.

לסיכום, ישנם כלים המאפשרים לנו להסיר עמודים המכילים תוכן שאינו לרוחנו, בין אם אנחנו בעלי השליטה באתר המכיל את התוכן הפוגעני ובין אם לא.

עם זאת, תמיד מומלץ להתייעץ עם בעלי ניסיון בתחום (למשל, איתנו!) ואף לשכור מומחה שיבצע את העבודה הקריטית הזו עבורכם (למשל, אותנו!). מומחה בתחום יוכל להשיג תוצאות טובות יותר ובמהירות רבה בהרבה מאדם שאין לו ניסיון בניהול תדמית אינטרנטית ובניית מותג אישי ועסקי.

ראו גם: הסרת תוצאות שליליות ממנוע החיפוש: הסרת אתרים שאינם בשליטתנו