ניתוח קבצי לוג — מה Googlebot עשה באתר שלכם הלילה?

כל שרת אינטרנט — Apache, Nginx, LiteSpeed — מנהל יומן: לוג שמתעד כל בקשה שהגיעה אליו. כל שורה בלוג מייצגת ביקור אחד — של אדם אמיתי **או של בוט.**

שורה אופיינית בלוג:

66.249.65.25 - [12/Jun/2026:03:14] "GET /knowledge/seo/ HTTP/1.1" 200 8432 "Googlebot/2.1"

מה אפשר לקרוא מזה: ה-IP של הבוט (66.249.65.25 = Googlebot), תאריך ושעה (03:14 — הלילה), ה-URL שנסרק, קוד תגובה (200 = הצלחה). **זה לא ניחוש — זה תיעוד מדויק** של מה שגוגל עשתה באתר שלכם.

Google Search Console מצוין — אבל הוא מציג מה שגוגל *בחרה* לחלוק איתכם. לוג מציג **מה שגוגל עשתה בפועל.**

הבדלים שניתוח לוג מגלה:

— Googlebot מבקר בדפים שGSC לא מציג (כי GSC מציג רק דפים שאונדקסו — לא כל מה שנסרק). — הבוט מבלה זמן רב בדפים שאתם לא מעוניינים בהם — ותקציב הסריקה מבוזבז. — **Crawl Rate פתאומי גבוה** יכול להעיד על שינוי חשוב שגוגל עמדה לפרסם. — בוטי AI (GPTBot, ClaudeBot, PerplexityBot) מסתוות — ניתן לזהות ולהחליט על מדיניות.

**cPanel** (הנפוץ ביותר): היכנסו ל-cPanel → Logs → Raw Access Logs. הורידו את הקובץ (לרוב נדחס כ-gz).

**Nginx:** הלוג נמצא לרוב ב-/var/log/nginx/access.log. גישה דרך SSH.

**ספקי Managed Hosting:** Kinsta, WP Engine ודומים — מציעים לרוב ממשק גרפי להורדת לוגים.

**Cloudflare:** אם האתר עטוף ב-Cloudflare, יש דוחות מובנים לבוטים בדשבורד — פחות מפורט מ-Raw Log אבל זמין מיידית.

**Screaming Frog Log File Analyser** — הכלי הנפוץ ביותר. מייבא לוגים, מסנן לפי בוט (Googlebot, Bingbot), ומציג דוח חזותי. גרסה חינמית מוגבלת ל-1,000 שורות.

**Botify** — פלטפורמת Enterprise עם ניתוח לוג מתוחכם. מתאים לאתרים גדולים (100K+ דפים).

**Excel / Google Sheets** — לאתרים קטנים. ייבוא CSV, Pivot Tables לסינון. חינמי, מגביל.

**1. אילו דפים Googlebot מבקר בהם הכי הרבה?** — אם הבוט מבלה 60% מביקוריו בדפי Archive ותגיות ורק 40% בתוכן — תקציב הסריקה מבוזבז. פתרון: robots.txt לחסימת archive, noindex לתגיות.

**2. אילו דפים כמעט לא נסרקים?** — דפי השירות החשובים שלכם שגוגל מבקרת בהם פעם בשבוע — בעיית Internal Linking.

**3. Crawl Rate לאורך זמן** — עלייה פתאומית = גוגל גילתה תוכן חדש. ירידה פתאומית = בעיית זמינות שרת.

**4. קודי Status בעייתיים** — כמה שגיאות 404 ו-500 הבוט פגש? Crawl Budget מבוזבז על שגיאות.

**5. בוטי AI** — האם GPTBot, ClaudeBot, PerplexityBot מבקרים? בדקו שמדיניות robots.txt שלכם ברורה.

לא כל אתר צריך ניתוח לוג שוטף. **מתי זה קריטי:**

אתרים עם 10,000+ דפים — שם תקציב הסריקה הוא בעיה ממשית. לאחר ירידה בדירוגים שלא מוסברת על ידי תוכן או קישורים. לאחר מעבר שרתים או שינוי תשתית משמעותי. כשה-GSC מציג מספר אינדוקס נמוך משמעותית ממה שמצפים.

לאתרים קטנים — GSC + Screaming Frog הרגיל מספיק. ניתוח לוג הוא כלי ל**אבחון מתקדם**, לא לתחזוקה שגרתית.