דוקומנטציה מהירה ל־SQL Lab (לשימוש האנליסט)

מה יש במסד

טבלה מרכזית: documents

עמודות עיקריות: doc_id, job_id, url, title, content_type, status_code, word_count, headings_count, links_count, meta_json, raw_json

שדות התוכן המלאים (טקסט הדף, כותרות, קישורים וכו') נמצאים בתוך raw_json (פורמט JSON). תיאורי מטא לרוב ב־meta_json.

מאפייני המנוע

• קריאה בלבד – רק SELECT. אין PRAGMA, ואין יצירה או שינוי של טבלאות.
• תצוגת ברירת מחדל רגישה לאותיות. כדי להתעלם מרישיות השתמשו ב־COLLATE NOCASE או LOWER()/UPPER().
• תוסף JSON1 זמין ברוב המקרים, כך ש־json_extract() עובד. אם לא, חפשו ישירות במחרוזת ה־JSON.

תבניות שאילתות שכיחות

1. חיפוש בכותרת בלבד (case-insensitive):

   SELECT url, title
   FROM documents
   WHERE title LIKE '%keyword%' COLLATE NOCASE
   LIMIT 500;

2. חיפוש בתוכן המלא (מתוך JSON) + בכותרת:

   SELECT url, title
   FROM documents
   WHERE title LIKE '%keyword%' COLLATE NOCASE
      OR json_extract(raw_json, '$.body') LIKE '%keyword%'
   LIMIT 500;

   אם json_extract לא נתמך:

   SELECT url, title
   FROM documents
   WHERE title LIKE '%keyword%' COLLATE NOCASE
      OR raw_json LIKE '%keyword%'
   LIMIT 500;

3. דפים "ארוכים" (לפי ספירת מילים):

   SELECT url, title, word_count
   FROM documents
   WHERE word_count >= 1200
   ORDER BY word_count DESC
   LIMIT 500;

4. עמודים ללא Description (מתוך meta_json):

   SELECT url, title
   FROM documents
   WHERE json_extract(meta_json, '$.description') IS NULL
      OR json_extract(meta_json, '$.description') = ''
   LIMIT 500;

   ללא JSON1:

   SELECT url, title
   FROM documents
   WHERE LOWER(meta_json) NOT LIKE '%"description":"%'
      OR meta_json LIKE '%"description":null%'
   LIMIT 500;

5. איתור מילת מפתח "content" בכותרת בלבד:

   SELECT url, title
   FROM documents
   WHERE title LIKE '%content%' COLLATE NOCASE
   LIMIT 500;

6. ספירת דפים לפי Job:

   SELECT job_id, COUNT(*) AS pages
   FROM documents
   GROUP BY job_id
   ORDER BY pages DESC
   LIMIT 500;

7. איתור עודף/חוסר בכותרות וקישורים:

   -- יותר מדי קישורים
   SELECT url, title, links_count
   FROM documents
   WHERE links_count > 100
   ORDER BY links_count DESC
   LIMIT 500;
   
   -- מעט מדי כותרות
   SELECT url, title, headings_count
   FROM documents
   WHERE headings_count <= 1
   ORDER BY headings_count ASC
   LIMIT 500;

כללי עבודה מומלצים

• תמיד הוסיפו LIMIT (המערכת מגבילה ל־500, וזה גם מגן עליכם).
• לחיפושים לא רגישים לרישיות: LIKE ... COLLATE NOCASE עדיף על שימוש מיותר ב־LOWER().
• כשמחפשים בתוכן, העדיפו json_extract(raw_json, '$.body') אם זמין — מדויק ומהיר יותר מלסרוק את כל מחרוזת ה־JSON.
• אם יש כותרות בעברית ובאנגלית, שילוב עם COLLATE NOCASE/UPPER() עובד היטב.