חיפוש מתקדם

אנונימי

~דף מערכת
ראו גם: חיפוש בצ'יק צ'ק~

בשביל להפעיל את החיפוש המתקדם לכו אל http://www.beofen-tv.co.il/cgi-bin/chiq ... rch=&nop=1
זה עדיין איטי, לא נותן יותר מ-100 תוצאות, ועוד כמה דברים כאלה. מצד שני, הוא יפה וחזק.

להלן הדיון שהיה לגבי זה:

צריך חיפוש מתקדם.

מישהו יכתוב אותו מתישהוא. בינתיים, אפשר להציע הצעות ולדון בהן.

סיכום ביניים + רעיונות נוספים:

הדגשה (בצהוב) בחיפוש.
חיפוש צירופי מילים.
חיפוש עם אופרטורים OR (ובאותו כיוון, גם AND).
ביטויים רגולריים (למתקדמים במיוחד).
קפיצה למקום בו נמצאה התאמה בדף היעד.

התכנון שלי הוא:

סינטאקס שאילתות כמו של גוגל (מעובְרַת), אבל לא מתעקש על מלים שלמות (כלומר, חיפוש המלה "גדול" ימצא גם "הגדול").
בנוסף, אפשרות להגדיר תנאים על המקטע. למשל לחפש את המלה "רעיונות" רק במקטעים שיש להם בכותרת "עדי". הסינטאקס יהיה משהו כזה: "רעיונות מקטע:עדי".
התעלמות מ-stop words.
ברשימת התוצאות, מתחת לכותרת של כל דף שעונה על השאילתה יהיה גם:

המשפט(ים) בהם הביטוי נמצא, כאשר הביטוי עצמו מוצהב, ולחיצה עליו מקפיצה למקום שלו בתוך הדף.
קצת מטה-מידע על הדף: גודל, תאריך שינוי אחרון, וכיו"ב.

והאם הבנתי נכון שאתה מתנדב?

אני מודה שהרעיון עלה בדעתי... בלי נדר, נראה מה יהיה עם הזמן הפנוי. ובכל מקרה כדאי לגבש את הדרישות.

חיפוש תאריכי (מ, עד) - לאפשר התמקדות במקטעים מסוימים בתקופות מסוימות - למשל מה כתב עדי בשבועיים האחרונים.

נראה לי שהאפשרות להגדיר ביטויים שצריכים להופיע בכותרת המקטע נותנת את זה בצורה טובה דיה. למשל, מה כתב עדי בדצמבר 2002:
{{מקטע:עדי מקטע:12.2002}}

אני בעד משפט החיפוש: "מה כתב עדי רן בדצמבר 2000" וזה ימצא מה שכתב עדי רן בדצמבר 2000, בלי שום דיקדוק מיוחד - כמו בגוגל. מילים כמו מה יזכו לעדיפות נמוכה, והמילה כתב מיותרת בחיפוש הזה כמובן, אז כשיקבלו תוצאות, יבינו שכתב לא עוזר לחיפוש ויחפשו במקום "עדי רן דצמבר 2000". מילים כמו דצמבר אפשר לתרגם לתאריכים ואז למצוא גם דצמבר וגם 12/2000 או 12.2000.

עדי, רועי, לשיקולכם.

זה קצת תרגיל בעיבוד שפות טבעיות, לא?

וברצינות, זה פרוייקט מחקרי מעניין, אבל נראה לי לא מעשי להכניס AI ברמה כזו לתוך המערכת, ובמיוחד בהיותה רב-לשונית במוצהר. כל לוקליזציה תצטרך להיכנס עמוק לקוד הזה.

בגוגל, לעניות דעתי, אין יכולת כזו. סביר יותר שהם פשוט מזהים מלות אופייניות לשאילתות כמו What, Where ומתעלמים מהן בחיפוש. המלים שנשארות בשאילתא יביאו כנראה תוצאות קשורות למה שרצית לחפש (הפלא ופלא).

התרשמתי שנעשה נסיון להבין שאילתות בצורה זו ב-AskJeeves. אבל בשאילתות שאני ניסיתי שם, לא התרשמתי שזה חזק במיוחד.

גוגל מתעלמים מכל מיני מילות קישור - אפשר לראות את זה בתוצאות החיפוש. שים לב למשפט השני מתחת לשדה החיפוש בחיפוש המטופש למדי הזה:
http://www.google.com/search?hl=en&lr=& ... gle+Search

לא התכוונתי למשהו כל כך מתוחכם. רק לנסות לתפוס דברים כמו תאריכים שמופיעים בכמה צורות גם אם הם מופיעים בחיפוש בצורה אחת ובדף בפורמט אחר. אפשר לתרגם כל תאריך לפורמט פנימי של ציק צק נניח ימים מתאריך מסוים, ולתרגם כל תאריך בחיפוש או בתוצאות לפורמט הפנימי כדי להשוות. גם לא צריך פתרון שיפעל תמיד. מספיק שיפתור את רוב המקרים כדי לעזור בחיפוש.

אגב שמתם לב מה גוגל אומר? 1-2 תוצאות מתוך בערך 15

ברור גם שלכל שפה יהיו את המילים שלה שצריך להתעלם מהן, אם רוצים פתרון שיהיה רב לשוני. מי שיתרגם את ציק צק לשפה זרה, יתרגם גם את קובץ המילים שלא צריך לחפש.

לא חייבים להכנס עמוק לתוך הקוד בשביל כל דבר. ב-Cocoa למשל יש שימוש רב ב-Delegates. בזמן הריצה, האוביקט בודק אם יש לו Delegate ואם הוא יודע לבצע פעולות. אם הוא יודע לבצע משהו, הוא זוכה לבצע אותו. אם לא. האוביקט מסתדר בלעדיו.
לאוביקט תוכנה (כל תוכנת קוקו היא אוביקט כזה) יש Delegate שאמור להגיב על קריאה כמו: applicationDidFinishLauching והוא יכול לעשות מה שהוא מוצא לנכון מיד לאחר שהתוכנה עלתה. אז כל מה שאתה צריך לעשות, זה לכתוב אוביקט שיש לו מתודה בשם הזה, ולעשות שם מה שאתה רוצה, ולהציב את כתובתו במשתנה המתאים של התוכנה. בצורה כזאת, לא צריך לעשות Sub Classing לשום דבר דבר כמעט, כי האוביקטים שהמערכת מספקת מתוכננים כך שתוכל להרחיב אותם בעזרת Delegates.

באותה צורה, אם יש עוזר צרפתי (זאן פול) לאוביקט החיפוש, אז הוא ידע למצוא בשבילו מחרוזות תאריך צרפתיות ולהחזיר לו מחרוזת תאריך פנימית של ציק צק. אם אין עוזר כזה, כי אף אחד לא כתב את זה עדיין, אז אוביקט החיפוש לא ידע למצוא מחרוזות כאלה, והחיפוש יעבוד בצורה פחות חכמה, אבל יעבוד.

מעשי לעשות דברים כאלה בפרל?

ניר,
התחלתי לכתוב תשובה טכנית מפורטת אבל בסוף הבנתי שהיא לא עונה על שאלתך.

אז התשובות בקצרה הן:

ניתן להוסיף רשימת מלים שהחיפוש יתעלם מהן. השאלה היא, למה זה חשוב. השמטת מלים משאילתא רק תגרום ליותר דפים להתאים לה, וזה פחות טוב למשתמש.

מה שאתה מתאר בשם Delegate הוא תבנית (Pattern) ידוע. יש עוד תבניות שמטפלות ב"הרחבות עתידיות" כמו Strategy ו-Decorator, אפשר להתדיין ארוכות ביתרונות ובחסרונות של כל אחת. השאלה היא לאיזה כיוון מצפים שהתכנון הבסיסי יתפתח - ובמקרה של צ'יק צ'ק, זו שאלה שצריך לשאול את יונת לעניות דעתי, הוספת גמישות ברכיב של "עיבוד שפות טבעיות לצורך מנוע החיפוש", ובמיוחד בתת רכיב "זיהוי תאריכים בפורמטים שונים" היא השקעה לא בכיוון הנכון.

אם אתה שולט מספיק עמוק ב-Perl, אז מעשי לעשות כמעט הכל, כולל מה שתיארת. (אני יכול לדון בכך ארוכות אם אתה מעוניין - אבל למען גילוי נאות, אציין שאני שרוף על השפה הזו).

באופן אישי, יש לי חיבה לפתרונות פשוטים וטפשים וחשדנות כלפי פתרונות מורכבים ומתוחכמים. בכל קבוצת צ'יק צ'ק התאריכים של ההודעות מופיעים בצורה אחת (שנקבעת בידי האדמין), לכן הערך המוסף של לחפש תאריכים בפורמטים אחרים נראה לי זניח.

בטוח שצריך להשקיע בחיפוש יותר חכם, שיהיה קל לשימוש ויעיל כמו בגוגל.

בעניין התאריכים, יתכן באמת שלא צריך שום דבר מיוחד אם מחפשים גם בתאריך ההודעה שהוא בפורמט קבוע. אבל זה יצריך כתיבת התאריך בעזרת מנשק המשתמש, שזה קשה הרבה יותר (לי לפחות) מאשר להקליד משהו כמו 2000-01 שזה ינואר 2000 וגם 1/2000 וגם 2000.1.

השאלה היא האם צריך ליצור מבנה מודולרי שיאפשר אחר כך הרחבה קלה בלי להתעסק הרבה עם המערכת. כלומר אם מישהו יחשוב שזה מספיק חשוב לו לעשות עיבוד שפות טבעיות כחלק מחיפוש, אז הוא יוכל פשוט לכתוב את החלק שעושה את העבודה ולשלב אותו בקלות בלי לשבור שום דבר במערכת, כי היא בנוייה לקבל "עוזרים" כאלה.

וזה יכול להיות משהו פשוט, וגם קוד שכותבים רק פעם אחת, שמטפל בבדיקה האם קיים "עוזר" והאם הוא יודע לעשות פעולה מסויימת. בקוקו למשל קל מאד לכתוב דבר כזה, כי מערכת הריצה יודעת לספר על כל אוביקט מה הוא יודע לעשות. הקוד שמשתמש בעוזר לא צריך לדעת עליו כלום - לא מאיזה מחלקה הוא ולא שום דבר אחר. רק את הכתובת שלו ואז הוא יכול לשאול את המערכת האם הוא יודע לעשות כך וכך ואם כן, לבקש ממנו לעשות את מה שהוא יודע.

כלומר מה שכותב המערכת צריך לפרסם זה רק את הפרוטוקול - הפקודות שהוא מצפה מעוזרים לבצע, ומי שכותב את ה"עוזר" צריך גם לדעת רק את הפרוטוקול, ולישם מתוכו רק את מה שהוא רוצה לישם לצורך העניין.

בדומה לתחנת מוניות. אתה מבקש מונית והסדרן שואל: מי פנוי בארלוזרוב? כשהוא שולח לך מונית הוא לא יודע איזה מונית זאת, מרצדס? סובארו? מנוע דיזל או בנזין? צבע לבן או אדום?. הוא יודע רק דבר אחד שהמונית יכולה לקחת את הקלינט. כלומר רק צריך לכתוב כאן את סדרן המוניות בתחנה ואת פרוטקול הדיבור עם הסדרן עם כל הזמזומים והרעשי ברקע, וכל אחד יוכל להוסיף מונית שתעשה כל מיני דברים מעניינים.

היום למשל, איך אני מוסיף משהו למערכת בלי שאני מסתבך עם הפיתוח שאתם עושים? כל שינוי שאני עושה באיזה קובץ מסרבל אותי נורא כשאני רוצה לעדכן גרסה. אבל אם הייה איזה פרוטוקול ידוע שלא משתנה כל רגע, אז הייתי יכול להוסיף משהו שיעבוד עם הרבה גרסאות.

סליחה על שאלת התם, אבל google google, למה לא בנתיים להשתמש במשהו מאוד דומה - google. אפשר לחפש באתר שלך בעזרתו: http://www.google.com/services/free.html

גוגל לא מאנדקס את כל הדפים אם לא משלמים לו. בכל אופן, יש כבר חיפוש מעולה שעובד, רק חסר קצת גימור.

יונת, מקמק לא משלם לגוגל כמובן, אבל כשערכת פעם חיפוש אחרי שהשם שלי "ניר סופר" גיליתי שיש בגוגל כ-16 דפים ובכל אחד מהם כעשרה או עשרים קישורים, וכולם לדפי מקמק עליהם אני חתום למטה בדרך כלל. ואגב במקמק בסביבות 300 דפים. אז נראה שהוא דוקא כן מאנדקס את הכל או את רוב הדפים. ואל תשכחי שמקמק אתר זעיר והרבה פחות פעיל מבאופן, אבל אולי יותר מקושר החוצה כי אפשר לקשר אילו בקישורים תקניים ב-ASCII.

יונת, ניסיתי את החיפוש המתקדם - דפים שמופיעה בהם לפחות מילה אחת מהמילים הבאות. בחרתי במפתיע בחיפוש ניר סופר.
ציפיתי לקבל תוצאות כאלה בערך:

דפים שהכותרת מכילה את שתי המילים
דפים שהכותרת מכילה מילה אחת
דפים שהכותרת מכילה מילה אחת כחלק ממילה אחרת
דפים שבהם מופיעות המילים צמודות ובסדר הזה, וכן מספר פעמים
דפים שבהם המילים מופיעות צמודות אבל בסדר הפוך
דפים שבהם המילים מופיעות אבל לא צמודות
דפים שבהם מופיעה רק מילה אחת
דפים שבהם מופיעה מילה אבל כחלק ממילה אחרת

לא פשוט לתת ציון לכל הפרמטרים האלה, אבל זה מה שהייתי מצפה מחיפוש חכם.

כמובן שלא קיבלתי תוצאות כאלה (למעט העדפה של כותרות). לא הצלחתי להבין את שיטת הדירוג בתוצאות שקיבלתי. יתכן שהדירוג עדיין לא פעיל?

ניר, דירוג תוצאות קיים כאן ופעיל. בין האפשרויות שציינת, הרוב ממומשות ופחות או יותר בסדר הזה.

לא ארשום כאן את הנוסחה כי היא לא ממש מעניינת (אם תרצה, ארשום) אבל העקרון הוא כזה:

לכל הקשר (context, קטע שמופיע בדף התוצאות) מחושב ציון בנפרד. ציון הדף מחושב לפי ציוני ההקשרים בתוכו. מעבר לכך, אם יש התאמה מלאה גם לכותרת הדף, ציון הדף עולה.
ציון הקשר נקבע לפי מספר מלות החיפוש (או מלים שמתאימות לחיפוש) שנמצאו בתוכו, ללא חזרות. אם יש מלות חיפוש סמוכות זו לזו, ציון ההקשר עולה עוד יותר (ככל שמספר הסמיכויות גדול יותר).
ציון הדף מושפע בעיקר מציון ההקשר הטוב ביותר שנמצא בתוכו.
מספר ההקשרים התואמים בדף משפיע על הציון, אבל בעוצמה נמוכה יותר מאשר הציון של ההקשר הטוב ביותר. בכל מקרה מוצגים בתוצאות החיפוש רק ארבעת ההקשרים הטובים ביותר בכל דף.
חיפושים שליליים לא משפיעים על הציון (אבל יכולים לגרום לפסילת דפים כמובן).

בדוגמה של החיפוש "ניר סופר" הדפים שנמצאו הם בסדר הבא:

דף הבית שלך - אכן צריך להיות במקום הראשון.
דף שמכיל את הצירוף "ניר ניר ניר", כלומר רצף של שלוש מלות חיפוש (שגורם לציון גבוה להקשר) ובמקום אחר "סופר". זו בבירור אזעקת שווא. במימוש הנוכחי קצת קשה למנוע מקרים כאלה.
דף שמכיל גם את הצירוף "ניר סופר" וגם את הצירוף "ניר סופר" באותו הקשר. זה גורם לציון גבוה יותר מאשר הדפים בהם מופיע רק "ניר סופר". אם תחשוב על זה, זה הדף היחיד (פרט לדף הבית) בו יש התייחסות לשם שלך בנפרד מה"חתימה", ויש הגיון לתת לו ציון גבוה יחסית.

4 והלאה - דפים שמכילים רק "ניר סופר" וכולם עם אותו ציון בערך. ההבדל בין הציונים (ובהתאם, סדר ההופעה) נובע ממספר ההקשרים המתאימים בדף. כאמור, לכל דף מוצגים רק ארבעת ההקשרים הטובים ביותר -- אבל כאן כולם בעלי אותו ציון.

לגבי אי ההתאמות האחרות:

דפים שהכותרת מכילה מילה אחת -- יקבלו תוספת לציון רק אם החיפוש היה עם האופרטור "או".
דפים שהכותרת מכילה מילה אחת כחלק ממילה אחרת_, _דפים שבהם מופיעה מילה אבל כחלק ממילה אחרת -- יקבלו אותו ציון כמו בהתאמה מלאה. חשבתי להבדיל בין המקרים אבל בעברית יש הסתברות גבוהה להתאמה חלקית. אם אתה לא מעוניין בהתאמה חלקית אפשר למנוע אותה בעזרת גרשיים.
דפים שבהם המילים מופיעות צמודות אבל בסדר הפוך -- אכן, לא התחשבתי בסדר ההופעה במתן הציון. התחשבות כזו לא כל כך מסתדרת עם ראיית נוסחת החיפוש כביטוי מתמטי (שיכול לכלול אופרטורים, סוגריים וכו').

יופי, שיחקתי קצת. אבל עדיין אני לא יודעת איך למצוא את כל ההודעות שלי שמופיעה בהן מלה מסוימת. אין מקום לחפש הודעות לפי כותב, עם מלה מסוימת, וכשאני רושמת את שמי החיפוש מוצא לא את מה שכתבתי ומכיל את המלה, את את שמי בתוך הודעות שכתבו אחרים.

דווקא את זה אפשר לעשות בחיפוש המתקדם בקלות:

לכי לקישור שיונת שמה.
לחצי על חיפוש מתקדם (להבדיל מחיפוש פשוט, חיפוש למומחים, וקישורים).
סמני את חיפוש במקטעים (בתחתית הטופס).
רשמי את שמך (עם הקו התחתי) בשדה החיפוש בכותרת.
מלאי בשאר השדות את המלים שאת רוצה למצוא או לא למצוא (בהתאם לשדה).
לחצי על הכפתור חיפוש.

טוב, עוד שאלה:
איך אני מחפשת משהו שנכתב בתאריך מסוים? כל מה שניסיתי בחיפוש המתקדם לא הניב תוצאות.
אין לי שום מושג מה זה היה, רק משהו כללי - אני אזהה את זה מתוך כל הדברים שנכתבו באותו היום, אבל לא מצאתי מקום לחפש לפי תאריך.

למשל לעשות חיפוש על "04.03.2004" או חיפוש מתקדם על "{כותרת:04.03.2004}".

היתה אפשרות ב-מה חדש לקבל מלפני, נניח, ארבעה ימים, עד לפני שלושה ימים. יונת?

אה, תודה יונת. אני מבינה עכשיו שהתחביר של כתיבת התאריך שלי היה שגוי.

כן, גילה, פשוט לכתוב "3-4" בתור מספר הימים להצגה. אם כי זה לא מראה דפים שהשתנו גם אז וגם מאוחר יותר, אלא רק דפים שהשינוי האחרון בהם היה אז.

יונת, בהמשך לחיפוש מתקדם, אולי להוסיף איזה פיצ'ר של חיפוש מתכון ? <מיכל מפנטזת>

האם יש אפשרות לחפש דפים שיש בהם רק מקטע אחד ?

כן, אם הבנתי את השאלה.

לא מצאתי איך עושים את זה. (אולי עם חותמת זמן שעה והרבה ** ? )
אני רוצה לחפש דפים עם הודעה אחת כי נראה לי שהם דפים טובים להיות מועמדים למחיקה (או לחזרה ל מה חדש).

אה, עכשיו הבנתי -- את רוצה למצוא דפים קצרים. אז לא: החיפוש המתקדם לא נותן את זה. אבל רשום לי לכתוב סקריפט שיציג את הדפים הקצרים ביותר (מועמדים למחיקה) או הארוכים ביותר (מועמדים לפירוק).

הייתי רוצה שליד כל דף בתוצאת החיפוש יהיה כתוב אם הוא דף לוג וכדומה

כן, ראוי.

האם יש אפשרות לחפש האם כותב מסוים כתב לפי תאריך מסויים?

למשל לעשות חיפוש של מיכל בתאריך 17/07/2005 (רק לדוג')

מקפיצה
(סליחה) פשוט נראה לי שלא ראו את השאלה...

זה מוסבר בטופס החיפוש עצמו. הנה דוגמא:
http://www.beofen-tv.co.il/cgi-bin/chiq ... -17}&nop=1

מה זה טופס החיפוש עצמו? היכן ההסבר?
הלינק שנתת לא מוביל לשום דבר מלבד דף שכתוב the page cannot be displayed
הלינק שלמעלה נותן 5622 דפים (כנראה כל הדפים שבאתר...)

מוזר, אצלי הקישורים האלה עובדים.

פתאום החיפוש המתקדם לא עובד. זה רק אצלי?

לא, זה כבד מדי לשרת הזה.

אהה )-:
אז אני מבינה שעל הפרק החלפת שרת מתישהו, כזה שיאפשר לחזור לדברים שהאתר היה מאפשר פעם?
(וכמה כסף צריך בשביל זה?)

סאג'

יש עוד דרכים לעשות חיפוש מתקדם? איך אמצא את כל הדפים שבהם הזכרתי את מרידיאן הטחול?

צניחת דופן בנרתיק למבוגרות