דלג לתוכן הראשי

העתיד כבר כאן. אנחנו נגיע מוכנים עד שנת 2030.

לקריאה מהירה: חילוץ נתונים חכם

תוכן הפוסט

מישהו יכול לעזור לי בדרך בטוחה ומדוייקת לחילוץ נתונים מקבצי שומות של דירות או טופס אפס של קבלנים.

הבעיה בקבצים הללו יש הרבה חומר שנמצא במילים וטבלאות לא אחידות כלומר כל אחד מגיש את זה בצורה מסויימת זה לא שדות קבועים וחייב תוצאות מדויקות.

עשיתי סנריו שמקבל את הקובץ בפילאווט ומעלה אותו לגמיני והוא מנתח עם סכמת תשובה של 40 שדות שביקשתי ממנו כולל הסבר לכל שדה הבעייה שלפעמים הוא קולט נתונים לא נכונים הקשחתי את הפרומפט כבר כמה פעמים הוא ארוך מאוד אבל מדוייק עם חוקים קשוחים ועדיין הוא שוגה מה שראיתי זה בגלל כמה דברים במקביל לפעמים בטבלאות הוא לא קורא אותם טוב כי זה לא ocr ולפעמים הוא ממציא מספרים למרות ההגבלות הקשוחות הפרומפט מישהו התנסה במשהו דומה לזה??

נכתב על ידי דביר כהן

תגובות ותשובות (6)
  • הקובץ שאתה רוצה לחלץ נתונים מגיע כ pdf או txt או באיזה פורמט?
    מקובץ pdf או תמונה יהיה לדעתי יותר מסורבל להוציא נתונים בלי טעויות, במידה וזה יכול להגיע כקובץ נתונים נקי כמו txt, .md, csv וכדומה - עדיף מאשר קובץ תמונה או ויזואלי

    אני בדיוק מפלס ללקוח דרך למשהו דומה - קח שאני חושב איתך יחד בגן הציבורי של הקהילה שלנו

    Ro-e Sisso

  • אתה משתמש ב-structured output? זה קריטי

    באיזה מודל אתה?

    יישמתי כמה פעמים פיענוח חשבוניות בג'מיני עם פרומפט יחסית פשוט והוא מדייק במספרים ובשדות ברמה גבוהה מאוד למרות שחשבוניות מגיעות בשלל צורות ופורמטים

    סתו גפן

  • הקובץ מגיע כpdf, אני מנסה לעבד אותו ולהוציא נתונים ספציפיים בצורה מוגדרת לג'ייסון קבוע עד עכשיו השתמשתי בגמיני ודייקתי אותו עוד ועוד כדי שלא מזייף ויביא נתונים עוקבים בלי ניחושים והגדרתי לו בהסכמת תשובה איזה 80 שדות הוא היה עובד אבל לפעמים אם אני נותן לו לפענח קובץ אחר לפעמים הוא הוזה קצת עד שלאחרונה אני רואה נתון שהוא מוציא אותו לא נכון כתוב 33 והוא מוציא 32 חפרתי על זה עם גמיני ואני רואה שגם הוא לא קולט אולי משהו בקריאה של זה כיוון שזה בעברית אז באנגלית ובעברית מסתבך לו ולכן הוא מנחש או משהו אחר....

    הפלט הגדרתי לו שייתן לי הסבר על כל נתון שהוא מוציא אז לפעמים הוא מנחש וממציא כדי שלא יסתור למה שהוא אמר....

    עכשיו אני מנסה לעבור למודל של קלוד אבל אני קצת מסתבך להגדיר אותו יש בו יותר מדי אופציות ככה שאני מנסה לראות מה הכי נכון למקרה שלי....

    כשאני מגדיר אותו בדומה לגמיני זה ארוך לו מדי ואז אי אפשר להגדיר אותו כקפדני ואז יש סתירה בין הנתון שהוא מוציא להסבר

    דביר כהן

  • אשמח לקבל, גם צריך דרך לזיקוק דאטה מתוך מסמכים חשבונאים

    Dan Saparzada

  • ניסית לחלק את ה80 נתונים ללמשל 4 קריאות שונות?

    סתו גפן

  • לא ניסיתי מכמה סיבות זה קובץ לפעמים ענק שצריך להוציא מכל מני מקומות נתונים והוא עבד כמה פעמים אבל לפעמים הוא כאילו לא מצליח לקרוא טוב את מסמכי הpdf בדר''כ זה היה בדברים מסובכים יחסית כמו איזה הערה צדדית בתוך טבלה אבל הפעם הוא שגב בטבלה יחסית פשוטה אז ניסיתי לתת לגמיני בצ'אט את הנתונים ובשלב כל שהוא גם הוא התחיל להזות

    דביר כהן