File size: 8,637 Bytes
2977b13
9bc599f
2977b13
3a7fc77
ee03055
 
 
487f9e0
abf5f9b
b4fd1ee
ee03055
 
163b83f
 
70c8af1
398d2ae
54d08b4
28a70f9
54d08b4
4f15950
280009a
ad39f3d
40fdc19
c868ea3
da0d617
168c131
54d08b4
155928f
70c8af1
2977b13
 
 
7f513ba
3fa15e3
 
 
 
 
6516276
3fa15e3
 
 
3308129
3fa15e3
 
 
7f8f579
 
 
 
 
 
3fa15e3
 
 
 
 
 
 
 
 
 
 
 
 
 
37722b6
7f8f579
3fa15e3
 
 
 
 
 
77cdd19
7f8f579
 
37722b6
7f8f579
37722b6
 
 
 
7f8f579
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
77cdd19
 
46b14b5
77cdd19
 
46b14b5
77cdd19
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
---
language: he
datasets:
- tdklab/Hebrew_Squad_v1

tags:
- generated_from_trainer
- avichr/heBERT
- he

model-index:
- name: hebert-finetuned-hebrew-squad
  results: []
  
widget:
- text: "מתי הוקמה הכרמלית ?"
  context: "כרמלית היא כלי תחבורה ציבורית תת-קרקעי, היחיד בישראל. הכרמלית מחברת בין שלושה אזורים מרכזיים בעיר חיפה: העיר התחתית, שכונת הדר ומרכז הכרמל. לכרמלית קו בודד ובו שש תחנות פעילות, היא מופעלת על ידי חברת הכרמלית חיפה בעמ. הקמתה של הכרמלית החלה במאי 1956 והסתיימה במרץ 1959. בניגוד לתפיסה הרווחת, לפיה הכרמלית היא רכבת תחתית, אין היא אלא פוניקולר, רכבל הנע על מסילה במקום להיות תלוי באוויר. שלא כמו רכבת, אין בקרונות הכרמלית מנוע, ומשקלם של הקרונות היורדים הוא הכוח העיקרי המניע את הקרונות העולים (מנוע בתחנת הקצה העליונה תורם אף הוא כוח הנעה)."
- text: "כמה תחנות יש בכרמלית?"
  context: "כרמלית היא כלי תחבורה ציבורית תת-קרקעי, היחיד בישראל. הכרמלית מחברת בין שלושה אזורים מרכזיים בעיר חיפה: העיר התחתית, שכונת הדר ומרכז הכרמל. לכרמלית קו בודד ובו שש תחנות פעילות, היא מופעלת על ידי חברת הכרמלית חיפה בעמ. הקמתה של הכרמלית החלה במאי 1956 והסתיימה במרץ 1959. בניגוד לתפיסה הרווחת, לפיה הכרמלית היא רכבת תחתית, אין היא אלא פוניקולר, רכבל הנע על מסילה במקום להיות תלוי באוויר. שלא כמו רכבת, אין בקרונות הכרמלית מנוע, ומשקלם של הקרונות היורדים הוא הכוח העיקרי המניע את הקרונות העולים (מנוע בתחנת הקצה העליונה תורם אף הוא כוח הנעה)."
- text: "היכן נמצא בית המשפט העליון?"
  context:  "ירושלים היא עיר הבירה של מדינת ישראל , והעיר הגדולה ביותר בישראל בגודל האוכלוסייה. נכון לשנת 2021, מתגוררים בה כ-957 אלף תושבים. בירושלים שוכנים מוסדות הממשל של ישראל: הכנסת, בית המשפט העליון, משכן הנשיא, בית ראש הממשלה ורוב משרדי הממשלה. ירושלים שוכנת בהרי יהודה, על קו פרשת המים הארצי של ארץ ישראל, בין הים התיכון וים המלח, ברום של 570 עד 857 מטרים מעל פני הים."
- text: "מהן פירות הגפנים?"
  context: "כרם הוא מטע שמגדלים בו עצי פרי מסוימים. בדרך כלל מתייחס המושג \"כרם\" למקום גידולן של גפנים, שפירותיהן, הענבים, משמשים למאכל ולייצור יין, אולם גם מטעי זיתים ושקד מצוי מכונים כרמים.הגפן היא שיח מטפס, ולכן בכרמי גפנים מוצבים קרדונים - עמודים שעליהם מדלים את הגפן, וחוטי שילוב (בכרמים מודרניים) התומכים בזמורות הצעירות, נושאות הפירות.בכרמים המגודלים בעל, נטועים כמאה עצים בדונם, ברווחים של כשלושה מטרים אחד מהשני, מודלים בדרך כלל על עמודים בגובה של כשני מטרים, כשעליהם חוטים בצורת סוכה, כך שבין העצים יש שטח פנוי המאפשר עיבוד של הקרקע - בעיקר קילטור החשוב מאוד לניצול יעיל יותר של המים.בכרמים המגודלים בהשקיה מקובל לנטוע 200–300 עצים לדונם, ובמקומות מסוימים באירופה אף 600 עצים. הגפנים נטועות בשורות, גובהן כמטר אחד, וחוטי שילוב עד גובה כ-180 ס\"מ, מחזיקים את הזמורות הצעירות."
- text: "כמה תושבים יש בירושלים?"
  context: "ירושלים היא עיר הבירה של מדינת ישראל , והעיר הגדולה ביותר בישראל בגודל האוכלוסייה. נכון לשנת 2021, מתגוררים בה כ-957 אלף תושבים. בירושלים שוכנים מוסדות הממשל של ישראל: הכנסת, בית המשפט העליון, משכן הנשיא, בית ראש הממשלה ורוב משרדי הממשלה. ירושלים שוכנת בהרי יהודה, על קו פרשת המים הארצי של ארץ ישראל, בין הים התיכון וים המלח, ברום של 570 עד 857 מטרים מעל פני הים."
- text: "מה גרם לירידת מפלס המים?"
  context: "הכנרת היא ימה בצפון מזרחה של ישראל. זהו אגם המים המתוקים הגדול בארץ ישראל. בעבר סיפקה הכנרת כרבע מצריכת המים בישראל, אך בעקבות ירידת מפלס המים כתוצאה משנות בצורת שפקדו את ישראל, פחתה שאיבת המים מהאגם ומתקני ההתפלה היו לספק המים העיקרי. כיום מספקת הכנרת בין 2 אחוזים מסך הצריכה ל־13 אחוזים. מפלס מי הכנרת משתנה תכופות על פי עונות השנה ובהתאם לשנים גשומות או שחונות ונמצא לרוב בתחום של 209 עד 212 מטרים מתחת לפני הים. בשנות בצורת נחשפים איים בכנרת עקב ירידת המפלס. הכנרת היא הימה המתוקה הנמוכה ביותר בעולם."

  
---



<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# hebert-finetuned-hebrew-squad

This model fine-tunes avichr/heBERT model on SQuAD dataset auto-translated to Hebrew.

## Intended uses & limitations

Hebrew SQuAD

## Training and evaluation data


| Dataset  | Split | # samples |
| -------- | ----- | --------- |
| Hebrew_Squad_v1| train | 52,405      |
| Hebrew_Squad_v1| validation| 7,455     |


## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 15

It took about 9.5 hours to finish training.

### Framework versions

- Transformers 4.17.0
- Pytorch 1.10.0+cu111
- Datasets 1.18.4
- Tokenizers 0.11.6

### Results

**Model size**: `415M`

| Metric | # Value   |
| ------ | --------- |
| **Exact Match** | **42.6** | 
| **F1** | **55.9** |
## Example Usage


```python
from transformers import pipeline

model_checkpoint = "tdklab/hebert-finetuned-hebrew-squad"
qa_pipeline = pipeline(
    "question-answering",
    model=model_checkpoint, 
    )

predictions = qa_pipeline({
    'context': "ירושלים היא עיר הבירה של מדינת ישראל , והעיר הגדולה ביותר בישראל בגודל האוכלוסייה. נכון לשנת 2021, מתגוררים בה כ-957 אלף תושבים. בירושלים שוכנים מוסדות הממשל של ישראל: הכנסת, בית המשפט העליון, משכן הנשיא, בית ראש הממשלה ורוב משרדי הממשלה. ירושלים שוכנת בהרי יהודה, על קו פרשת המים הארצי של ארץ ישראל, בין הים התיכון וים המלח, ברום של 570 עד 857 מטרים מעל פני הים.",
    'question': "מהי עיר הבירה של מדינת ישראל?"
})

print(predictions)
# output:
# {'score': 0.9999890327453613, 'start': 0, 'end': 7, 'answer': 'ירושלים'}
```

### About Us
Created by Matan Ben-chorin, May Flaster, Guided by Dr. Oren Mishali.
This is our final project as part of computer engineering B.Sc studies in the Faculty of Electrical Engineering combined with Computer Science at Technion, Israel Institute of Technology.
For more cooperation, please contact email: 
Matan Ben-chorin: [email protected]
May Flaster: [email protected]