Initial about page

app.py

@@ -5,8 +5,6 @@ from apscheduler.schedulers.background import BackgroundScheduler
 from huggingface_hub import snapshot_download
 
 from src.about import (
-    CITATION_BUTTON_LABEL,
-    CITATION_BUTTON_TEXT,
     EVALUATION_QUEUE_TEXT,
     INTRODUCTION_TEXT,
     LLM_BENCHMARKS_TEXT,
@@ -334,18 +332,8 @@ with demo:
                 submission_result,
             )
 
-    with gr.Row():
-        with gr.Accordion("📙 Citation", open=False):
-            citation_button = gr.Textbox(
-                value=CITATION_BUTTON_TEXT,
-                label=CITATION_BUTTON_LABEL,
-                lines=20,
-                elem_id="citation-button",
-                show_copy_button=True,
-            )
-
 scheduler = BackgroundScheduler()
 scheduler.add_job(restart_space, "interval", seconds=1800)
 # scheduler.add_job(launch_backend, "interval", seconds=100) # will only allow one job to be run at the same time
 scheduler.start()
-demo.queue(default_concurrency_limit=40).launch()
+demo.queue(default_concurrency_limit=40).launch(allowed_paths=["logos/"])

requirements.txt

@@ -13,6 +13,5 @@ requests==2.28.2
 tqdm==4.65.0
 transformers==4.38.2
 tokenizers>=0.15.0
-git+https://github.com/EleutherAI/lm-evaluation-harness.git@b281b0921b636bc36ad05c0b0b0763bd6dd43463#egg=lm-eval
 accelerate==0.24.1
 sentencepiece

src/about.py

@@ -27,19 +27,156 @@ TITLE = """<h1 align="center" id="space-title">Hebrew LLM Leaderboard</h1>"""
 
 # What does your leaderboard evaluate?
 INTRODUCTION_TEXT = """
-Intro text
+<div style="display: flex; justify-content: center;">
+<div style="max-width: 70vw;">
+
+Welcome to the Leaderboard for open Hebrew LLMs. The leaderboard ranks the different models according to their success on various tasks on Hebrew. 
+
+The leaderboard was created and is operated by a collaboration of [Mafat / The Israeli National Program for NLP in Hebrew and Arabic](https://nnlp-il.mafat.ai/) and [DICTA: The Israel Center for Text Analysis](https://dicta.org.il/). 
+
+<div dir="rtl" style="text-align: right">
+
+ברוכים הבאים ללוח התוצאות של מודלי LLM פתוחים בעברית. לוח התוצאות מדרג את המודלים השונים לפי הצלחתם במשימות שונות בעברית. 
+
+לוח התוצאות נוצר ומתופעל על ידי שיתוף פעולה בין [מפא"ת / התוכנית הלאומית הישראלית ל-NLP בעברית ובערבית](https://nnlp-il.mafat.ai/) ו[דיקטה: המרכז הישראלי לניתוח טקסטים](https://dicta.org.il/)
+
+</div>
+
+<div style="display: flex; flex-direction: row; justify-content: space-around; align-items: center" dir="ltr">
+  <a href="https://dicta.org.il/">
+    <img src="file/logos/dicta-logo.jpg" alt="Dicta Logo" style="max-height: 65px">
+  </a>
+  <a href="https://nnlp-il.mafat.ai/">
+    <img src="file/logos/mafat-logo.jpg" alt="Mafat Logo" style="max-height: 100px">
+  </a>
+</div>
+</div>
+</div>
 """
 
 # Which evaluations are you running? how can people reproduce what you have?
 LLM_BENCHMARKS_TEXT = f"""
 ## How it works
 
-## Reproducibility
-To reproduce our results, here is the commands you can run:
+We have curated 4 datasets for benchmarking the quality of the LLMs in Hebrew. All of the benchmarks test the base model using a few-shot prompt. Note that the tests specifically evaluate the model's abilities regarding Hebrew, without regard for the capabilities of the model in other languages.
+
+1. QA TLNLS (HeQ)
+
+    - **Source**: We use the test subset of the HeQ dataset, released by Amir Cohen [here](https://aclanthology.org/2023.findings-emnlp.915/). Data can be found [here](https://github.com/NNLP-IL/Hebrew-Question-Answering-Dataset). 
+    
+    - **Scoring**: We score the results using the `tlnls` scoring method proposed in the paper released with HeQ, which accounts for the linguistic properties of Hebrew language. 
+    
+    - **Number of examples**: 1,436 prompts. 
+    
+    - **Few-Shot Format**: For every context paragraph in the dataset, the few-shot prompt is formatted with the context paragraph, followed by 3 questions and answers on that paragraph, and finally with the desired question unanswers.
+    
+    For example:
+
+<blockquote dir="rtl" style='text-align: right; background-color: #f0f0f0;'>
+<p>בשנת 2012, התמודדה לראשונה בפריימריז של מפלגת העבודה לקראת הבחירות לכנסת התשע עשרה והגיעה למקום ה־36 ברשימה הארצית (הבטחת ייצוג לאישה). ב־2015 לקראת הבחירות לכנסת העשרים, התמודדה ורבין בפריימריז של מפלגת העבודה והוצבה במקום ה-22 ברשימת המחנה הציוני לכנסת, אשר שוריין לאישה ונבחרה לכנסת. בשנת הכהונה הראשונה שלה בכנסת, העניק לה המכון הישראלי לדמוקרטיה את אות הפרלמנטר המצטיין לשנת 2016. חברה בוועדת החוץ וביטחון, שם היא חברה בוועדת המשנה לכוח אדם. יזמה וישבה בראש וועדת המשנה לבחינת משק האשראי בישראל. יזמה וחברה בוועדת החקירה הפרלמנטרית לבחינת משק האשראי בישראל, וכן חברה בוועדת הכלכלה, וועדת הכנסת והוועדה המיוחדת לזכויות הילד, ובוועדת המשנה לקידום עסקים קטנים ובינוניים</p>
+
+שאלה: באיזה פרס זכתה ורבין?
+תשובה: אות הפרלמנטר המצטיין לשנת 2016
+
+שאלה: מי מעניק את אות הפרלמנטר המצטיין?
+תשובה: המכון הישראלי לדמוקרטיה
+
+שאלה: מתי התקיימו הבחירות לכנסת העשרים?
+תשובה: ב־2015
+
+שאלה: לאיזו כנסת נכנסה ורבין לראשונה?
+תשובה: 
+</blockquote>
+
+2. Sentiment Acc (Mafat)
+
+    
+    - **Source**: We use a test subset of an early version of the Hebrew Sentiment dataset, released by Mafat \& NNLP-IL [here](https://www.facebook.com/groups/MDLI1/permalink/2681774131986618/). The latest version of the data can be found [here](https://github.com/NNLP-IL/Hebrew-Question-Answering-Dataset) (albeit it is different than the data we used). 
+    
+    - **Scoring**: We compute the accuracy score on the predictions, expecting either "חיובי", "שלילי", or "נטרלי".
+    
+    - **Number of examples**: 3,000 examples, 1,000 from each category. These examples were selected by a linguist tagger. 
+    
+    - **Few-Shot Format**: For every prompt, we provide 9 few-shot examples, 3 from each category, randomly shuffled.
+    
+    For example:
+
+<blockquote dir="rtl" style='text-align: right; background-color: #f0f0f0'>
+<p>
+משפט: משפט חיובי <br/>
+תשובה: חיובי
+
+משפט: משפט שלילי  <br/>
+תשובה: שלילי
+
+משפט: משפט נטרלי  <br/>
+תשובה: נטרלי
+
+...
+
+משפט: משפט כלשהו  <br/>
+תשובה: 
+</blockquote>
+
+
+3. Winograd (Binary) Acc
+    
+    
+    - **Source**: We use `A Translation of the Winograd Schema Challenge to Hebrew`, translated by Prof. Vered Schwartz. The data can be found [here](https://www.cs.ubc.ca/~vshwartz/resources/winograd_he.jsonl).
+    
+    - **Scoring**: We provide in the prompt the two possible answers, and compute the accuracy score. 
+    
+    - **Number of examples**: 278 examples.
+    
+    - **Few-Shot Format**: For every prompt, we provide 5 few-shot examples, and then the question at hand. Each example is formatted with the input sentence with the question, the possible answers, and the expected answer. 
+    
+    For example:
+
+<blockquote dir="rtl" style='text-align: right; background-color: #f0f0f0'>
+<p>
+שאלה: השוטרים עצרו את חברי הכנופיה. הם ניהלו ארגון של סחר בסמים. מי ניהלו?  <br/>
+אפשרויות: "חברי הכנופיה" או "השוטרים"<br/>
+תשובה: חברי הכנופיה
+
+...
+
+שאלה: השועלים היו מגיעים בלילות לתקוף את התרנגולים, אז הייתי צריך לשמור עליהם. על מי הייתי צריך לשמור?<br/>
+אפשרויות: "התרנגולים" או "השועלים"<br/>
+תשובה: 
+</blockquote>
+
+
+4. Translation BLEU
+
+    - **Source**: We use the aligned translation corpus `NeuLabs-TedTalks`, which can be found [here](https://opus.nlpl.eu/NeuLab-TedTalks/en&he/v1/NeuLab-TedTalks). 
+    
+    - **Scoring**: We use the `sacrebleu.sentence_blue` scoring function. 
+    
+    - **Number of examples**: We took a random 1,000 examples which were 30-40 words in length from the aligned corpus, and compute the mean score for translating those examples from English to Hebrew, and from Hebrew to English (a total of 2,000 examples).
+    
+    - **Few-Shot Format**: For every prompt, we provide 3 few-shot examples of an English sentence and the Hebrew equivalent. The order depends on the direction that we are attempting to translate to. 
+    
+    For example:
+    
+    
+<blockquote style="background-color: #f0f0f0;">
+<p>
+English: Some sentence in English<br/>
+Hebrew: משפט בעברית. 
+
+...
+
+English: Some sentence to translate to Hebrew <br/>
+Hebrew: 
+</blockquote>
 
 """
 
 EVALUATION_QUEUE_TEXT = """
+## Important Note
+
+Due to budget restrictions, we have a cap on the number of models that can be tested a month. Please only send your model when you are ready for testing. We also have limits on the number of models that can be sent per/user. 
+
 ## Some good practices before submitting a model
 
 ### 1) Make sure you can load your model and tokenizer using AutoClasses:
@@ -66,9 +203,5 @@ When we add extra information about models to the leaderboard, it will be automa
 ## In case of model failure
 If your model is displayed in the `FAILED` category, its execution stopped.
 Make sure you have followed the above steps first.
-If everything is done, check you can launch the EleutherAIHarness on your model locally, using the above command without modifications (you can add `--limit` to limit the number of examples per task).
-"""
-
-CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
-CITATION_BUTTON_TEXT = r"""
+If everything is done and the model still won't run, please reach out to `shaltiel at dicta dot org dot il` with the details. 
 """