SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-mpnet-base-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
pos	"Les PHL lèvent 1,26 milliard de dollars grâce aux obligations en dollars de détail\nLE GOUVERNEMENT PHILIPPIN a levé 1,26 milliard de dollars lors de la première émission d'obligations de détail en dollars (RDB) sous l'administration Marcos, a déclaré le ministère des Finances (DoF)" "Atom Egoyan revient à Salomé, l'opéra qu'il a monté en 1996, avec Seven Veils\nAtom Egoyan n'a pas été surpris lorsque la Canadian Opera Company lui a demandé de remonter Salomé pour la saison 2022-23 Atom Egoyan revient à Salomé, l'opéra qu'il a monté en 1996, avec Seven Veils\nAtom Egoyan n'a pas été surpris lorsque la Canadian Opera Company lui a demandé de remonter Salomé pour la saison 2022-23. Avec ses éléments de film et de vidéo, son interprétation psychologique et sombre de l'opéra de Richard Strauss avait un solide palmarès de reprises - depuis sa création en 1996, elle avait été présentée deux fois de plus à la COC et avait été reprise par plusieurs autres compagnies" 'Paul Simon présente un documentaire sur sa carrière\nAprès un documentaire de trois heures et demie sur sa vie, Paul Simon n'avait que de la sympathie pour le public Paul Simon présente un documentaire sur sa carrière\nAprès un documentaire de trois heures et demie sur sa vie, Paul Simon n'avait que de la sympathie pour le public.\nTORONTO >> Après un documentaire de trois heures et demie sur sa vie, Paul Simon n'avait que de la sympathie pour le public "Il n'y a pas de raison que vous soyez épuisés", a dit Simon à la foule après la première du documentaire d'Alex Gibney "In Restless Dreams : The Music of Paul Simon" d'Alex Gibney, dimanche au Festival international du film de Toronto.\nSimon, âgé de 81 ans, n'avait pas regardé le film avant la première, et il ne l'a pas regardé non plus dimanche TORONTO >> Après un documentaire de trois heures et demie sur sa vie, Paul Simon n'avait que de la sympathie pour le public.\n"Il n'y a pas de raison que vous soyez épuisés", a dit Simon à la foule après la première du documentaire d'Alex Gibney "In Restless Dreams : The Music of Paul Simon" d'Alex Gibney, dimanche au Festival international du film de Toronto'
neg	'Le groupe Al-Mostaqilla de l'université du Koweït a appelé les étudiants à organiser un sit-in à l'université du Koweït lundi pour protester contre la décision de mettre fin aux classes mixtes La décision a été prise la semaine dernière par le nouveau ministre de l'éducation, Adel Al-Mane, et le directeur par intérim de l'université du Koweït, Fayez Al-Dhafiri, et mise en œuvre mercredi, trois jours seulement avant le début de la nouvelle année universitaire à la faculté de droit L'association a également demandé au gouvernement de "cesser ses interventions politiques et médiatiques injustifiées" dans les affaires de l'université du Koweït.\nL'association a appelé le directeur par intérim de l'université du Koweït à ne pas céder aux pressions politiques et médiatiques et à s'efforcer de protéger l'indépendance de l'université Dhafiri a déclaré que la décision avait été prise en application de la loi de 1996 qui interdisait l'enseignement mixte à l'université du Koweït, malgré une décision de la Cour constitutionnelle de 2015 autorisant l'enseignement mixte lorsqu'il était nécessaire et dans des cas exceptionnels Parallèlement, l'association des professeurs de l'université du Koweït a publié samedi une déclaration demandant aux députés et au gouvernement de "cesser d'interférer dans les affaires de l'université du Koweït" et de maintenir l'indépendance de l'université "L'université du Koweït était, est et sera toujours le porte-drapeau de la connaissance et des valeurs, à l'abri de toute influence extérieure Le député Abdulwahab Al-Essa a reproché à l'administration de l'université du Koweït d'avoir succombé à la pression politique au détriment de l'intérêt public, ajoutant que l'université du Koweït avait appliqué correctement une décision de la cour constitutionnelle autorisant les classes mixtes chaque fois que cela était nécessaire' "L'immigration étant l'un des défis les plus difficiles à relever pour le président Joe Biden et apparaissant comme un enjeu majeur des élections de l'année prochaine, l'administration délocalise essentiellement la question en s'appuyant sur les pays d'Amérique centrale et d'Amérique du Sud pour empêcher les migrants de se diriger vers le nord" 'Lors d'une réunion d'information mardi, le porte-parole de l'armée, le lieutenant-colonel Richard Hecht, a suggéré que les Palestiniens tentent de quitter la bande de Gaza par le poste-frontière de Rafah, en Égypte.\nLa perspective d'un exode des habitants de Gaza vers le territoire égyptien a alarmé les autorités égyptiennes La question qui se pose est de savoir si Israël lancera une offensive terrestre dans la bande de Gaza, une bande de terre de 25 miles de long coincée entre Israël, l'Égypte et la mer Méditerranée, où vivent 2,3 millions de personnes et qui est gouvernée par le Hamas depuis 2007 Israël pilonne la bande de Gaza ; les habitants se précipitent pour se mettre à l'abri\nJERUSALEM - Les avions de combat israéliens ont bombardé la bande de Gaza quartier par quartier mardi, réduisant les bâtiments en ruines et poussant les habitants à se précipiter pour se mettre à l'abri dans ce minuscule territoire isolé, alors qu'Israël promet des représailles pour l'attaque surprise du Hamas du week-end qui "se répercuteront Les autorités égyptiennes discutent avec Israël et les États-Unis afin de mettre en place des corridors humanitaires dans la bande de Gaza pour acheminer l'aide, a déclaré un responsable égyptien. Des négociations sont en cours avec les Israéliens pour que la zone autour du point de passage de Rafah entre l'Égypte et Gaza soit déclarée "zone d'interdiction de feu", a déclaré le responsable, sous couvert d'anonymat car il n'était pas autorisé à parler aux médias'
obj	"L'économie pèse sur les Américains Ils sont plus nombreux à faire confiance à Trump qu'à Biden pour alléger leur fardeau\nWASHINGTON - Linda Muñoz a peur de l'économie Trump, le candidat républicain à la primaire de 2024, pour améliorer l'économie, avec une marge de 47 % à 36 %. L'écart est de 46 %-26 % en faveur de M. Trump parmi les électeurs indépendants Presque tous les républicains interrogés ont exprimé leur pessimisme à l'égard de l'économie, selon le sondage : 96 % d'entre eux estiment que la situation se dégrade au lieu de s'améliorer Le logement. L'essence. Tous ces éléments poussent les gens à s'endetter de plus en plus, disent-ils.\nSelon le sondage, près de 70 % des Américains estiment que la situation économique se dégrade, tandis que 22 % seulement estiment qu'elle s'améliore L'économie pèse sur les Américains Ils sont plus nombreux à faire confiance à Trump qu'à Biden pour alléger leur fardeau\nWASHINGTON - Linda Muñoz a peur de l'économie. Elle a puisé dans son épargne d'urgence cette année. Et elle ne croit pas que le président Joe Biden ressente sa douleur L'épicerie. Le logement. L'essence. Tous ces éléments poussent les gens à s'endetter de plus en plus, disent-ils.\nSelon le sondage, près de 70 % des Américains estiment que la situation économique se dégrade, tandis que 22 % seulement estiment qu'elle s'améliore" 'Le Pentagone va interroger d'autres militaires sur l'attentat suicide de l'aéroport de Kaboul en 2021\nLe commandement central du Pentagone a ordonné l'audition d'une vingtaine de militaires supplémentaires qui se trouvaient à l'aéroport de Kaboul lorsque des kamikazes ont attaqué pendant le retrait chaotique des forces américaines d'Afghanistan, alors que les critiques persistent sur le fait que l'attaque meurtrière aurait pu être stoppée Certaines familles des personnes tuées ou blessées se sont plaintes que le Pentagone n'avait pas fait preuve de suffisamment de transparence au sujet de l'attentat à la bombe qui a tué 170 Afghans\net 13 militaires américains.\nL'enquête du commandement central américain a conclu en novembre 2021 qu'étant donné la détérioration de la sécurité à la porte de l'Abbaye de l'aéroport alors que les Afghans cherchaient de plus en plus à fuir, "l'attaque n'aurait pas pu être évitée au niveau tactique sans dégrader la mission visant à maximiser le nombre d'évacués" Le Pentagone a déclaré que l'examen de l'attentat suicide n'avait révélé aucune identification préalable d'un attaquant possible ni aucune demande d'"escalade des règles d'engagement existantes" régissant l'utilisation de la force par les troupes américaines' 'Les retombées de la guerre se répercutent sur les lieux de travail aux États-Unis.\nNEW YORK - Les retombées de la guerre entre Israël et le Hamas se sont répandues sur les lieux de travail partout dans le monde, les dirigeants de grandes entreprises exprimant leur point de vue tandis que les travailleurs se plaignent de ne pas être entendus "À quoi me sert mon travail si je compromets ma propre morale et mon éthique ?\nL'un des conflits les plus importants s'est produit chez Starbucks après que Starbucks Workers United, un syndicat représentant 9 000 travailleurs dans plus de 360 magasins aux États-Unis, a tweeté "Solidarité avec la Palestine" deux jours après l'attaque du Hamas. Le tweet a été supprimé au bout de 40 minutes, mais l'entreprise a déclaré qu'il avait donné lieu à plus de 1 000 plaintes, à des actes de vandalisme et à des affrontements dans ses magasins NEW YORK - Les retombées de la guerre entre Israël et le Hamas se sont répandues sur les lieux de travail partout dans le monde, les dirigeants de grandes entreprises exprimant leur point de vue tandis que les travailleurs se plaignent de ne pas être entendus'

Evaluation

Metrics

Label	Accuracy_Score	Classification_Report
all	0.9435	{'0': {'precision': 0.9361702127659575, 'recall': 0.9322033898305084, 'f1-score': 0.9341825902335456, 'support': 236}, '1': {'precision': 0.9333333333333333, 'recall': 0.9302325581395349, 'f1-score': 0.9317803660565723, 'support': 301}, '2': {'precision': 0.9646017699115044, 'recall': 0.9732142857142857, 'f1-score': 0.9688888888888889, 'support': 224}, 'accuracy': 0.9434954007884363, 'macro avg': {'precision': 0.9447017720035985, 'recall': 0.945216744561443, 'f1-score': 0.9449506150596689, 'support': 761}, 'weighted avg': {'precision': 0.9434169513880108, 'recall': 0.9434954007884363, 'f1-score': 0.9434482162802315, 'support': 761}}

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_tran_merged25_e1_middle_offsets")
# Run inference
preds = model("Adil Hussain
Adil Hussain est reconnaissant d'avoir reçu l'enseignement de l'acteur Naseeruddin Shah à l'époque où il fréquentait l'École nationale d'art dramatique")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	9	247.2638	2089

Label	Training Sample Count
neg	913
obj	1216
pos	911

Training Hyperparameters

batch_size: (8, 8)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 1
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0013	1	0.3703	-
0.0658	50	0.3145	-
0.1316	100	0.1839	-
0.1974	150	0.2558	-
0.2632	200	0.2683	-
0.3289	250	0.1572	-
0.3947	300	0.1953	-
0.4605	350	0.171	-
0.5263	400	0.2326	-
0.5921	450	0.1762	-
0.6579	500	0.2818	-
0.7237	550	0.2733	-
0.7895	600	0.195	-
0.8553	650	0.2104	-
0.9211	700	0.2124	-
0.9868	750	0.0818	-
1.0526	800	0.1046	-
1.1184	850	0.1633	-
1.1842	900	0.3207	-
1.25	950	0.2703	-
1.3158	1000	0.1934	-
1.3816	1050	0.2547	-
1.4474	1100	0.0933	-
1.5132	1150	0.2102	-
1.5789	1200	0.0699	-
1.6447	1250	0.1778	-
1.7105	1300	0.1796	-
1.7763	1350	0.0221	-
1.8421	1400	0.2154	-
1.9079	1450	0.1683	-
1.9737	1500	0.3096	-
2.0395	1550	0.201	-
2.1053	1600	0.1954	-
2.1711	1650	0.2301	-
2.2368	1700	0.1141	-
2.3026	1750	0.1949	-
2.3684	1800	0.164	-
2.4342	1850	0.2307	-
2.5	1900	0.1912	-
2.5658	1950	0.2349	-
2.6316	2000	0.0922	-
2.6974	2050	0.0702	-
2.7632	2100	0.1089	-
2.8289	2150	0.1711	-
2.8947	2200	0.1432	-
2.9605	2250	0.2739	-
3.0263	2300	0.1889	-
3.0921	2350	0.1036	-
3.1579	2400	0.1372	-
3.2237	2450	0.028	-
3.2895	2500	0.1739	-
3.3553	2550	0.142	-
3.4211	2600	0.0838	-
3.4868	2650	0.0657	-
3.5526	2700	0.0054	-
3.6184	2750	0.0426	-
3.6842	2800	0.1974	-
3.75	2850	0.0279	-
3.8158	2900	0.1326	-
3.8816	2950	0.1614	-
3.9474	3000	0.1251	-
4.0132	3050	0.1174	-
4.0789	3100	0.1948	-
4.1447	3150	0.0555	-
4.2105	3200	0.0064	-
4.2763	3250	0.064	-
4.3421	3300	0.0013	-
4.4079	3350	0.135	-
4.4737	3400	0.0574	-
4.5395	3450	0.174	-
4.6053	3500	0.2199	-
4.6711	3550	0.387	-
4.7368	3600	0.114	-
4.8026	3650	0.0853	-
4.8684	3700	0.0325	-
4.9342	3750	0.019	-
5.0	3800	0.0572	-
0.0013	1	0.1435	-
0.0658	50	0.0969	-
0.1316	100	0.1085	-
0.1974	150	0.0271	-
0.2632	200	0.0138	-
0.3289	250	0.058	-
0.3947	300	0.1205	-
0.4605	350	0.0788	-
0.5263	400	0.1449	-
0.5921	450	0.0383	-
0.6579	500	0.0338	-
0.7237	550	0.1253	-
0.7895	600	0.069	-
0.8553	650	0.104	-
0.9211	700	0.0462	-
0.9868	750	0.1975	-
1.0526	800	0.0241	-
1.1184	850	0.0426	-
1.1842	900	0.0519	-
1.25	950	0.0815	-
1.3158	1000	0.1839	-
1.3816	1050	0.0198	-
1.4474	1100	0.0128	-
1.5132	1150	0.1645	-
1.5789	1200	0.0019	-
1.6447	1250	0.0557	-
1.7105	1300	0.0098	-
1.7763	1350	0.001	-
1.8421	1400	0.1557	-
1.9079	1450	0.1286	-
1.9737	1500	0.094	-
2.0395	1550	0.0059	-
2.1053	1600	0.0227	-
2.1711	1650	0.0899	-
2.2368	1700	0.0053	-
2.3026	1750	0.0021	-
2.3684	1800	0.0114	-
2.4342	1850	0.1163	-
2.5	1900	0.0959	-
2.5658	1950	0.0252	-
2.6316	2000	0.0921	-
2.6974	2050	0.1159	-
2.7632	2100	0.0026	-
2.8289	2150	0.1211	-
2.8947	2200	0.1843	-
2.9605	2250	0.0014	-
3.0263	2300	0.0085	-
3.0921	2350	0.0839	-
3.1579	2400	0.2372	-
3.2237	2450	0.0213	-
3.2895	2500	0.0155	-
3.3553	2550	0.1128	-
3.4211	2600	0.0945	-
3.4868	2650	0.0917	-
3.5526	2700	0.0011	-
3.6184	2750	0.0024	-
3.6842	2800	0.0044	-
3.75	2850	0.121	-
3.8158	2900	0.0056	-
3.8816	2950	0.003	-
3.9474	3000	0.0899	-
4.0132	3050	0.0157	-
4.0789	3100	0.1188	-
4.1447	3150	0.001	-
4.2105	3200	0.0222	-
4.2763	3250	0.1209	-
4.3421	3300	0.1085	-
4.4079	3350	0.0054	-
4.4737	3400	0.0009	-
4.5395	3450	0.0015	-
4.6053	3500	0.003	-
4.6711	3550	0.0009	-
4.7368	3600	0.0003	-
4.8026	3650	0.0009	-
4.8684	3700	0.03	-
4.9342	3750	0.1206	-
5.0	3800	0.0003	-
0.0013	1	0.2045	-
0.0658	50	0.0078	-
0.1316	100	0.0087	-
0.1974	150	0.0386	-
0.2632	200	0.1015	-
0.3289	250	0.0022	-
0.3947	300	0.0291	-
0.4605	350	0.0013	-
0.5263	400	0.0022	-
0.5921	450	0.1324	-
0.6579	500	0.113	-
0.7237	550	0.0011	-
0.7895	600	0.1723	-
0.8553	650	0.0049	-
0.9211	700	0.206	-
0.9868	750	0.1683	-
1.0526	800	0.0954	-
1.1184	850	0.018	-
1.1842	900	0.1854	-
1.25	950	0.0342	-
1.3158	1000	0.0015	-
1.3816	1050	0.0062	-
1.4474	1100	0.1187	-
1.5132	1150	0.0048	-
1.5789	1200	0.0011	-
1.6447	1250	0.002	-
1.7105	1300	0.092	-
1.7763	1350	0.1245	-
1.8421	1400	0.0009	-
1.9079	1450	0.1185	-
1.9737	1500	0.0017	-
2.0395	1550	0.008	-
2.1053	1600	0.0049	-
2.1711	1650	0.0083	-
2.2368	1700	0.0026	-
2.3026	1750	0.0081	-
2.3684	1800	0.0036	-
2.4342	1850	0.0016	-
2.5	1900	0.0017	-
2.5658	1950	0.0014	-
2.6316	2000	0.0017	-
2.6974	2050	0.002	-
2.7632	2100	0.1022	-
2.8289	2150	0.0004	-
2.8947	2200	0.0007	-
2.9605	2250	0.0794	-
3.0263	2300	0.0183	-
3.0921	2350	0.0377	-
3.1579	2400	0.029	-
3.2237	2450	0.0003	-
3.2895	2500	0.0961	-
3.3553	2550	0.0008	-
3.4211	2600	0.0873	-
3.4868	2650	0.0501	-
3.5526	2700	0.0029	-
3.6184	2750	0.0008	-
3.6842	2800	0.0004	-
3.75	2850	0.0011	-
3.8158	2900	0.0518	-
3.8816	2950	0.0002	-
3.9474	3000	0.1115	-
4.0132	3050	0.0129	-
4.0789	3100	0.0005	-
4.1447	3150	0.0012	-
4.2105	3200	0.1086	-
4.2763	3250	0.0199	-
4.3421	3300	0.0004	-
4.4079	3350	0.0001	-
4.4737	3400	0.0832	-
4.5395	3450	0.0003	-
4.6053	3500	0.0041	-
4.6711	3550	0.1146	-
4.7368	3600	0.0027	-
4.8026	3650	0.0002	-
4.8684	3700	0.0544	-
4.9342	3750	0.0002	-
5.0	3800	0.0046	-
0.0013	1	0.0015	-
0.0658	50	0.1973	-
0.1316	100	0.0106	-
0.1974	150	0.0744	-
0.2632	200	0.1033	-
0.3289	250	0.0425	-
0.3947	300	0.1125	-
0.4605	350	0.0018	-
0.5263	400	0.0019	-
0.5921	450	0.0002	-
0.6579	500	0.0007	-
0.7237	550	0.1393	-
0.7895	600	0.0002	-
0.8553	650	0.0043	-
0.9211	700	0.0339	-
0.9868	750	0.0002	-
0.0013	1	0.0007	-
0.0658	50	0.0419	-
0.1316	100	0.0068	-
0.1974	150	0.1401	-
0.2632	200	0.0423	-
0.3289	250	0.1122	-
0.3947	300	0.0037	-
0.4605	350	0.005	-
0.5263	400	0.0006	-
0.5921	450	0.0006	-
0.6579	500	0.0016	-
0.7237	550	0.1244	-
0.7895	600	0.0016	-
0.8553	650	0.0028	-
0.9211	700	0.002	-
0.9868	750	0.057	-
0.0013	1	0.1396	-
0.0658	50	0.0366	-
0.1316	100	0.0021	-
0.1974	150	0.1088	-
0.2632	200	0.0449	-
0.3289	250	0.0187	-
0.3947	300	0.0017	-
0.4605	350	0.1262	-
0.5263	400	0.0052	-
0.5921	450	0.1188	-
0.6579	500	0.0002	-
0.7237	550	0.0006	-
0.7895	600	0.0758	-
0.8553	650	0.025	-
0.9211	700	0.0052	-
0.9868	750	0.1985	-

Framework Versions

Python: 3.10.12
SetFit: 1.0.1
Sentence Transformers: 2.2.2
Transformers: 4.35.2
PyTorch: 2.1.0+cu121
Datasets: 2.15.0
Tokenizers: 0.15.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mogaio
/

pr_ebsa_fr_tran_merged25_e1_middle_offsets