Hugging Face's logo

ktaek94
/
klue-roberta-base-klue-sts-mrc

Sentence Similarity
sentence-transformers
Safetensors
roberta
feature-extraction
Generated from Trainer
dataset_size:17552
loss:MultipleNegativesRankingLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community
Edit model card

SentenceTransformer based on shangrilar/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from shangrilar/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: shangrilar/klue-roberta-base-klue-sts
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 tokens
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '성직자들의 실체에 대해 말한 용병의 기사는 누가 작성하였나요?',
    '이들 스위스 용병들은 동성애자 사제들에게 성추행에 시달리기도 한다. 바티칸의 경비를 맡은 스위스 근위대 출신의 한 용병은 근무 당시 추기경, 주교, 신부는 물론 고위 성직자로부터 동성애를 요구받았다고 폭로하기도 했다. 이 용병은 당시 교황 요한 바오로 2세의 측근인 고위 인사를 포함해 성직자들로부터 20차례 이상 명확한 요구를 받았다는 사실을 폭로했다고 스위스 신문인 슈바이츠 암 존탁이 2014년 1월 6일(현지시간) 보도했다. 지난 1998년 한 젊은 용병이 동성애 관계를 맺어온 것으로 알려진 근위대 대장과 그 부인을 총으로 살해하면서 논란이 된 적이 있다. \n\n이들 스위스 용병과 가톨릭 사제간 동성애는 프란치스코 교황의 측근도 연루되어 파문을 일으키기도 했다. 이탈리아 주간지 레스프레소(L\'Espresso)는 2013년 7월 19일 바티칸은행 개혁 담당 고위성직자인 바티스타 마리오 살바토레 리카 몬시뇰이 예전 우루과이 주재 대사로 재직하다 동성애 행적이 적발돼 본국으로 강제 소환됐다고 폭로했다. 리카 몬시뇰은 대사 시절인 1999년 한 스위스 용병에게 돈과 숙소를 제공하며 교제했고 게이들의 사교장소를 전전하다 폭행까지 당한 적이 있다고 잡지는 전했다. 이 잡지는 리카 몬시뇰이 강제 소환 이후에도 아무 일이 없던 것처럼 바티칸 고위직을 두루 역임해 바티칸내에 동성애자 고위성직자의 비밀 조직인 \'게이 로비\'의 비호가 의심된다고 지적했다. 프란치스코 교황도 "교황청 내에 부패가 있다"며 게이 로비의 존재 사실을 인정한 바 있다. \n\n한편 존스홉킨스대학 심리치료사 리처드 사이프의 연구에 따르면 미국 가톨릭 교회 사제들의 1/4이 동성애를 하고 있고 1/10이 소아성애증을 갖고 있다고 한다.',
    '신성섭 한국경제신문 29초영화제 사무국장(감독)이 한국경제신문 창립 50주년(12일)을 앞두고 ‘7월1일부터 10월10일까지 약 3개월 동안 몸무게 50㎏을 빼겠다’고 했을 때 주변에서는 걱정하는 목소리가 적지 않았다. 132㎏인 몸무게를 단기간에 40%가량 줄이는 게 쉽지 않은 일이었기 때문이다. 도중에 포기하면 어쩌나 하는 우려도 있었다. 유명 인사도 아닌데 독자가 얼마나 관심을 보이겠느냐는 걱정도 배어있었다.하지만 이런 주변의 시선을 아랑곳하지 않고 그는 묵묵히 살을 빼면서 목표치에 한발한발 다가섰다. 신 감독은 마지막날인 10일 50㎏ 감량 프로젝트 목표를 달성했다. 프로젝트 시작 전보다 50.1㎏ 줄인 82.1㎏을 기록한 것이다. 그는 “날이 갈수록 응원해주는 사람이 많아져 즐겁게 살을 뺄 수 있었다”고 말했다.○적게 먹고, 운동은 많이신 감독은 개인 헬스트레이닝이나 지방 흡입술을 받지 않고 살을 뺐다. 많이 먹던 음식량을 줄인 게 첫 번째다. 하루 1만㎉를 먹던 사람이 다이어트 막바지에는 500㎉만 먹는 날도 있었다. 삼겹살 15인분을 하루에 먹다가 1인분(약 660㎉)도 채 먹지 않은 셈이다.운동이라고는 숨 쉬는 것만 했다는 신 감독은 승용차를 처분해 걸어다니는 시간을 늘렸다. 헬스장에 등록해 근력운동도 했다. 사무실에 있을 때에도 틈틈이 스트레칭을 했다. 음식을 줄이고 운동을 늘리는 다이어트 방식은 누구나 생각할 수 있는 방법이지만 꾸준히 실천하기는 쉽지 않다. 신 감독은 이 방식으로 지난달 첫주를 제외하고는 매주 몸무게를 줄일 수 있었다. 먹는 양을 줄이고 활동은 많이 하는 것이 다이어트의 정공법이라는 사실을 그는 이번에 생생히 보여줬다.○고혈압도 개선프로젝트를 시작한 지난 7월 초 신 감독의 체지방량은 49.2㎏이었다. 그의 몸에서 지방이 차지하는 비중은 38.4%나 됐다.하지만 82.1㎏으로 몸무게가 줄어든 10일 신 감독의 체지방량은 15.5㎏이었다. 3개월 전에 비해 체지방이 3분의 1 수준으로 줄어든 것이다.체지방률도 18.6%로 절반 이상 낮아졌다. 허리둘레를 엉덩이둘레로 나눈 복부지방률은 같은 기간 1.13에서 0.84로 줄었다.혈압도 낮아졌다. 신 감독의 7월 초 혈압은 167/111㎜Hg였다. 병원에 가서 진찰을 받아야 하는 ‘고혈압 2단계’ 수준이었다. 현재 그의 혈압은 142/95㎜Hg이다. 여전히 고혈압이지만 ‘2개월 이내에 검사받으면 되는 1단계 수준’으로 내려갔다.몸무게(㎏)를 키의 제곱(㎡)으로 나눈 ‘신체질량지수(BMI)’는 42.3에서 27.3으로 줄었다. BMI는 18.5~22.9이면 정상이고, 40 이상이면 고도비만이다. 유태우 전 서울대병원 예방의학과 교수는 “BMI가 높을수록 당뇨병과 고혈압이 발생할 확률이 커진다”며 “정확한 검사를 해봐야 하지만 신 감독의 복부지방률이 줄어든 것으로 볼 때 지방간 수치도 떨어졌을 것”이라고 말했다.○“체력 증진에 집중해야”지방이 많이 빠졌지만 근육량도 함께 줄어든 것은 염려스러운 부분이다. 신 감독의 골격근량은 47.2㎏에서 38.1㎏으로 9.1㎏ 줄었다. 음식을 적게 먹으면서 다이어트를 했기 때문에 근육이 줄어든 것으로 분석된다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 17,552 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 8 tokens
    • mean: 17.94 tokens
    • max: 36 tokens
    • min: 252 tokens
    • mean: 438.11 tokens
    • max: 512 tokens
  • Samples:
    sentence_0 sentence_1
    아르눌프가 교황 포르모소의 구원 요청을 수락한 년도는 언제인가? 889년 제국의 동북부 위트레흐트와 데벤테르 지역에 출몰한 바이킹족을 격퇴하고, 지역 상인의 상권을 보호하였다. 893년 아르눌프가 외드와 단순왕 샤를 3세를 소환했으나, 단순왕 샤를이 보름스로 오는 것을 거부하자, 츠벤티볼트는 외드와 함께 레온 등 샤를의 지지파 귀족들의 영지를 공략하였다.

    893년부터 아버지 아르눌프를 따라 이탈리아 원정에 동행하였다. 893년 여름, 귀도를 반대하던 교황 포르모소와 프리울리 후작 베렌가르의 구원 요청을 받은 아르눌프의 명으로 선발대를 이끌고 출정, 브레네르 언덕(Brenner Pass)을 건너 이탈리아에 도착했다. 베로나에서 프리울리 후작 베렝가르와 연합하여 귀도가 있던 파비아를 침공, 귀도 3세를 상대하였으나 패전하였다. 당시 츠벤티볼트는 귀도 3세에게 막대한 데나리온 돈을 받았는데, 롬바르디아 왕국 말기의 역사가 크레모나의 리우트프란트(Liutprand of Cremona)에 의하면 츠벤티볼트가 개인적으로 받은 뇌물인지 그 아버지 아르눌프에게 보내는 공물인지 정확하지는 않지만, 이탈리아를 떠날 때 귀도에게서 막대한 돈을 받아들고 갔다 한다. 그해 말, 아버지 아르눌프의 명으로 파비아에 주둔해 있다가 아르눌프가 이끌고 온 동프랑크의 군사와 합류하여 이탈리아를 공략했다.

    889년부터 아버지 아르눌프는 자신에게 적자가 태어나지 않을 것을 예상, 프랑크 왕국의 귀족들에게 츠벤티볼트와 라톨드가 자신의 정당한 상속인임을 인정하라고 꾸준히 설득했다. 그것으로 안심이 되지 않았던 아르눌프는 서자 츠벤티볼트를 동프랑크의 유력 귀족의 하나인 작센 공작인 광휘공 오토의 딸 오다를 로타링기아에서 직접 결혼시킨다. 그러나 그의 설득은 소용없었는데 츠벤티볼트의 즉위 직후 로트링겐의 귀족들은 그에게 반기를 들었다.
    피고인이 변호인이 있음에도 항소이유서를 제출하지 않은 경우 항소를 기각한다는 내용의 조항은? 항소이유서는 항소를 위해 법원에 제출하는 서면을 말한다. 항소이유서는 적법한 기간 내에 항소법원에 도달하면 되는 것으로, 그 도달은 항소법원의 지배권 안에 들어가 사회통념상 일반적으로 알 수 있는 상태에 있으면 된다
    변호인의 조력을 받을 피고인의 권리는 형사소송법 제33조 제1항 제1호 내지 제6호의 필요적 변호사건에서 법원이 정당한 이유 없이 국선변호인을 선정하지 않고 있는 사이에 또는 형사소송법 제33조 제2항의 규정에 따른 국선변호인 선정청구를 하였으나 그에 관한 결정을 하지 않고 있는 사이에 피고인 스스로 변호인을 선임하였으나 그때는 이미 피고인에 대한 항소이유서 제출기간이 도과해버린 후이어서 그 사선변호인이 피고인을 위하여 항소이유서를 작성·제출할 시간적 여유가 없는 경우에도 보호되어야 한다. 따라서 그 경우에는 법원은 사선변호인에게도 형사소송규칙 제156조의2를 유추적용하여 소송기록접수통지를 함으로써 그 사선변호인이 통지를 받은 날로부터 기산하여 소정의 기간 내에 피고인을 위하여 항소이유서를 작성·제출할 수 있는 기회를 주어야 한다. 피고인이 항소이유서 제출기간 이내에 항소이유서를 제출하지 않고, 항소장에도 항소이유를 기재하지 않았다고 하더라도 피고인에게 변호인이 없는 때에는 국선변호인을 선정하지 않은 채 형사소송법 제361조의4 제1항에 의하여 결정으로 피고인의 항소를 기각할 수 없다
    다윈에 의하면 진화과정에서 가장 중요한 결정 주체는? 생물측정학파는 다윈의 진화론을 옹호하는 입장이다. 다윈의 진화론은 어떠한 개체가 변이를 일으키게 되고, 변이가 생존 유지에 더 유리해 진다면, 자연이 선택하여 개체가 살아 남게 되는 것으로 변이와 진화를 이해했다. 이 관점에 의하면 새로운 종의 발생은 이미 존재하고 있던 어떠한 종이 시간의 흐름에 따라 변이를 일으키고, 이 중 높은 빈도를 가진 종이 자연에 선택하게 됨을 의미한다. 반대로 빈도가 높지 않는 변이의 경우는 자연 선택설에 의해 자동적으로 소멸된다. 따라서 모든 종은 관계를 가지고 있으며, 연속적이다. 이를 변이가 연속성을 가지고 있다고 정의한다. 생물측정학파의 입장에 의하면 변이는 어떤 종이 미묘한 변화로 서서히 변하며 진화하는 것을 의미하며, 따라서 기형과 같은 특수성이 강한 존재는 자연적으로 자연 선택설에 의해 도태되기에 기형은 진화학적으로 중요한 역할을 갖지 않는다.

    그러나 1900년에 멘델이 발표한 멘델법칙이 재조명되며, 연속적인 변이만 존재하는 것이 아닌 불연속적인 변이가 존재한다는 것이 밝혀졌다. 멘델학파 중 윌리엄 베이트슨은 멘델법칙에서 발견된 불연속적인 변이에 집중하며 생물의 진화에 접근하였다. 이런 관점에서 진화론을 바라보는 것을 격변론 혹은 도약진화설이라고 부른다. 이에 속한 대표적인 인물이 윌리엄 베이트슨, 드 브리스, 모건 등이다. 윌리엄 베이트슨은 처음으로 유전학(genetics)라는 학문명을 만들었고, 드 브리스는 도약진화설을 '돌연변이학'으로 명칭하고자 하였으며, 모건은 '유전자설'을 정립하여 불연속성 변이 이론을 뒷받침하였다.

    불연속적인 변이는 생물이 진화를 할 때 돌연변이가 발생하며, 불연속성을 가지는 것을 의미한다. 윌리엄 베이트슨은 유전학자로 이런 관점을 유전적인 관점에서 접근했다. 그는 기형을 만들어낸 유전자 역시 유전 과정을 통해 자손에게 전달되며, 이런 변이유전자에 의해 진화가 가능하다고 생각했기에 진화에 있어 기형의 역할이 중요했다. 따라서 이들에게 진화란 그저 돌연변이들이 만드는 변이에 의한 자연스러운 현상이며, 자연선택설이 절대적인 진화에 대한 기준이 아닌 부적절한 돌연변이를 제거하는 역할만을 하는 이차적인 역할을 한다고 인식했다.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • num_train_epochs: 1
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.4558 500 0.1259
0.9116 1000 0.1063

Environmental Impact

Carbon emissions were measured using CodeCarbon.

  • Energy Consumed: 0.179 kWh
  • Carbon Emitted: 0.078 kg of CO2
  • Hours Used: 1.257 hours

Training Hardware

  • On Cloud: No
  • GPU Model: 1 x NVIDIA GeForce RTX 3060
  • CPU Model: 12th Gen Intel(R) Core(TM) i5-12400
  • RAM Size: 31.78 GB

Framework Versions

  • Python: 3.12.4
  • Sentence Transformers: 3.2.1
  • Transformers: 4.45.2
  • PyTorch: 2.4.0+cu121
  • Accelerate: 0.29.3
  • Datasets: 2.19.0
  • Tokenizers: 0.20.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
Downloads last month
6
Safetensors
Model size
111M params
Tensor type
F32
·
Inference Examples
Sentence Similarity
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for ktaek94/klue-roberta-base-klue-sts-mrc

Base model

shangrilar/klue-roberta-base-klue-sts
Finetuned
(1)
this model