Hugging Face's logo

huggingshogun
/
muse-repo

Sentence Similarity
sentence-transformers
Safetensors
bert
feature-extraction
Generated from Trainer
dataset_size:200000
loss:ContrastiveLoss
text-embeddings-inference
Inference Endpoints
Model card Files Community
Edit model card

SentenceTransformer based on sentence-transformers/use-cmlm-multilingual

This is a sentence-transformers model finetuned from sentence-transformers/use-cmlm-multilingual. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    "флексов: ['Да'], Пол: ['Женский'], Коллекция (год): ['2022.0'], Общая ширина, мм: ['142'], Цвет товара: ['бежевый'], Ширина линзы, мм: ['53'], Название цвета: ['BEIGE & CRYSTAL'], Высота линзы, мм: ['52'], Размер заушника, мм: ['148'], Бренд: ['Boccaccio'], Оптическая сила: ['0.00'], Размер моста на переносице, мм: ['20'], Форма лица: ['Квадратная', 'Круглая', 'Овальная', 'Прямоугольная', 'Треугольная'], Покрытие линз: ['Упрочняющее, просветляющее, металлизированное (защита от электромагнитных волн) UV-380, водоотталкивающее и антистатическое'], Расстояние между оптическими центрами: ['62-64'], Форма оправы: ['Круглая'],",
    "флексов: ['Да'], Пол: ['Женский'], Коллекция (год): ['2022.0'], Общая ширина, мм: ['142'], Цвет товара: ['бежевый'], Ширина линзы, мм: ['53'], Название цвета: ['BEIGE & CRYSTAL'], Высота линзы, мм: ['52'], Размер заушника, мм: ['148'], Бренд: ['Boccaccio'], Оптическая сила: ['-1.00'], Размер моста на переносице, мм: ['20'], Форма лица: ['Квадратная', 'Круглая', 'Овальная', 'Прямоугольная', 'Треугольная'], Покрытие линз: ['Упрочняющее, просветляющее, металлизированное (защита от электромагнитных волн) UV-380, водоотталкивающее и антистатическое'], Расстояние между оптическими центрами: ['62-64'], Форма оправы: ['Круглая'],",
    'Изначально сборка паяется с разъёмом SMA-male, после чего интегрируется (накручивается, конечно) переходник с SMA-female на запрашиваемый. Сборка поставляется вместе с переходником (или даже с двумя, если оба разъема попадают под данную ремарку).<br> О кабеле:<br> Кабель имеет толщину примерно 7,58 миллиметров, сборка создана на кабеле 5D-FB CCA 50 Ом, материал оболочки - PVC. Диаметр центральной жилы - 1.8 мм, диаметр изоляции (не кабеля) - 4.9 мм, материал изоляции - вспененный полиэтилен,',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 200,000 training samples
  • Columns: sentence_0, sentence_1, and label
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 label
    type string string int
    details
    • min: 3 tokens
    • mean: 155.76 tokens
    • max: 256 tokens
    • min: 3 tokens
    • mean: 153.29 tokens
    • max: 256 tokens
    • 0: ~55.40%
    • 1: ~44.60%
  • Samples:
    sentence_0 sentence_1 label
    Удилище с катушкой в комплекте - леска, поплавок, грузило 1: EPG, 2: Спорт и отдых, 3: Аксессуары и принадлежности для рыбалки, 4: Удилище,Количество колец: ['7'], Материал удилища: ['Карбон'], Бренд: ['Нет бренда'], Тип: ['Удилище с катушкой'], Рабочая длина, см: ['370'], Конструкция удилища: ['Телескопическая'], Длина в сложенном виде, см: ['65'], Вершинка удилища: ['Вклеенная монолитная (solid tip)'], Количество секций: ['7'], Длина рукояти, см: ['40'], Вес товара, г: ['460'], Удочка (удилище) - удобная и Удилище с катушкой в комплекте - леска, поплавок, грузило, 200 см 1: EPG, 2: Спорт и отдых, 3: Аксессуары и принадлежности для рыбалки, 4: Удилище,Количество колец: ['4'], Материал удилища: ['Карбон'], Бренд: ['Нет бренда'], Тип: ['Удилище с катушкой'], Рабочая длина, см: ['200'], Конструкция удилища: ['Телескопическая'], Длина в сложенном виде, см: ['45'], Вершинка удилища: ['Вклеенная монолитная (solid tip)'], Количество секций: ['4'], Длина рукояти, см: ['28'], Вес товара, г: ['270'], Удочка (удилище) - 0
    ['Мягкая обложка'], Язык издания: ['Русский'], Предмет обучения: ['История'],

    Атлас предназначен для углубления знаний учащихся по курсу Новой истории. Картографический материал, включенный в атлас, соответствует Государственному образовательному стандарту.

    Атлас может быть использован в комплекте с основными учебниками по Новой истории как на уроках, так и во внеурочной деятельности. Он содержит богатый материал для самостоятельной работы, дает возможность проверить знания школьников и расширить их кругозор.

    		любителей занимаются приусадебным хозяйством и получают от этого неплохую прибыль.
    В этой книге собраны материалы, необходимые современному дачнику. Постройка садового домика, уход за садом и огородом, основы интенсивного животноводства - об этом и о многом другом читайте на страницах издания.

    Издание адресовано широкому кругу читателей.    		 0
    комод деревянный также на кухне для посуды. деревянный также на кухне для посуды. 0
  • Loss: ContrastiveLoss with these parameters:
    {
    "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE",
    "margin": 0.5,
    "size_average": true
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 40
  • per_device_eval_batch_size: 40
  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 40
  • per_device_eval_batch_size: 40
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • eval_use_gather_object: False
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.1 500 0.0449
0.2 1000 0.0356
0.3 1500 0.0328
0.4 2000 0.0311
0.5 2500 0.0304
0.6 3000 0.0302
0.7 3500 0.0293
0.8 4000 0.029
0.9 4500 0.0292
1.0 5000 0.0287

Framework Versions

  • Python: 3.10.14
  • Sentence Transformers: 3.0.1
  • Transformers: 4.44.0
  • PyTorch: 2.4.0
  • Accelerate: 0.33.0
  • Datasets: 2.21.0
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

ContrastiveLoss 

@inproceedings{hadsell2006dimensionality,
    author={Hadsell, R. and Chopra, S. and LeCun, Y.},
    booktitle={2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06)}, 
    title={Dimensionality Reduction by Learning an Invariant Mapping}, 
    year={2006},
    volume={2},
    number={},
    pages={1735-1742},
    doi={10.1109/CVPR.2006.100}
}
Downloads last month
14
Safetensors
Model size
471M params
Tensor type
F32
·
Inference Examples
Sentence Similarity
Inference API (serverless) is not available, repository is disabled.

Model tree for huggingshogun/muse-repo

Base model

sentence-transformers/use-cmlm-multilingual
Finetuned
this model