|
--- |
|
language: |
|
- en |
|
license: apache-2.0 |
|
tags: |
|
- text-generation-inference |
|
- transformers |
|
- unsloth |
|
- mistral |
|
- trl |
|
base_model: unsloth/mistral-7b-bnb-4bit |
|
datasets: |
|
- lucianosb/cetacean-ptbr |
|
--- |
|
# Boto 7B v1.1 |
|
|
|
<img src="https://i.imgur.com/xscFgqH.png" alt="logo do boto cor-de-rosa" width="300px" /> |
|
|
|
Boto é um fine-tuning do Mistral 7B para língua portuguesa usando o dataset cetacean-ptbr. O Boto é bem "falante", as respostas tendem a ser longas e nem sempre objetivas por padrão. |
|
|
|
Quantizações disponíveis em [lucianosb/boto-7B-GGUF](https://huggingface.co/lucianosb/boto-7B-GGUF). |
|
|
|
Acesse a [demonstração online](https://huggingface.co/spaces/lucianosb/boto-7B) disponível. E cante junto: |
|
|
|
[![Foi Boto Sinhá](https://markdown-videos-api.jorgenkh.no/url?url=https%3A%2F%2Fyoutu.be%2FxSyuWFvI9_8%3Fsi%3DSzIMawwQ6sF_xhZK)](https://youtu.be/xSyuWFvI9_8?si=SzIMawwQ6sF_xhZK) |
|
|
|
Boto é um nome dado a vários tipos de golfinhos e botos nativos do Amazonas e dos afluentes do rio Orinoco. Alguns botos existem exclusivamente em água doce, e estes são frequentemente considerados golfinhos primitivos. |
|
|
|
O “boto” das regiões do rio Amazonas no norte do Brasil é descrito de acordo com o folclore local como assumindo a forma de um humano, também conhecido como Boto cor-de-rosa, e com o hábito de seduzir mulheres humanas e engravidá-las. |
|
|
|
|
|
## English description |
|
|
|
Boto is a fine-tuning of Mistral 7B for portuguese language. Responses tend to be verbose. |
|
|
|
Try the [demo](https://huggingface.co/spaces/lucianosb/boto-7B). |
|
|
|
Boto is a Portuguese name given to several types of dolphins and river dolphins native to the Amazon and the Orinoco River tributaries. A few botos exist exclusively in fresh water, and these are often considered primitive dolphins. |
|
|
|
The "boto" of the Amazon River regions of northern Brazil are described according to local lore as taking the form of a human or merman, also known as Boto cor-de-rosa ("Pink Boto" in Portuguese) and with the habit of seducing human women and impregnating them. |
|
|
|
## How to Run on Colab T4 |
|
|
|
```python |
|
from transformers import AutoTokenizer, pipeline |
|
import torch |
|
|
|
model_id = "lucianosb/boto-7B-v1.1" |
|
tokenizer = AutoTokenizer.from_pretrained(model_id) |
|
|
|
pipe = pipeline( |
|
"text-generation", |
|
model=model_id, |
|
torch_dtype=torch.float16, |
|
device_map="cuda:0" |
|
) |
|
|
|
def make_prompt(question): |
|
return f"""Abaixo está uma instrução que descreve uma tarefa, combinada com uma entrada que fornece contexto adicional. |
|
Escreva uma resposta que complete adequadamente a solicitação. |
|
|
|
### Instruction: |
|
{question} |
|
|
|
### Response: |
|
""" |
|
|
|
question = "Conte a história do boto" |
|
|
|
prompt = make_prompt(question) |
|
sequences = pipe( |
|
prompt, |
|
do_sample=True, |
|
num_return_sequences=1, |
|
eos_token_id=tokenizer.eos_token_id, |
|
max_length=2048, |
|
temperature=0.9, |
|
top_p=0.6, |
|
repetition_penalty=1.15 |
|
) |
|
|
|
print(sequences[0]["generated_text"]) |
|
``` |
|
|
|
|
|
## Isenção de Responsabilidade |
|
|
|
O modelo é uma ferramenta de geração de texto que utiliza dados de treinamento para produzir saídas. Ele não possui a capacidade de compreender ou interpretar o conteúdo de maneira semelhante a um humano. Não foram implementados mecanismos de moderação de conteúdo no modelo, portanto existe a possibilidade de reprodução de estereótipos sociais de cultura, gênero, etnia, raça ou idade, ele pode, inadvertidamente, gerar tais conteúdos devido às limitações e preconceitos presentes nos dados de treinamento. |
|
|
|
O modelo não foi treinado com a intenção de reproduzir fatos reais e, portanto, pode gerar conteúdo inconsistente com a realidade. Os usuários são aconselhados a não confiar exclusivamente no modelo para tomar decisões importantes e devem sempre exercer seu próprio julgamento ao interpretar e usar o conteúdo gerado. |
|
|
|
O uso do modelo é de inteira responsabilidade do usuário. O desenvolvedor do modelo não se responsabiliza por qualquer dano ou prejuízo resultante do uso ou mau uso do conteúdo gerado pelo modelo. |
|
|
|
# Uploaded model |
|
|
|
- **Developed by:** lucianosb |
|
- **License:** apache-2.0 |
|
- **Finetuned from model :** unsloth/mistral-7b-bnb-4bit |
|
|
|
This mistral model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library. |
|
|
|
[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth) |