|
--- |
|
license: apache-2.0 |
|
language: |
|
- zh |
|
tags: |
|
- legal |
|
--- |
|
|
|
|
|
``` |
|
> pretrained: Llama7B |
|
> instruction & conversation finetuned: Chinese-Vicuna-chatv1 (Lora) |
|
> domain finetuned: Lora |
|
``` |
|
|
|
这是[Chinese-Vicuna](https://github.com/Facico/Chinese-Vicuna)在legal领域上微调后的lora模型，可直接配合Llama7B使用 |
|
|
|
legal的数据我们使用 [Chatgpt关于JEC-QA中国法考数据集的解答](https://raw.githubusercontent.com/AndrewZhe/lawyer-llama/main/data/judical_examination.json) 、 [ChatGPT扮演律师解答问题](https://raw.githubusercontent.com/AndrewZhe/lawyer-llama/main/data/legal_advice.json) 、[法律知识问答](https://github.com/thunlp/CAIL) 三种来源的数据，总计23209条。尽管我们能够找到一些法律真实问答的数据，但此类数据往往带噪（比如不耐烦地回答`“问问你自己吧”`），因此并没有使用 |
|
|
|
我们按[chat](https://github.com/Facico/Chinese-Vicuna/blob/master/sample/chat/data_sample.jsonl)格式格式化数据，基于[chatv1](https://huggingface.co/Chinese-Vicuna/Chinese-Vicuna-lora-7b-chatv1)，使用[continue-training](https://github.com/Facico/Chinese-Vicuna/blob/master/scripts/finetune_chat_continue.sh) 继续训练将近6 epoch；经测试不仅提高了法律问答能力，还能够保留一定的通用问答能力。也可以直接从Llama的基础上直接微调，法律问答能力接近，但不会具备通用问答能力。模型已经上传至[huggingface](https://huggingface.co/Chinese-Vicuna/Chinese-Vicuna-7b-legal-lora) |
