Jisu80609/t5-small-custom

Model Card for t5_small Summarization Model

Model Details

• 모델 이름: t5-small
• 모델 아키텍처: 이 모델은 T5(Text-To-Text Transfer Transformer) 아키텍처를 기반으로 하며, 모든 자연어 처리(NLP) 작업을 텍스트-투-텍스트 문제로 처리하도록 설계되었습니다.
• 사전 학습 모델 Hugging Face transformers 라이브러리의 t5-small 사전 학습 모델을 사용했습니다.
• 작업: 이 모델은 CNN/DailyMail 데이터셋을 사용한 텍스트 요약 작업에 대해 미세 조정되었습니다.

Training Data

• 데이터셋: 모델의 학습에 사용된 데이터는 CNN/DailyMail 데이터셋의 버전 3.0.0입니다. 이 데이터셋은 뉴스 기사(article)와 그에 대한 요약문(highlights)으로 구성되어 있으며, 모델의 입력과 출력으로 사용됩니다.
• 데이터 분할:
  • 학습 데이터: CNN/DailyMail 학습 데이터의 1% 사용 (~287개 샘플)
  • 검증 데이터: CNN/DailyMail 검증 데이터의 1% 사용 (~133개 샘플)

Training Procedure

• 최적화 알고리즘: AdamW 옵티마이저, 학습률은 2e-5로 설정.
• 배치 크기: 학습과 검증 모두에서 배치 크기를 4로 설정.
• 학습 에포크: 1 에포크 동안 학습.
• 워밍업 단계: 학습 초기에 500개의 워밍업 단계를 통해 학습률을 점진적으로 증가시킴.
• 가중치 감쇠: 0.01의 가중치 감쇠를 적용.
• 혼합 정밀도: FP16(혼합 정밀도)을 사용하여 메모리 사용량과 학습 속도를 최적화.

How to Use

이 모델은 FP16(혼합 정밀도)을 활성화한 단일 GPU에서 학습되었습니다.

Evaluation

이 모델은 텍스트 생성 작업에서 주로 사용되는 두 가지 평가 메트릭을 사용하여 평가되었습니다:

ROUGE: 자동 요약과 기계 번역 평가에 자주 사용되는 ROUGE 메트릭을 사용하여 평가. ROUGE-1: 생성된 요약문과 참조 요약문 간의 unigram(단일 단어) 중복을 측정. ROUGE-2: 생성된 요약문과 참조 요약문 간의 bigram(두 단어 조합) 중복을 측정. ROUGE-L: 생성된 요약문과 참조 요약문 간의 가장 긴 공통 서열(LCS)을 기반으로 평가. BLEU: 번역 품질을 평가하는 메트릭으로, 생성된 텍스트와 참조 텍스트 간의 n-gram 정밀도를 측정. BLEU-1: unigram 정밀도 측정. BLEU-2: bigram 정밀도 측정. BLEU-4: 4-gram 정밀도 측정. 평가 결과는 ROUGE 및 BLEU 메트릭을 사용하여 계산되었습니다.

Limitations

학습 데이터 크기: 이 모델은 CNN/DailyMail 데이터셋의 1%만으로 미세 조정되었기 때문에 매우 적은 양의 데이터로 학습되었습니다. 따라서 다른 도메인이나 유형의 텍스트에 대해 잘 일반화되지 않을 수 있습니다. 요약문 길이: 입력 길이는 최대 512 토큰으로 설정되어 있습니다. 512 토큰을 초과하는 기사는 잘릴 수 있으며, 이로 인해 요약이 불완전해질 수 있습니다. 모델 크기: t5-small은 작은 모델이므로, 더 복잡하거나 긴 문서에 대해 성능이 제한될 수 있습니다. 더 큰 버전인 t5-base 또는 t5-large를 사용할 경우 성능이 개선될 수 있습니다.

Ethical Considerations

데이터 편향: CNN/DailyMail 데이터셋은 특정 뉴스 기관의 기사를 포함하고 있기 때문에, 데이터에 편향이 포함될 가능성이 있습니다. 이는 생성된 요약문이 편향되거나 왜곡될 가능성을 내포합니다. 잘못된 정보: 이 모델은 추상적인 요약문을 생성하므로, 입력 텍스트가 비구조적이거나 애매한 경우 잘못된 정보를 포함한 요약을 생성할 수 있습니다. 프라이버시: 이 모델이 민감하거나 개인 정보가 포함된 내용을 요약하는 경우, 프라이버시 문제가 발생할 수 있습니다. 특히 민감한 내용을 요약할 때는 관련 법규와 프라이버시 보호 규정을 준수하는 것이 중요합니다.