Initial commit for the t5-small-custom model

README.md

@@ -0,0 +1,50 @@
+
+## Model Card for t5_small Summarization Model
+
+
+## Model Details
+- 모델 이름: t5-small
+- 모델 아키텍처: 이 모델은 T5(Text-To-Text Transfer Transformer) 아키텍처를 기반으로 하며, 모든 자연어 처리(NLP) 작업을 텍스트-투-텍스트 문제로 처리하도록 설계되었습니다.
+- 사전 학습 모델 Hugging Face `transformers` 라이브러리의 `t5-small` 사전 학습 모델을 사용했습니다.
+- 작업: 이 모델은 CNN/DailyMail 데이터셋을 사용한 텍스트 요약 작업에 대해 미세 조정되었습니다.
+
+## Training Data
+- 데이터셋: 모델의 학습에 사용된 데이터는 **CNN/DailyMail** 데이터셋의 버전 3.0.0입니다. 이 데이터셋은 뉴스 기사(`article`)와 그에 대한 요약문(`highlights`)으로 구성되어 있으며, 모델의 입력과 출력으로 사용됩니다.
+- 데이터 분할:
+  - 학습 데이터: CNN/DailyMail 학습 데이터의 1% 사용 (~287개 샘플)
+  - 검증 데이터: CNN/DailyMail 검증 데이터의 1% 사용 (~133개 샘플)
+
+## Training Procedure
+- **최적화 알고리즘**: AdamW 옵티마이저, 학습률은 2e-5로 설정.
+- **배치 크기**: 학습과 검증 모두에서 배치 크기를 4로 설정.
+- **학습 에포크**: 1 에포크 동안 학습.
+- **워밍업 단계**: 학습 초기에 500개의 워밍업 단계를 통해 학습률을 점진적으로 증가시킴.
+- **가중치 감쇠**: 0.01의 가중치 감쇠를 적용.
+- **혼합 정밀도**: FP16(혼합 정밀도)을 사용하여 메모리 사용량과 학습 속도를 최적화.
+
+## How to Use
+이 모델은 FP16(혼합 정밀도)을 활성화한 단일 GPU에서 학습되었습니다.
+
+## Evaluation
+이 모델은 텍스트 생성 작업에서 주로 사용되는 두 가지 평가 메트릭을 사용하여 평가되었습니다:
+
+ROUGE: 자동 요약과 기계 번역 평가에 자주 사용되는 ROUGE 메트릭을 사용하여 평가.
+ROUGE-1: 생성된 요약문과 참조 요약문 간의 unigram(단일 단어) 중복을 측정.
+ROUGE-2: 생성된 요약문과 참조 요약문 간의 bigram(두 단어 조합) 중복을 측정.
+ROUGE-L: 생성된 요약문과 참조 요약문 간의 가장 긴 공통 서열(LCS)을 기반으로 평가.
+BLEU: 번역 품질을 평가하는 메트릭으로, 생성된 텍스트와 참조 텍스트 간의 n-gram 정밀도를 측정.
+BLEU-1: unigram 정밀도 측정.
+BLEU-2: bigram 정밀도 측정.
+BLEU-4: 4-gram 정밀도 측정.
+평가 결과는 ROUGE 및 BLEU 메트릭을 사용하여 계산되었습니다.
+
+## Limitations
+학습 데이터 크기: 이 모델은 CNN/DailyMail 데이터셋의 1%만으로 미세 조정되었기 때문에 매우 적은 양의 데이터로 학습되었습니다. 따라서 다른 도메인이나 유형의 텍스트에 대해 잘 일반화되지 않을 수 있습니다.
+요약문 길이: 입력 길이는 최대 512 토큰으로 설정되어 있습니다. 512 토큰을 초과하는 기사는 잘릴 수 있으며, 이로 인해 요약이 불완전해질 수 있습니다.
+모델 크기: t5-small은 작은 모델이므로, 더 복잡하거나 긴 문서에 대해 성능이 제한될 수 있습니다. 더 큰 버전인 t5-base 또는 t5-large를 사용할 경우 성능이 개선될 수 있습니다.
+
+## Ethical Considerations
+데이터 편향: CNN/DailyMail 데이터셋은 특정 뉴스 기관의 기사를 포함하고 있기 때문에, 데이터에 편향이 포함될 가능성이 있습니다. 이는 생성된 요약문이 편향되거나 왜곡될 가능성을 내포합니다.
+잘못된 정보: 이 모델은 추상적인 요약문을 생성하므로, 입력 텍스트가 비구조적이거나 애매한 경우 잘못된 정보를 포함한 요약을 생성할 수 있습니다.
+프라이버시: 이 모델이 민감하거나 개인 정보가 포함된 내용을 요약하는 경우, 프라이버시 문제가 발생할 수 있습니다. 특히 민감한 내용을 요약할 때는 관련 법규와 프라이버시 보호 규정을 준수하는 것이 중요합니다.
+