Update README.md

README.md

@@ -13,13 +13,13 @@ base_model:
 </a>
 
 # Update!
-* [2024.09.04] Bllossom의 시각-언어모델 preview 모델이 최초 업데이트 되었습니다.
+* [2024.09.04] Bllossom의 시각-언어 preview 모델이 최초 업데이트 되었습니다.
 
 
 # Bllossom | [Demo]() | [Homepage](https://www.bllossom.ai/) | [Github](https://github.com/MLP-Lab/Bllossom) |
 
 ```bash
-저희 Bllossom 팀에서 llama3.1 기반의 한국어-영어 **시각-언어모델** Bllossom-Vision을 공개합니다.
+저희 Bllossom 팀에서 llama3.1 기반의 한국어-영어 시각-언어모델 Bllossom-Vision을 공개합니다.
 이번 Bllossom-Vision은 preview 버전으로 다음과 같은 특징을 보입니다.
  - 일반 언어모델, 시각-언어모델 양방향으로 활용이 가능합니다.
  - 이미지를 넣으면 시각-언어모델, 넣지 않으면 언어모델로 작동하며 시각-언어, 그냥 언어모델 양방향모두 학습 및 추론이 가능합니다.
@@ -30,8 +30,9 @@ base_model:
 해당 모델은 다음과 같은 협업을 토대로 구축 되었습니다!
  - 서울과기대 MLP연구실의 시각-언어 + 언어모델 사전학습 기법이 적용되었습니다.
  - 테디썸의 정교한 Instruction Tuning과 RAG 기술이 적용되었습니다.
- - AICA의 GPU 지원이 있었습니다.
  - 유클리드소프트에서 제작한 시각-언어 학습데이터를 토대로 학습 되었습니다.
+ - AICA의 연구지원이 있었습니다.
+ - 서울과기대MLP연구실과 유클리드소프트가 지난 2020~2024년 까지 5년 동안 함께 진행한 한국어 VQA관련 데이터를 모두 활용했습니다.
 
 언제나 그랬듯 해당 모델은 상업적 이용이 가능합니다.
 
@@ -47,8 +48,23 @@ We, the Bllossom team, are pleased to announce the release of Bllossom-Vision, a
  - We have put significant effort into ensuring it remains faithful to the role of a vision-language model while maintaining the performance of a traditional language model as much as possible.
  - It is a fully bilingual model that does not compromise English performance at all.
 ```
+**Bllossom is developed by [MLPLab at Seoultech](http://mlp.seoultech.ac.kr), [Teddysum](http://teddysum.ai/) and [Yonsei Univ](https://sites.google.com/view/hansaemkim/hansaem-kim)**
+
+
+## Demo Video
+
+<div style="display: flex; justify-content: space-between;">
+  <!-- 첫 번째 컬럼 -->
+  <div style="width: 49%;">
+    <a>
+      <img src="https://github.com/lhsstn/lhsstn/blob/main/x-llava_dem.gif?raw=true" style="width: 100%; height: auto;">
+    </a>
+    <p style="text-align: center;">Bllossom-V Demo</p>
+  </div>
+</div>
+
+
 
-**This model developed by [MLPLab at Seoultech](http://mlp.seoultech.ac.kr), [Teddysum](http://teddysum.ai/) and [Yonsei Univ](https://sites.google.com/view/hansaemkim/hansaem-kim)**
 
 ## Example code
 
@@ -60,46 +76,7 @@ We, the Bllossom team, are pleased to announce the release of Bllossom-Vision, a
 pip install torch transformers==4.44.0 
 ```
 
-### Python code with Image
-```python
-from PIL import Image
-from transformers import LlavaNextForConditionalGeneration,LlavaNextProcessor
-import torch
-
-model = LlavaNextForConditionalGeneration.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
-processor = LlavaNextProcessor.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
-
-image = Image.open('[IMAGE_PATH]').convert('RGB')
-
-PROMPT=\
-"""You are a versatile AI assistant named Bllava, capable of both understanding and generating text as well as interpreting and analyzing images. Your role is to kindly and effectively answer the user’s questions, whether they are about text or images, and provide appropriate and helpful responses to all types of queries.
-
-당신은 텍스트를 이해하고 생성하는 것뿐만 아니라 이미지를 해석하고 분석할 수 있는 다재다능한 AI 어시스턴트 블라바입니다. 사용자의 질문이 텍스트에 관한 것이든 이미지에 관한 것이든 친절하고 효과적으로 답변하며, 모든 유형의 질의에 대해 적절하고 유용한 응답을 제공하는 것이 당신의 역할입니다."""
-
-
-instruction = '이미지에 대해서 설명해주세요.'
-messages = [
-    {'role': 'system', 'content': f"{PROMPT}"},
-    {'role': 'user', 'content': f"<image>\n{instruction}"}
-]
-
-chat_messages = processor.tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
-
-inputs = processor(
-    chat_messages,
-    image,
-    return_tensors='pt',
-)
-
-output = model.generate(
-    **inputs,
-    max_new_tokens=1024,
-    )
-
-print(processor.tokenizer.decode(output[0]))
-```
-
-### Python code No Image
+### Python code without Image
 ```python
 from transformers import LlavaNextForConditionalGeneration,LlavaNextProcessor
 import torch
@@ -144,11 +121,50 @@ with torch.no_grad():
     print(processor.tokenizer.decode(output[0]))
 ```
 
+### Python code with Image
+```python
+from PIL import Image
+from transformers import LlavaNextForConditionalGeneration,LlavaNextProcessor
+import torch
+
+model = LlavaNextForConditionalGeneration.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
+processor = LlavaNextProcessor.from_pretrained('Bllossom/llama-3.1-Korean-Bllossom-Vision-8B', torch_dtype=torch.bfloat16)
+
+image = Image.open('[IMAGE_PATH]').convert('RGB')
+
+PROMPT=\
+"""You are a versatile AI assistant named Bllava, capable of both understanding and generating text as well as interpreting and analyzing images. Your role is to kindly and effectively answer the user’s questions, whether they are about text or images, and provide appropriate and helpful responses to all types of queries.
+
+당신은 텍스트를 이해하고 생성하는 것뿐만 아니라 이미지를 해석하고 분석할 수 있는 다재다능한 AI 어시스턴트 블라바입니다. 사용자의 질문이 텍스트에 관한 것이든 이미지에 관한 것이든 친절하고 효과적으로 답변하며, 모든 유형의 질의에 대해 적절하고 유용한 응답을 제공하는 것이 당신의 역할입니다."""
+
+
+instruction = '이미지에 대해서 설명해주세요.'
+messages = [
+    {'role': 'system', 'content': f"{PROMPT}"},
+    {'role': 'user', 'content': f"<image>\n{instruction}"}
+]
+
+chat_messages = processor.tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)
+
+inputs = processor(
+    chat_messages,
+    image,
+    return_tensors='pt',
+)
+
+output = model.generate(
+    **inputs,
+    max_new_tokens=1024,
+    )
+
+print(processor.tokenizer.decode(output[0]))
+```
+
+
 ## Supported by
 
- - Hewlett Packard (HP) Enterprise  <img src="https://upload.wikimedia.org/wikipedia/commons/thumb/4/46/Hewlett_Packard_Enterprise_logo.svg/2880px-Hewlett_Packard_Enterprise_logo.svg.png" width="20%" height="20%">
- - Common Crawl <img src="https://cdn.prod.website-files.com/6479b8d98bf5dcb4a69c4f31/649b5869af56f6df617cfb1f_CC_Logo_Blue_Auto.svg" width="20%" height="20%">
- - AICA
+ - AICA  <img src="https://aica-gj.kr/images/logo.png" width="20%" height="20%">
+ - 유클리드소프트 <img src="https://euclidsoft.co.kr/_next/image?url=%2Fimg%2Flogo.png&w=384&q=75" width="20%" height="20%">
 
 ## Citation
 **Language Model**