Questionário de fim de capítulo

1. Qual é a ordem do pipeline para a modelagem de linguagem?

2. Quantas dimensões tem o tensor do Transformer de base, e quais são elas?

3. Qual dos seguintes é um exemplo de Tokenização por sub-palavras?

4. O que é uma model head ?

5. O que seria um AutoModel ?

6. Quais são as técnicas a serem observadas quando realizar batches com sequências de diferentes tamanhos?

7. Qual é o objetivo de aplicar uma função SoftMax à saída de logits para um modelo de classificação sequencial??

8. Qual é o método core da API tokenizer?

9. O que a variável result contém nesta pedaço de código?

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
result = tokenizer.tokenize("Hello!")

10. Tem algo errado com o código abaixo?

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")
model = AutoModel.from_pretrained("gpt2")

encoded = tokenizer("Hey!", return_tensors="pt")
result = model(**encoded)