Context lenght?
Hi, nice job, model works like a charm, but I have a question, it can handle more than 8k? I'm using the model with TGI and AWQ quant, and for context <= 8k it performs great, but when context start to grow > 8k it degradates rapidly. Base model is reported for 16k context but at 16k the model output si for example:
t para
3333oooo o 3oo o c c
¡oo c c o c33 o o para oo33333ooo o ooo o o o o o de
a c
s o de
en333
des3333333333333 de33
3 sec se
33322 se est a o o o3333
sub se c c. de se ad o o c de3 o..
o333333333
1 o ad c333 o se s o o o o o ( ( ( o o para s o ad33 (
s ad ad para se 33333
de o333333
1111 (33 oo o o 33 p. se a o de1111 de o c... p c
de de. de ( (1112 p c p de de de de de de de222222 . 1 de o.. ( ( o o ( ( (11333.113333. o ad ad c p c c c coo. p co o de. p. oo o... de de p. p c de- de.. p o c o c-211 de o o o ooo o o.
p c o o p o o oooo o o33o o o ooo o o o55ooo ad c c p o o o v c331 se para o p111115 seoo1111111111111111112111 de c c c p c111111 p p p o p p p p con p p p p223322222 p p22222 p p c p se c se c p3 p c est est est est c p c est a33333 con est 333 con.3 se est est c p. con 33333. con.33333333332223333 se cuatro 4444444443 o p o4 333333333333444444444 se o p3 o o44 p p s p est o o p3 se o se o4 se o se o44444444444444 seoo o p p o p se se se se se se se-a se se c33o p se s po co se se p cva se se para. sobre se.. c c... se. se c c se se s p. p so de p o se se o se. p. se oo o oooo o se s. ooo o o. se oo o se o se se se se se se se se o ooo o se se se o se se se seoo o o se se se se se se se se se se se se se se o se se se se se se se o o se se seo se se se se seoo se se se se se se se se se se se se se o se. se se se se se seo seo se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se se sev se se. se se se se se se o se se s se se o. se se se. se. se se. se. se se se se se se se.666 se se se se se se se se se se se se- se se. se. se se se se. se. o. se se se se se se se se se se se. se se se.. se. se o o.. ooo se se se seooo o se se se se o se o se se se se o se se seoooo ooooo o o se seo o se se se se. o se se. se.111111111111 se se o se