Hugging Face's logo

imthanhlv
/
vigpt2medium

Text Generation
Transformers
PyTorch
JAX
gpt2
text-generation-inference
Inference Endpoints
Model card Files Community
15
vigpt2medium / out.txt
imthanhlv's picture
imthanhlv
Saving weights and logs of step 50000
6e1c1f7
raw
history blame
202 kB
(failed reverse-i-search)`conda ac': ^C
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ conda activate tpuenv
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ls
config.json create_config.py requirements.txt run_clm_flax.py tokenizer.json train_tokenizer.py
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py \
> --output_dir="${MODEL_DIR}" \
> --model_type="gpt2-medium" \
> --config_name="${MODEL_DIR}" \
> --tokenizer_name="${MODEL_DIR}" \
> --dataset_name="imthanhlv/binhvq_dedup" \
> --do_train \
> --do_eval \
> --block_size="512" \
> --per_device_train_batch_size="64" \
> --per_device_eval_batch_size="64" \
> --learning_rate="5e-3" --warmup_steps="1000" \
> --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01" \
> --overwrite_output_dir \
> --num_train_epochs="20" \
> --logging_steps="500" \
> --save_steps="2500" \
> --eval_steps="2500" \
> --preprocessing_num_workers=96 \
> --push_to^Cub
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config
_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512"
--per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step
s="2500" --preprocessing_num_workers=96 --push-to-hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete
r Host
Traceback (most recent call last):
File "./run_clm_flax.py", line 766, in <module>
main()
File "./run_clm_flax.py", line 310, in main
model_args, data_args, training_args = parser.parse_args_into_dataclasses()
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/hf_argparser.py", line 215, in parse_args_into_dataclasses
raise ValueError(f"Some specified arguments are not used by the HfArgumentParser: {remaining_args}")
ValueError: Some specified arguments are not used by the HfArgumentParser: ['--push-to-hub']
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config
_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512"
--per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step
s="2500" --preprocessing_num_workers=96 --push_to_hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete
r Host
INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat
ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu
m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None)
Traceback (most recent call last):
File "./run_clm_flax.py", line 766, in <module>
main()
File "./run_clm_flax.py", line 347, in main
repo_name = get_full_repo_name(
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/file_utils.py", line 2663, in get_full_repo_name
username = whoami(token)["name"]
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/huggingface_hub/hf_api.py", line 374, in whoami
raise ValueError(
ValueError: You need to pass a valid `token` or login by using `huggingface-cli login`
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ huggingface-cli login
_| _| _| _| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _|_|_|_| _|_| _|_|_| _|_|_|_|
_| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _|
_|_|_|_| _| _| _| _|_| _| _|_| _| _| _| _| _| _|_| _|_|_| _|_|_|_| _| _|_|_|
_| _| _| _| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _|
_| _| _|_| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _| _| _| _|_|_| _|_|_|_|
To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/token.
(Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C.
Token:
Login successful
Your token has been saved to /home/lethanh/.huggingface/token
Authenticated through git-credential store but this isn't the helper defined on your machine.
You might have to re-authenticate when pushing to the Hugging Face Hub. Run the following command in your terminal in case you want to set this credential
helper as the default
git config --global credential.helper store
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ git config --global credential.helper store
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config
_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512"
--per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step
s="2500" --preprocessing_num_workers=96 --push_to_hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete
r Host
INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat
ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu
m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None)
/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep
o.git_pull()`.
WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo
u pull the latest changes with `repo.git_pull()`.
WARNING:datasets.load:Using the latest cached version of the module from /home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60
d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e (last modified on Sun Jan 2 13:15:15 2022) since it couldn't be found locally at imthanhlv/
binhvq_dedup., or remotely on the Hugging Face Hub.
Traceback (most recent call last):
File "./run_clm_flax.py", line 766, in <module>
main()
File "./run_clm_flax.py", line 365, in main
dataset = load_dataset(
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1657, in load_dataset
builder_instance = load_dataset_builder(
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1499, in load_dataset_builder
builder_cls = import_main_class(dataset_module.module_path)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 109, in import_main_class
module = importlib.import_module(module_path)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/importlib/__init__.py", line 127, in import_module
return _bootstrap._gcd_import(name[level:], package, level)
File "<frozen importlib._bootstrap>", line 1014, in _gcd_import
File "<frozen importlib._bootstrap>", line 991, in _find_and_load
File "<frozen importlib._bootstrap>", line 975, in _find_and_load_unlocked
File "<frozen importlib._bootstrap>", line 671, in _load_unlocked
File "<frozen importlib._bootstrap_external>", line 848, in exec_module
File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
File "/home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e/bi
nhvq_dedup.py", line 4, in <module>
import lm_dataformat
ModuleNotFoundError: No module named 'lm_dataformat'
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ pip install lm_dataformat
Collecting lm_dataformat
Downloading lm_dataformat-0.0.20-py3-none-any.whl (5.8 kB)
Collecting ujson
Downloading ujson-5.1.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (44 kB)
|████████████████████████████████| 44 kB 3.7 MB/s
Collecting zstandard
Downloading zstandard-0.16.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (2.9 MB)
|████████████████████████████████| 2.9 MB 28.7 MB/s
Collecting jsonlines
Downloading jsonlines-3.0.0-py3-none-any.whl (8.5 kB)
Requirement already satisfied: attrs>=19.2.0 in /home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages (from jsonlines->lm_dataformat) (21.4.0)
Installing collected packages: zstandard, ujson, jsonlines, lm-dataformat
Successfully installed jsonlines-3.0.0 lm-dataformat-0.0.20 ujson-5.1.0 zstandard-0.16.0
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config
_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512"
--per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b
eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step
s="2500" --preprocessing_num_workers=96 --push_to_hub
INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker:
INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: Host TPU Inter
preter
INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat
ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu
m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None)
/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep
o.git_pull()`.
WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo
u pull the latest changes with `repo.git_pull()`.
WARNING:datasets.builder:Reusing dataset binhvq (/home/lethanh/hfcache/datasets/imthanhlv___binhvq/text/1.0.0/60d03216e35c1b592ca70ae909d1c1f504292e38e9622
d04108a14fe9c34868e)
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.98it/s]
loading configuration file ./config.json
Model config GPT2Config {
"_name_or_path": ".",
"activation_function": "gelu_new",
"architectures": [
"GPT2LMHeadModel"
],
"attn_pdrop": 0.0,
"bos_token_id": 50256,
"embd_pdrop": 0.0,
"eos_token_id": 50256,
"initializer_range": 0.02,
"layer_norm_epsilon": 1e-05,
"model_type": "gpt2",
"n_ctx": 1024,
"n_embd": 1024,
"n_head": 16,
"n_inner": null,
"n_layer": 24,
"n_positions": 1024,
"n_special": 0,
"predict_special_tokens": true,
"reorder_and_upcast_attn": false,
"resid_pdrop": 0.0,
"scale_attn_by_inverse_layer_idx": false,
"scale_attn_weights": true,
"summary_activation": null,
"summary_first_dropout": 0.1,
"summary_proj_to_labels": true,
"summary_type": "cls_index",
"summary_use_proj": true,
"task_specific_params": {
"text-generation": {
"do_sample": true,
"max_length": 50
}
},
"transformers_version": "4.15.0",
"use_cache": true,
"vocab_size": 50257
}
Could not locate the tokenizer configuration file, will try to use the model config instead.
loading configuration file ./config.json
Model config GPT2Config {
"_name_or_path": ".",
"activation_function": "gelu_new",
"architectures": [
"GPT2LMHeadModel"
],
"attn_pdrop": 0.0,
"bos_token_id": 50256,
"embd_pdrop": 0.0,
"eos_token_id": 50256,
"initializer_range": 0.02,
"layer_norm_epsilon": 1e-05,
"model_type": "gpt2",
"n_ctx": 1024,
"n_embd": 1024,
"n_head": 16,
"n_inner": null,
"n_layer": 24,
"n_positions": 1024,
"n_special": 0,
"predict_special_tokens": true,
"reorder_and_upcast_attn": false,
"resid_pdrop": 0.0,
"scale_attn_by_inverse_layer_idx": false,
"scale_attn_weights": true,
"summary_activation": null,
"summary_first_dropout": 0.1,
"summary_proj_to_labels": true,
"summary_type": "cls_index",
"summary_use_proj": true,
"task_specific_params": {
"text-generation": {
"do_sample": true,
"max_length": 50
}
},
"transformers_version": "4.15.0",
"use_cache": true,
"vocab_size": 50257
}
Didn't find file ./vocab.json. We won't load it.
Didn't find file ./merges.txt. We won't load it.
Didn't find file ./added_tokens.json. We won't load it.
Didn't find file ./special_tokens_map.json. We won't load it.
Didn't find file ./tokenizer_config.json. We won't load it.
loading file None
loading file None
loading file ./tokenizer.json
loading file None
loading file None
loading file None
loading configuration file ./config.json
Model config GPT2Config {
"_name_or_path": ".",
"activation_function": "gelu_new",
"architectures": [
"GPT2LMHeadModel"
],
"attn_pdrop": 0.0,
"bos_token_id": 50256,
"embd_pdrop": 0.0,
"eos_token_id": 50256,
"initializer_range": 0.02,
"layer_norm_epsilon": 1e-05,
"model_type": "gpt2",
"n_ctx": 1024,
"n_embd": 1024,
"n_head": 16,
"n_inner": null,
"n_layer": 24,
"n_positions": 1024,
"n_special": 0,
"predict_special_tokens": true,
"reorder_and_upcast_attn": false,
"resid_pdrop": 0.0,
"scale_attn_by_inverse_layer_idx": false,
"scale_attn_weights": true,
"summary_activation": null,
"summary_first_dropout": 0.1,
"summary_proj_to_labels": true,
"summary_type": "cls_index",
"summary_use_proj": true,
"task_specific_params": {
"text-generation": {
"do_sample": true,
"max_length": 50
}
},
"transformers_version": "4.15.0",
"use_cache": true,
"vocab_size": 50257
}
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
#2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:40<00:00, 3.14s/ba]
#1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba]
#5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba]
#19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba]
#24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba]
#3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.16s/ba]
#54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba]
#17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba]
#56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba]
#22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba]
#32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba]
#14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba]
#43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba]
#58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba]
#35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba]
#45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba]
#57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba]
#55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba]
#15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba]
#74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba]
#59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba]
#18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba]
#75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba]
#72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba]
#76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.16s/ba]
#80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba]
#79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba]
#86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba]
#69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba]
#36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba]
#92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba]
#42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba]
#73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba]
#33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba]
#66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba]
#13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba]
#83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba]
#88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba]
#31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba]
#9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba]
#68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba]
#16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba]
#67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba]
#46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.20s/ba]
#70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba]
#39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba]
#34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba]
#64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:55<00:00, 3.21s/ba]
#90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.19s/ba]
#94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba]
#28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:56<00:00, 3.22s/ba]
#26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:57<00:00, 3.22s/ba]
#87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba]
#95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba]
#89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba]
#48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:00<00:00, 3.24s/ba]
#52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:03<00:00, 3.25s/ba]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:46:29.353747 55243 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:46:29.353806 55243 process_state.cc:1103] RAW: Raising 11 signal with default behavior
#8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.05ba/s]
#10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.10ba/s]
#1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba]
#12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.06s/ba]
#0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.27s/ba]
#4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.42s/ba]
#2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba]
#16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba]
#3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba]
#5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba]
#6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba]
#7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba]
#19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.24s/ba]
#9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba]
#15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.40s/ba]
#23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/ba]
#14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba]
#18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba]
#11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba]
#13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba]
#20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba]
#21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.58s/ba]
#17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.69s/ba]
#31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba]
#22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba]
#24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.62s/ba]
#29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.56s/ba]
#32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba]
#26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.62s/ba]
#34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba]
#25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.68s/ba]
#39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/ba]
#30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.61s/ba]
#28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.68s/ba]
#44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.41s/ba]
#33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba]
#40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.53s/ba]
#45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba]
#27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.77s/ba]
#41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.50s/ba]
#38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.58s/ba]
#62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba]
#35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.64s/ba]
#63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.04s/ba]
#47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.40s/ba]
#43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.52s/ba]
#37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba]
#65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba]
#64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.05s/ba]
#48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.42s/ba]
#46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba]
#66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba]
#67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.02s/ba]
#58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba]
#42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba]
#36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.77s/ba]
#70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba]
#71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.00ba/s]
#49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba]
#69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.05s/ba]
#68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.07s/ba]
#56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/ba]
#51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.53s/ba]
#50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.55s/ba]
#55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba]
#59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.36s/ba]
#61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.32s/ba]
#52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba]
#53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/ba]
#60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.41s/ba]
#57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba]
#72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.14s/ba]
#54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba]
#73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.15s/ba]
#81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.06ba/s]
#79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba]
#75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.18s/ba]
#82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.03ba/s]
#76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.21s/ba]
#74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.32s/ba]
#86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.01ba/s]
#83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba]
#77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.26s/ba]
#78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.27s/ba]
#89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.04ba/s]
#88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.00ba/s]
#84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.11s/ba]
#80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.25s/ba]
#87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.08s/ba]
#90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.00s/ba]
#85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.17s/ba]
#91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba]
#95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.07ba/s]
#94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.03ba/s]
#93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.00s/ba]
#92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:46:41.095923 56001 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:46:41.096767 56001 process_state.cc:1103] RAW: Raising 11 signal with default behavior
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:46:41.097659 56000 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:46:41.097727 56000 process_state.cc:1103] RAW: Raising 11 signal with default behavior
#2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba]
#3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba]
#47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00, 1.23s/ba]
#5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba]
#23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba]
#6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:10<00:00, 1.23s/ba]
#86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00, 1.23s/ba]
#30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba]
#8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba]
#16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba]
#7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba]
#80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
#88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba]
#27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
#43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
#79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba]
#22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba]
#48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
#45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
#72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:21<00:00, 1.28s/ba]
#26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba]
#39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
#71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba]
#77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba]
#36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba]
#68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba]
#83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:51:18.395334 56123 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:51:18.395427 56123 process_state.cc:1103] RAW: Raising 11 signal with default behavior
#0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.50ba/s]
#1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.86ba/s]
#2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.86ba/s]
#29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.35ba/s]
#4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.73ba/s]
#15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.87ba/s]
#12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s]
#10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.76ba/s]
#3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.65ba/s]
#6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.67ba/s]
#19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.81ba/s]
#7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.62ba/s]
#8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s]
#5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.59ba/s]
#17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.75ba/s]
#13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.68ba/s]
#48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.94ba/s]
#21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.82ba/s]
#20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.77ba/s]
#9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s]
#23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.69ba/s]
#49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.75ba/s]
#30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.77ba/s]
#16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s]
#51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.85ba/s]
#31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.75ba/s]
#22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s]
#18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.57ba/s]
#11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.46ba/s]
#25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s]
#34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.73ba/s]
#33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.71ba/s]
#53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.82ba/s]
#27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.61ba/s]
#14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.45ba/s]
#26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.57ba/s]
#24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s]
#32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s]
#52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.51ba/s]
#28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s]
#54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.66ba/s]
#39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.74ba/s]
#41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s]
#40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.72ba/s]
#47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.91ba/s]
#36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s]
#37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s]
#50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s]
#35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.51ba/s]
#45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.74ba/s]
#42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s]
#38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.53ba/s]
#46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.72ba/s]
#63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.74ba/s]
#43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.60ba/s]
#65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.80ba/s]
#44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.60ba/s]
#67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.74ba/s]
#68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.67ba/s]
#56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.04ba/s]
#75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.77ba/s]
#58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.04ba/s]
#57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.96ba/s]
#61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.07ba/s]
#60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s]
#66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.27ba/s]
#55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s]
#59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.89ba/s]
#64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.03ba/s]
#62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.95ba/s]
#69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.17ba/s]
#70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.16ba/s]
#83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.70ba/s]
#71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.18ba/s]
#77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.35ba/s]
#82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.56ba/s]
#74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.20ba/s]
#86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.77ba/s]
#72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s]
#88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.82ba/s]
#73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s]
#76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s]
#93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.07ba/s]
#94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.05ba/s]
#79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.06ba/s]
#85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.38ba/s]
#95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.11ba/s]
#87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.42ba/s]
#89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.61ba/s]
#90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.66ba/s]
#80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s]
#84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.20ba/s]
#81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.98ba/s]
#92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.62ba/s]
#78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.89ba/s]
#91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.24ba/s]
https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a
3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9
a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e
9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30
E0102 13:51:27.875289 56422 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler!
E0102 13:51:27.877104 56422 process_state.cc:1103] RAW: Raising 11 signal with default behavior
WARNING:__main__:Unable to display metrics through TensorBoard because some package are not installed: No module named 'tensorflow'
INFO:__main__:***** Running training *****
INFO:__main__: Num examples = 26035798
INFO:__main__: Num Epochs = 20
INFO:__main__: Instantaneous batch size per device = 64
INFO:__main__: Total train batch size (w. parallel & distributed) = 512
INFO:__main__: Total optimization steps = 1017020
Epoch ... : 0%| | 0/20 [01:32<?, ?it/s]
Traceback (most recent call last):
File "./run_clm_flax.py", line 766, in <module>
main()
File "./run_clm_flax.py", line 681, in main
state, train_metric = p_train_step(state, batch)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/traceback_util.py", line 162, in reraise_with_filtered_traceback
return fun(*args, **kwargs)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 2058, in cache_miss
out_tree, out_flat = f_pmapped_(*args, **kwargs)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 1934, in f_pmapped
out = pxla.xla_pmap(
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1727, in bind
return call_bind(self, fun, *args, **params)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1652, in call_bind
outs = primitive.process(top_trace, fun, tracers, params)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1730, in process
return trace.process_map(self, fun, tracers, params)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 633, in process_call
return primitive.impl(f, *tracers, **params)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 766, in xla_pmap_impl
compiled_fun, fingerprint = parallel_callable(
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/linear_util.py", line 263, in memoized_fun
ans = call(fun, *args)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 797, in parallel_callable
pmap_executable = pmap_computation.compile()
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper
return func(*args, **kwargs)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1048, in compile
self._executable = PmapExecutable.from_hlo(self._hlo, *self.compile_args)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1171, in from_hlo
compiled = dispatch.compile_or_get_cached(
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 534, in compile_or_get_cached
return backend_compile(backend, computation, compile_options)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper
return func(*args, **kwargs)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile
return backend.compile(built_c, compile_options=options)
jax._src.traceback_util.UnfilteredStackTrace: RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded
hbm capacity by 17.74G.
Total hbm usage >= 33.74G:
reserved 530.00M
program 33.22G
arguments 0B
Output size 0B; shares 0B with arguments.
Program hbm requirement 33.22G:
global 196.0K
scoped 205.0K
HLO temp 33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M))
Largest program allocations in hbm:
1. Size: 3.07G
Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)}
Unpadded size: 3.06G
Extra memory due to padding: 6.57M (1.0x expansion)
XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema
t_compressed)
Allocation type: HLO temp
==========================
2. Size: 1.00G
Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n prec
ision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source
_line=89
Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
Unpadded size: 1.00G
XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1
,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus...
Allocation type: HLO temp
==========================
3. Size: 1.00G
Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2
)))\n precision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/
gpt2/modeling_flax_gpt2.py" source_line=275
Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
Unpadded size: 1.00G
XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64
]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene...
Allocation type: HLO temp
==========================
4. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342...
Allocation type: HLO temp
==========================
5. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354...
Allocation type: HLO temp
==========================
6. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366...
Allocation type: HLO temp
==========================
7. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378...
Allocation type: HLO temp
==========================
8. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390...
Allocation type: HLO temp
==========================
9. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402...
Allocation type: HLO temp
==========================
10. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414...
Allocation type: HLO temp
==========================
11. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426...
Allocation type: HLO temp
==========================
12. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438...
Allocation type: HLO temp
==========================
13. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450...
Allocation type: HLO temp
==========================
14. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462...
Allocation type: HLO temp
==========================
15. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474...
Allocation type: HLO temp
==========================
16. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486...
Allocation type: HLO temp
==========================
17. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498...
Allocation type: HLO temp
==========================
18. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510...
Allocation type: HLO temp
==========================
19. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3
2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k...
Allocation type: HLO temp
==========================
20. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534...
Allocation type: HLO temp
==========================
The stack trace below excludes JAX-internal frames.
The preceding is the original exception that occurred, unmodified.
--------------------
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "./run_clm_flax.py", line 766, in <module>
main()
File "./run_clm_flax.py", line 681, in main
state, train_metric = p_train_step(state, batch)
File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile
return backend.compile(built_c, compile_options=options)
RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded hbm capacity by 17.74G.
Total hbm usage >= 33.74G:
reserved 530.00M
program 33.22G
arguments 0B
Output size 0B; shares 0B with arguments.
Program hbm requirement 33.22G:
global 196.0K
scoped 205.0K
HLO temp 33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M))
Largest program allocations in hbm:
1. Size: 3.07G
Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)}
Unpadded size: 3.06G
Extra memory due to padding: 6.57M (1.0x expansion)
XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema
t_compressed)
Allocation type: HLO temp
==========================
2. Size: 1.00G
Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n prec
ision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source
_line=89
Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
Unpadded size: 1.00G
XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1
,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus...
Allocation type: HLO temp
==========================
3. Size: 1.00G
Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2
)))\n precision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/
gpt2/modeling_flax_gpt2.py" source_line=275
Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)}
Unpadded size: 1.00G
XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64
]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene...
Allocation type: HLO temp
==========================
4. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342...
Allocation type: HLO temp
==========================
5. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354...
Allocation type: HLO temp
==========================
6. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366...
Allocation type: HLO temp
==========================
7. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378...
Allocation type: HLO temp
==========================
8. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390...
Allocation type: HLO temp
==========================
9. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402...
Allocation type: HLO temp
==========================
10. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414...
Allocation type: HLO temp
==========================
11. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426...
Allocation type: HLO temp
==========================
12. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438...
Allocation type: HLO temp
==========================
13. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450...
Allocation type: HLO temp
==========================
14. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462...
Allocation type: HLO temp
==========================
15. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474...
Allocation type: HLO temp
==========================
16. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486...
Allocation type: HLO temp
==========================
17. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498...
Allocation type: HLO temp
==========================
18. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510...
Allocation type: HLO temp
==========================
19. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3
2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k...
Allocation type: HLO temp
==========================
20. Size: 256.00M
Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el
ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li
ne=122
Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}
Unpadded size: 256.00M
XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1.
remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534...
Allocation type: HLO temp
==========================
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C
(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ script log.txt
Script started, file is log.txt
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ vim log.txt
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ qqqqqqq^C
(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$