diff --git "a/out.txt" "b/out.txt" new file mode 100644--- /dev/null +++ "b/out.txt" @@ -0,0 +1,1266 @@ +(failed reverse-i-search)`conda ac': ^C +(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ conda activate tpuenv +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ls +config.json create_config.py requirements.txt run_clm_flax.py tokenizer.json train_tokenizer.py +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py \ +> --output_dir="${MODEL_DIR}" \ +> --model_type="gpt2-medium" \ +> --config_name="${MODEL_DIR}" \ +> --tokenizer_name="${MODEL_DIR}" \ +> --dataset_name="imthanhlv/binhvq_dedup" \ +> --do_train \ +> --do_eval \ +> --block_size="512" \ +> --per_device_train_batch_size="64" \ +> --per_device_eval_batch_size="64" \ +> --learning_rate="5e-3" --warmup_steps="1000" \ +> --adam_beta1="0.9" --adam_beta2="0.98" --weight_decay="0.01" \ +> --overwrite_output_dir \ +> --num_train_epochs="20" \ +> --logging_steps="500" \ +> --save_steps="2500" \ +> --eval_steps="2500" \ +> --preprocessing_num_workers=96 \ +> --push_to^Cub +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config +_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" + --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b +eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step +s="2500" --preprocessing_num_workers=96 --push-to-hub +INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: +INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete +r Host +Traceback (most recent call last): + File "./run_clm_flax.py", line 766, in + main() + File "./run_clm_flax.py", line 310, in main + model_args, data_args, training_args = parser.parse_args_into_dataclasses() + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/hf_argparser.py", line 215, in parse_args_into_dataclasses + raise ValueError(f"Some specified arguments are not used by the HfArgumentParser: {remaining_args}") +ValueError: Some specified arguments are not used by the HfArgumentParser: ['--push-to-hub'] +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config +_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" + --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b +eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step +s="2500" --preprocessing_num_workers=96 --push_to_hub +INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: +INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete +r Host +INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat +ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu +m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None) +Traceback (most recent call last): + File "./run_clm_flax.py", line 766, in + main() + File "./run_clm_flax.py", line 347, in main + repo_name = get_full_repo_name( + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/file_utils.py", line 2663, in get_full_repo_name + username = whoami(token)["name"] + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/huggingface_hub/hf_api.py", line 374, in whoami + raise ValueError( +ValueError: You need to pass a valid `token` or login by using `huggingface-cli login` +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ huggingface-cli login + + _| _| _| _| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _|_|_|_| _|_| _|_|_| _|_|_|_| + _| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _| + _|_|_|_| _| _| _| _|_| _| _|_| _| _| _| _| _| _|_| _|_|_| _|_|_|_| _| _|_|_| + _| _| _| _| _| _| _| _| _| _| _|_| _| _| _| _| _| _| _| + _| _| _|_| _|_|_| _|_|_| _|_|_| _| _| _|_|_| _| _| _| _|_|_| _|_|_|_| + + To login, `huggingface_hub` now requires a token generated from https://huggingface.co/settings/token. + (Deprecated, will be removed in v0.3.0) To login with username and password instead, interrupt with Ctrl+C. + +Token: +Login successful +Your token has been saved to /home/lethanh/.huggingface/token +Authenticated through git-credential store but this isn't the helper defined on your machine. +You might have to re-authenticate when pushing to the Hugging Face Hub. Run the following command in your terminal in case you want to set this credential +helper as the default + +git config --global credential.helper store +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ git config --global credential.helper store +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config +_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" + --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b +eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step +s="2500" --preprocessing_num_workers=96 --push_to_hub +INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: +INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: TPU Interprete +r Host +INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat +ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu +m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None) +/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep +o.git_pull()`. +WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo +u pull the latest changes with `repo.git_pull()`. +WARNING:datasets.load:Using the latest cached version of the module from /home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60 +d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e (last modified on Sun Jan 2 13:15:15 2022) since it couldn't be found locally at imthanhlv/ +binhvq_dedup., or remotely on the Hugging Face Hub. +Traceback (most recent call last): + File "./run_clm_flax.py", line 766, in + main() + File "./run_clm_flax.py", line 365, in main + dataset = load_dataset( + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1657, in load_dataset + builder_instance = load_dataset_builder( + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 1499, in load_dataset_builder + builder_cls = import_main_class(dataset_module.module_path) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/datasets/load.py", line 109, in import_main_class + module = importlib.import_module(module_path) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/importlib/__init__.py", line 127, in import_module + return _bootstrap._gcd_import(name[level:], package, level) + File "", line 1014, in _gcd_import + File "", line 991, in _find_and_load + File "", line 975, in _find_and_load_unlocked + File "", line 671, in _load_unlocked + File "", line 848, in exec_module + File "", line 219, in _call_with_frames_removed + File "/home/lethanh/hfcache/modules/datasets_modules/datasets/imthanhlv--binhvq_dedup/60d03216e35c1b592ca70ae909d1c1f504292e38e9622d04108a14fe9c34868e/bi +nhvq_dedup.py", line 4, in + import lm_dataformat +ModuleNotFoundError: No module named 'lm_dataformat' +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ pip install lm_dataformat +Collecting lm_dataformat + Downloading lm_dataformat-0.0.20-py3-none-any.whl (5.8 kB) +Collecting ujson + Downloading ujson-5.1.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (44 kB) + |████████████████████████████████| 44 kB 3.7 MB/s +Collecting zstandard + Downloading zstandard-0.16.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (2.9 MB) + |████████████████████████████████| 2.9 MB 28.7 MB/s +Collecting jsonlines + Downloading jsonlines-3.0.0-py3-none-any.whl (8.5 kB) +Requirement already satisfied: attrs>=19.2.0 in /home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages (from jsonlines->lm_dataformat) (21.4.0) +Installing collected packages: zstandard, ujson, jsonlines, lm-dataformat +Successfully installed jsonlines-3.0.0 lm-dataformat-0.0.20 ujson-5.1.0 zstandard-0.16.0 +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ./run_clm_flax.py --output_dir="${MODEL_DIR}" --model_type="gpt2-medium" --config +_name="${MODEL_DIR}" --tokenizer_name="${MODEL_DIR}" --dataset_name="imthanhlv/binhvq_dedup" --do_train --do_eval --block_size="512" + --per_device_train_batch_size="64" --per_device_eval_batch_size="64" --learning_rate="5e-3" --warmup_steps="1000" --adam_beta1="0.9" --adam_b +eta2="0.98" --weight_decay="0.01" --overwrite_output_dir --num_train_epochs="20" --logging_steps="500" --save_steps="50000" --eval_step +s="2500" --preprocessing_num_workers=96 --push_to_hub +INFO:absl:Unable to initialize backend 'tpu_driver': NOT_FOUND: Unable to find driver in registry given worker: +INFO:absl:Unable to initialize backend 'gpu': NOT_FOUND: Could not find registered platform with name: "cuda". Available platform names are: Host TPU Inter +preter +INFO:__main__:Training/evaluation parameters TrainingArguments(output_dir='.', overwrite_output_dir=True, do_train=True, do_eval=True, per_device_train_bat +ch_size=64, per_device_eval_batch_size=64, learning_rate=0.005, weight_decay=0.01, adam_beta1=0.9, adam_beta2=0.98, adam_epsilon=1e-08, adafactor=False, nu +m_train_epochs=20.0, warmup_steps=1000, logging_steps=500, save_steps=50000, eval_steps=2500, seed=42, push_to_hub=True, hub_model_id=None, hub_token=None) +/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure you pull the latest changes with `rep +o.git_pull()`. +WARNING:huggingface_hub.repository:/home/lethanh/workspace/vigpt2medium/. is already a clone of https://huggingface.co/imthanhlv/vigpt2medium. Make sure yo +u pull the latest changes with `repo.git_pull()`. +WARNING:datasets.builder:Reusing dataset binhvq (/home/lethanh/hfcache/datasets/imthanhlv___binhvq/text/1.0.0/60d03216e35c1b592ca70ae909d1c1f504292e38e9622 +d04108a14fe9c34868e) +100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.98it/s] +loading configuration file ./config.json +Model config GPT2Config { + "_name_or_path": ".", + "activation_function": "gelu_new", + "architectures": [ + "GPT2LMHeadModel" + ], + "attn_pdrop": 0.0, + "bos_token_id": 50256, + "embd_pdrop": 0.0, + "eos_token_id": 50256, + "initializer_range": 0.02, + "layer_norm_epsilon": 1e-05, + "model_type": "gpt2", + "n_ctx": 1024, + "n_embd": 1024, + "n_head": 16, + "n_inner": null, + "n_layer": 24, + "n_positions": 1024, + "n_special": 0, + "predict_special_tokens": true, + "reorder_and_upcast_attn": false, + "resid_pdrop": 0.0, + "scale_attn_by_inverse_layer_idx": false, + "scale_attn_weights": true, + "summary_activation": null, + "summary_first_dropout": 0.1, + "summary_proj_to_labels": true, + "summary_type": "cls_index", + "summary_use_proj": true, + "task_specific_params": { + "text-generation": { + "do_sample": true, + "max_length": 50 + } + }, + "transformers_version": "4.15.0", + "use_cache": true, + "vocab_size": 50257 +} + +Could not locate the tokenizer configuration file, will try to use the model config instead. +loading configuration file ./config.json +Model config GPT2Config { + "_name_or_path": ".", + "activation_function": "gelu_new", + "architectures": [ + "GPT2LMHeadModel" + ], + "attn_pdrop": 0.0, + "bos_token_id": 50256, + "embd_pdrop": 0.0, + "eos_token_id": 50256, + "initializer_range": 0.02, + "layer_norm_epsilon": 1e-05, + "model_type": "gpt2", + "n_ctx": 1024, + "n_embd": 1024, + "n_head": 16, + "n_inner": null, + "n_layer": 24, + "n_positions": 1024, + "n_special": 0, + "predict_special_tokens": true, + "reorder_and_upcast_attn": false, + "resid_pdrop": 0.0, + "scale_attn_by_inverse_layer_idx": false, + "scale_attn_weights": true, + "summary_activation": null, + "summary_first_dropout": 0.1, + "summary_proj_to_labels": true, + "summary_type": "cls_index", + "summary_use_proj": true, + "task_specific_params": { + "text-generation": { + "do_sample": true, + "max_length": 50 + } + }, + "transformers_version": "4.15.0", + "use_cache": true, + "vocab_size": 50257 +} + +Didn't find file ./vocab.json. We won't load it. +Didn't find file ./merges.txt. We won't load it. +Didn't find file ./added_tokens.json. We won't load it. +Didn't find file ./special_tokens_map.json. We won't load it. +Didn't find file ./tokenizer_config.json. We won't load it. +loading file None +loading file None +loading file ./tokenizer.json +loading file None +loading file None +loading file None +loading configuration file ./config.json +Model config GPT2Config { + "_name_or_path": ".", + "activation_function": "gelu_new", + "architectures": [ + "GPT2LMHeadModel" + ], + "attn_pdrop": 0.0, + "bos_token_id": 50256, + "embd_pdrop": 0.0, + "eos_token_id": 50256, + "initializer_range": 0.02, + "layer_norm_epsilon": 1e-05, + "model_type": "gpt2", + "n_ctx": 1024, + "n_embd": 1024, + "n_head": 16, + "n_inner": null, + "n_layer": 24, + "n_positions": 1024, + "n_special": 0, + "predict_special_tokens": true, + "reorder_and_upcast_attn": false, + "resid_pdrop": 0.0, + "scale_attn_by_inverse_layer_idx": false, + "scale_attn_weights": true, + "summary_activation": null, + "summary_first_dropout": 0.1, + "summary_proj_to_labels": true, + "summary_type": "cls_index", + "summary_use_proj": true, + "task_specific_params": { + "text-generation": { + "do_sample": true, + "max_length": 50 + } + }, + "transformers_version": "4.15.0", + "use_cache": true, + "vocab_size": 50257 +} + +Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained. + #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:40<00:00, 3.14s/ba] + #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] + #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] + #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba] + #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:42<00:00, 3.15s/ba] + #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.16s/ba] + #54: 100%|███████████████████████████████████████████████████████████████████████████████████████████████���██████████████| 204/204 [10:42<00:00, 3.15s/ba] + #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] + #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] + #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] + #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] + #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] + #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] + #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] + #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba] + #45: 100%|██████████████████████████████████████████��███████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.15s/ba] + #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] + #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] + #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] + #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] + #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] + #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] + #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] + #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba] + #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:43<00:00, 3.16s/ba] + #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] + #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.16s/ba] + #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:44<00:00, 3.16s/ba] + #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #0: 100%|██████████████████████████████████████████████████████████████��████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] + #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] + #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:45<00:00, 3.17s/ba] + #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] + #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:48<00:00, 3.18s/ba] + #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #4: 100%|████████��██████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] + #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] + #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] + #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba] + #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:46<00:00, 3.17s/ba] + #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:47<00:00, 3.18s/ba] + #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] + #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.18s/ba] + #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] + #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] + #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.20s/ba] + #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba] + #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:53<00:00, 3.20s/ba] + #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] + #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:55<00:00, 3.21s/ba] + #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:49<00:00, 3.19s/ba] + #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:52<00:00, 3.20s/ba] + #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:56<00:00, 3.22s/ba] + #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:57<00:00, 3.22s/ba] + #87: 100%|██████████████████████████��███████████████████████████████████████████████████████████████████████████████████| 204/204 [10:51<00:00, 3.19s/ba] + #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:50<00:00, 3.19s/ba] + #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [10:54<00:00, 3.21s/ba] + #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:00<00:00, 3.24s/ba] + #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [11:03<00:00, 3.25s/ba] +https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a +3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 +a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e +9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 +E0102 13:46:29.353747 55243 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! +E0102 13:46:29.353806 55243 process_state.cc:1103] RAW: Raising 11 signal with default behavior + #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.05ba/s] + #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.10ba/s] + #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba] + #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.06s/ba] + #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.27s/ba] + #4: 100%|████████████████████████████████████████████████████████████████████████████��██████████████████████████████████████| 2/2 [00:02<00:00, 1.42s/ba] + #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba] + #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba] + #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba] + #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba] + #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] + #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] + #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.24s/ba] + #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] + #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.40s/ba] + #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/ba] + #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba] + #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba] + #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba] + #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba] + #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba] + #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.58s/ba] + #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.69s/ba] + #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.45s/ba] + #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba] + #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.62s/ba] + #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.56s/ba] + #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.51s/ba] + #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.62s/ba] + #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/ba] + #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.68s/ba] + #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/ba] + #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.61s/ba] + #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.68s/ba] + #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.41s/ba] + #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba] + #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.53s/ba] + #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba] + #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.77s/ba] + #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.50s/ba] + #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.58s/ba] + #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] + #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.64s/ba] + #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.04s/ba] + #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.40s/ba] + #43: 100%|██████████████████████████████████████████████████████████���███████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.52s/ba] + #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.66s/ba] + #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] + #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.05s/ba] + #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.42s/ba] + #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba] + #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba] + #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.02s/ba] + #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.22s/ba] + #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.63s/ba] + #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.77s/ba] + #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] + #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.00ba/s] + #49: 100%|████████████████████████████████████████████████████████████████████████████████████████████████��█████████████████| 2/2 [00:02<00:00, 1.49s/ba] + #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.05s/ba] + #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.07s/ba] + #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.34s/ba] + #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.53s/ba] + #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:03<00:00, 1.55s/ba] + #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba] + #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.36s/ba] + #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.32s/ba] + #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.39s/ba] + #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.43s/ba] + #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.41s/ba] + #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.47s/ba] + #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.14s/ba] + #54: 100%|██████��███████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.48s/ba] + #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.15s/ba] + #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.06ba/s] + #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] + #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.18s/ba] + #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.03ba/s] + #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.21s/ba] + #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.32s/ba] + #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.01ba/s] + #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba] + #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.26s/ba] + #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.27s/ba] + #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.04ba/s] + #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.00ba/s] + #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.11s/ba] + #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.25s/ba] + #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.08s/ba] + #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.00s/ba] + #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.17s/ba] + #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.01s/ba] + #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.07ba/s] + #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.03ba/s] + #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.00s/ba] + #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.03s/ba] +https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a +3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 +a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e +9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 +E0102 13:46:41.095923 56001 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! +E0102 13:46:41.096767 56001 process_state.cc:1103] RAW: Raising 11 signal with default behavior +https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a +3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 +a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e +9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 +E0102 13:46:41.097659 56000 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! +E0102 13:46:41.097727 56000 process_state.cc:1103] RAW: Raising 11 signal with default behavior + #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] + #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] + #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00, 1.23s/ba] + #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] + #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] + #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:10<00:00, 1.23s/ba] + #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:11<00:00, 1.23s/ba] + #30: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #18: 100%|████████████████��█████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] + #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #89: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:12<00:00, 1.24s/ba] + #16: 100%|██████████████████████████████████���███████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #74: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████���██| 204/204 [04:14<00:00, 1.25s/ba] + #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:13<00:00, 1.24s/ba] + #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #82: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:14<00:00, 1.25s/ba] + #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] + #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:15<00:00, 1.25s/ba] + #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] + #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #78: 100%|█���████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] + #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:16<00:00, 1.26s/ba] + #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] + #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] + #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] + #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:21<00:00, 1.28s/ba] + #26: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] + #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] + #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:18<00:00, 1.27s/ba] + #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:17<00:00, 1.26s/ba] + #36: 100%|██████████████████████████████████████████████████████████████████████████���███████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] + #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:20<00:00, 1.28s/ba] + #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 204/204 [04:19<00:00, 1.27s/ba] +https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a +3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 +a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e +9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 +E0102 13:51:18.395334 56123 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! +E0102 13:51:18.395427 56123 process_state.cc:1103] RAW: Raising 11 signal with default behavior + #0: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.50ba/s] + #1: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.86ba/s] + #2: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.86ba/s] + #29: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.35ba/s] + #4: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.73ba/s] + #15: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.87ba/s] + #12: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s] + #10: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.76ba/s] + #3: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.65ba/s] + #6: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.67ba/s] + #19: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.81ba/s] + #7: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.62ba/s] + #8: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] + #5: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.59ba/s] + #17: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.75ba/s] + #13: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.68ba/s] + #48: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.94ba/s] + #21: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.82ba/s] + #20: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.77ba/s] + #9: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s] + #23: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.69ba/s] + #49: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.75ba/s] + #30: 100%|█████████████████████���████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.77ba/s] + #16: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s] + #51: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.85ba/s] + #31: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.75ba/s] + #22: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] + #18: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.57ba/s] + #11: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.46ba/s] + #25: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] + #34: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.73ba/s] + #33: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.71ba/s] + #53: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.82ba/s] + #27: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.61ba/s] + #14: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.45ba/s] + #26: 100%|███████████████████████████████████████████████████████████��██████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.57ba/s] + #24: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s] + #32: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] + #52: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.51ba/s] + #28: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s] + #54: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.66ba/s] + #39: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.74ba/s] + #41: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s] + #40: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.72ba/s] + #47: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.91ba/s] + #36: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.58ba/s] + #37: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.56ba/s] + #50: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s] + #35: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.51ba/s] + #45: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.74ba/s] + #42: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.63ba/s] + #38: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.53ba/s] + #46: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.72ba/s] + #63: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.74ba/s] + #43: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.60ba/s] + #65: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.80ba/s] + #44: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.60ba/s] + #67: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.74ba/s] + #68: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.67ba/s] + #56: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.04ba/s] + #75: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.77ba/s] + #58: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.04ba/s] + #57: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.96ba/s] + #61: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.07ba/s] + #60: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s] + #66: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.27ba/s] + #55: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.79ba/s] + #59: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.89ba/s] + #64: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.03ba/s] + #62: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.95ba/s] + #69: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.17ba/s] + #70: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.16ba/s] + #83: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.70ba/s] + #71: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.18ba/s] + #77: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.35ba/s] + #82: 100%|██████████████████████████████████████████████���███████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.56ba/s] + #74: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.20ba/s] + #86: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.77ba/s] + #72: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s] + #88: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.82ba/s] + #73: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s] + #76: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.08ba/s] + #93: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.07ba/s] + #94: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.05ba/s] + #79: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.06ba/s] + #85: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.38ba/s] + #95: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 3.11ba/s] + #87: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.42ba/s] + #89: 100%|████████████████████████████████████████████████████████████████████████████████████��█████████████████████████████| 2/2 [00:00<00:00, 2.61ba/s] + #90: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.66ba/s] + #80: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.02ba/s] + #84: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.20ba/s] + #81: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.98ba/s] + #92: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.62ba/s] + #78: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:01<00:00, 1.89ba/s] + #91: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:00<00:00, 2.24ba/s] +https://symbolize.stripped_domain/r/?trace=7fba8e9a4410,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a +3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9 +a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e9a3d9d,7fba8e93b8a0,7fbb3af633bf,7fba8e +9a3d9d&map=921e3427503a047331cf19475748bda2:7fba80899000-7fba8ec9ec30 +E0102 13:51:27.875289 56422 process_state.cc:1069] RAW: Signal 11 raised at PC: 0x7fba8e9a4410 while already in FailureSignalHandler! +E0102 13:51:27.877104 56422 process_state.cc:1103] RAW: Raising 11 signal with default behavior +WARNING:__main__:Unable to display metrics through TensorBoard because some package are not installed: No module named 'tensorflow' +INFO:__main__:***** Running training ***** +INFO:__main__: Num examples = 26035798 +INFO:__main__: Num Epochs = 20 +INFO:__main__: Instantaneous batch size per device = 64 +INFO:__main__: Total train batch size (w. parallel & distributed) = 512 +INFO:__main__: Total optimization steps = 1017020 +Epoch ... : 0%| | 0/20 [01:32 + main() + File "./run_clm_flax.py", line 681, in main + state, train_metric = p_train_step(state, batch) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/traceback_util.py", line 162, in reraise_with_filtered_traceback + return fun(*args, **kwargs) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 2058, in cache_miss + out_tree, out_flat = f_pmapped_(*args, **kwargs) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/api.py", line 1934, in f_pmapped + out = pxla.xla_pmap( + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1727, in bind + return call_bind(self, fun, *args, **params) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1652, in call_bind + outs = primitive.process(top_trace, fun, tracers, params) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 1730, in process + return trace.process_map(self, fun, tracers, params) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/core.py", line 633, in process_call + return primitive.impl(f, *tracers, **params) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 766, in xla_pmap_impl + compiled_fun, fingerprint = parallel_callable( + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/linear_util.py", line 263, in memoized_fun + ans = call(fun, *args) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 797, in parallel_callable + pmap_executable = pmap_computation.compile() + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper + return func(*args, **kwargs) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1048, in compile + self._executable = PmapExecutable.from_hlo(self._hlo, *self.compile_args) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/interpreters/pxla.py", line 1171, in from_hlo + compiled = dispatch.compile_or_get_cached( + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 534, in compile_or_get_cached + return backend_compile(backend, computation, compile_options) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/profiler.py", line 206, in wrapper + return func(*args, **kwargs) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile + return backend.compile(built_c, compile_options=options) +jax._src.traceback_util.UnfilteredStackTrace: RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded +hbm capacity by 17.74G. + +Total hbm usage >= 33.74G: + reserved 530.00M + program 33.22G + arguments 0B + +Output size 0B; shares 0B with arguments. + +Program hbm requirement 33.22G: + global 196.0K + scoped 205.0K + HLO temp 33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M)) + + Largest program allocations in hbm: + + 1. Size: 3.07G + Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} + Unpadded size: 3.06G + Extra memory due to padding: 6.57M (1.0x expansion) + XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema +t_compressed) + Allocation type: HLO temp + ========================== + + 2. Size: 1.00G + Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n prec +ision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source +_line=89 + Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} + Unpadded size: 1.00G + XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1 +,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus... + Allocation type: HLO temp + ========================== + + 3. Size: 1.00G + Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2 +)))\n precision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/ +gpt2/modeling_flax_gpt2.py" source_line=275 + Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} + Unpadded size: 1.00G + XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64 +]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene... + Allocation type: HLO temp + ========================== + + 4. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342... + Allocation type: HLO temp + ========================== + + 5. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354... + Allocation type: HLO temp + ========================== + + 6. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366... + Allocation type: HLO temp + ========================== + + 7. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378... + Allocation type: HLO temp + ========================== + + 8. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390... + Allocation type: HLO temp + ========================== + + 9. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402... + Allocation type: HLO temp + ========================== + + 10. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414... + Allocation type: HLO temp + ========================== + + 11. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426... + Allocation type: HLO temp + ========================== + + 12. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438... + Allocation type: HLO temp + ========================== + + 13. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450... + Allocation type: HLO temp + ========================== + + 14. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462... + Allocation type: HLO temp + ========================== + + 15. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474... + Allocation type: HLO temp + ========================== + + 16. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486... + Allocation type: HLO temp + ========================== + + 17. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498... + Allocation type: HLO temp + ========================== + + 18. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510... + Allocation type: HLO temp + ========================== + + 19. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3 +2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k... + Allocation type: HLO temp + ========================== + + 20. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534... + Allocation type: HLO temp + ========================== + +The stack trace below excludes JAX-internal frames. +The preceding is the original exception that occurred, unmodified. + +-------------------- + +The above exception was the direct cause of the following exception: + +Traceback (most recent call last): + File "./run_clm_flax.py", line 766, in + main() + File "./run_clm_flax.py", line 681, in main + state, train_metric = p_train_step(state, batch) + File "/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/jax/_src/dispatch.py", line 514, in backend_compile + return backend.compile(built_c, compile_options=options) +RuntimeError: RESOURCE_EXHAUSTED: Ran out of memory in memory space hbm. Used 33.22G of 15.48G hbm. Exceeded hbm capacity by 17.74G. + +Total hbm usage >= 33.74G: + reserved 530.00M + program 33.22G + arguments 0B + +Output size 0B; shares 0B with arguments. + +Program hbm requirement 33.22G: + global 196.0K + scoped 205.0K + HLO temp 33.22G (100.0% utilization: Unpadded (32.90G) Padded (32.91G), 1.0% fragmentation (323.29M)) + + Largest program allocations in hbm: + + 1. Size: 3.07G + Shape: bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} + Unpadded size: 3.06G + Extra memory due to padding: 6.57M (1.0x expansion) + XLA label: %fusion.10.remat_uncompressed.remat2 = bf16[64,511,50257]{1,2,0:T(8,128)(2,1)} copy(bf16[64,511,50257]{2,0,1:T(8,128)(2,1)} %fusion.10.rema +t_compressed) + Allocation type: HLO temp + ========================== + + 2. Size: 1.00G + Operator: op_type="dot_general" op_name="pmap(train_step)/jit(jvp(_einsum))/dot_general[\n dimension_numbers=(((3,), (3,)), ((0, 2), (0, 2)))\n prec +ision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/flax/linen/attention.py" source +_line=89 + Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} + Unpadded size: 1.00G + XLA label: %fusion.40.remat5 = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.17, bf16[64,512,16,64]{1 +,3,2,0:T(8,128)(2,1)} %bitcast.18, f32[64,512,512]{1,2,0:T(8,128)} %get-tuple-element.5480), kind=kOutput, calls=%fus... + Allocation type: HLO temp + ========================== + + 3. Size: 1.00G + Operator: op_type="dot_general" op_name="pmap(train_step)/jit(transpose(jvp(_einsum)))/dot_general[\n dimension_numbers=(((2,), (3,)), ((0, 1), (0, 2 +)))\n precision=None\n preferred_element_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/ +gpt2/modeling_flax_gpt2.py" source_line=275 + Shape: f32[64,16,512,512]{2,3,1,0:T(8,128)} + Unpadded size: 1.00G + XLA label: %fusion.7601.remat = f32[64,16,512,512]{2,3,1,0:T(8,128)} fusion(bf16[64,512,16,64]{1,3,2,0:T(8,128)(2,1)} %bitcast.2049, bf16[64,512,16,64 +]{1,3,2,0:T(8,128)(2,1)} %bitcast.16), kind=kOutput, calls=%fused_computation.5202.clone, metadata={op_type="dot_gene... + Allocation type: HLO temp + ========================== + + 4. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7169 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.592.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5486, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3342... + Allocation type: HLO temp + ========================== + + 5. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7170 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.583.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5301, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3354... + Allocation type: HLO temp + ========================== + + 6. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7171 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.582.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5286, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3366... + Allocation type: HLO temp + ========================== + + 7. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7172 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.581.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5271, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3378... + Allocation type: HLO temp + ========================== + + 8. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7173 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.580.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5256, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3390... + Allocation type: HLO temp + ========================== + + 9. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7174 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.579.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5241, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3402... + Allocation type: HLO temp + ========================== + + 10. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7175 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.578.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5226, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3414... + Allocation type: HLO temp + ========================== + + 11. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7176 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.577.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5211, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3426... + Allocation type: HLO temp + ========================== + + 12. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7177 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.576.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5196, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3438... + Allocation type: HLO temp + ========================== + + 13. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7178 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.575.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5181, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3450... + Allocation type: HLO temp + ========================== + + 14. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7179 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.574.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5166, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3462... + Allocation type: HLO temp + ========================== + + 15. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7180 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.591.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5463, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3474... + Allocation type: HLO temp + ========================== + + 16. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7181 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.573.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5151, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3486... + Allocation type: HLO temp + ========================== + + 17. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7182 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.572.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5136, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3498... + Allocation type: HLO temp + ========================== + + 18. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7183 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.571.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5121, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3510... + Allocation type: HLO temp + ========================== + + 19. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7184 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.570.remat, f3 +2[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.2077, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3522), kind=k... + Allocation type: HLO temp + ========================== + + 20. Size: 256.00M + Operator: op_type="dot_general" op_name="pmap(train_step)/dot_general[\n dimension_numbers=(((2,), (1,)), ((), ()))\n precision=None\n preferred_el +ement_type=None\n]" source_file="/home/lethanh/miniconda3/envs/tpuenv/lib/python3.8/site-packages/transformers/models/gpt2/modeling_flax_gpt2.py" source_li +ne=122 + Shape: bf16[64,512,4096]{2,1,0:T(8,128)(2,1)} + Unpadded size: 256.00M + XLA label: %fusion.7185 = (f32[4096]{0:T(1024)}, bf16[64,512,4096]{2,1,0:T(8,128)(2,1)}) fusion(f32[64,512,4096]{2,1,0:T(8,128)} %fusion.590.remat2.1. +remat, f32[64,512,1024]{2,1,0:T(8,128)} %get-tuple-element.5440, f32[1024,4096]{1,0:T(8,128)} %get-tuple-element.3534... + Allocation type: HLO temp + ========================== + + +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ ^C +(tpuenv) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ script log.txt +Script started, file is log.txt +(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ vim log.txt +(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ qqqqqqq^C +(base) lethanh@t1v-n-fc928125-w-0:~/workspace/vigpt2medium$ + + + + + + + + + + + + + +