github에서 주소 clone 시키기

https://github.com/monologg/KoBigBird.git

• 박장원.. 그 사람 도덕책..
• 여기 주소를 vs코드 터미널 창에 콜론시키면 깃허브를 그대로 가져올 수 있음

Download TensorFlow v1 checkpoint

KoBigBird/download_tfv1_ckpt.md at master · monologg/KoBigBird

• 이거 없는줄 희원이랑 고생을 좀 많이 했지만 찾아서 다행!
• 이게 kobigbird를 사전학습 시킨 checkpoint임
• 여기에다 추가로 우리만의 코퍼스를 추가 사전학습 시킬수 있음
• 만약 이게 없다면 model.bin 파일을 변환하는 작업을 거쳐야했는데 아직 그 방법은 찾지 못함..

[리눅스] 리눅스 tar, gz 압축 및 해제

• tar -zcvf [파일명.tar.gz]

create_pretraining_data.py

• bash로도 가능하지만 날 아직 초보니 그냥 해당 파일을 실행..

def main():
    tf.compat.v1.logging.set_verbosity(tf.compat.v1.logging.INFO)

    parser = argparse.ArgumentParser(description=__doc__)
    parser.add_argument("--input_dir", default='./data', help="Location of text or ko_lm_dataformat files.")
    parser.add_argument("--tokenizer_dir", default='./init_checkpoint/tokenizer', help="Location of tokenizer directory.")
    parser.add_argument("--output_dir", default='./output', help="Where to write out the tfrecords.")
    parser.add_argument("--max_seq_length", default=4096, type=int, help="Number of tokens per example.")
    parser.add_argument(
        "--max_predictions_per_seq",
        default=80,
        type=int,
        help="Maximum number of masked LM predictions per sequence.",
    )

• 그럼 parser들의 값들을 바꿔줘야함