代码拉取完成,页面将自动刷新
#! /bin/bash
export FLAGS_fraction_of_gpu_memory_to_use=0.95
export FLAGS_enable_parallel_graph=1
export FLAGS_sync_nccl_allreduce=1
export CUDA_VISIBLE_DEVICES=12
export CPU_NUM=1
ERNIE_PRETRAIN=./ernie_pretrain_model/
DATA_PATH=./senta_data
MODEL_SAVE_PATH=./save_models
# run_train
train() {
python -u run_ernie_classifier.py \
--use_cuda true \
--verbose true \
--do_train true \
--do_val true \
--do_infer false \
--use_paddle_hub false \
--batch_size 4 \
--init_checkpoint $ERNIE_PRETRAIN/params \
--train_set $DATA_PATH/train.tsv \
--dev_set $DATA_PATH/dev.tsv \
--test_set $DATA_PATH/test.tsv \
--vocab_path $ERNIE_PRETRAIN/vocab.txt \
--checkpoints $MODEL_SAVE_PATH \
--save_steps 5000 \
--validation_steps 5000 \
--epoch 2 \
--max_seq_len 256 \
--ernie_config_path $ERNIE_PRETRAIN/ernie_config.json \
--model_type "ernie_base" \
--lr 5e-5 \
--skip_steps 10 \
--num_labels 2 \
--random_seed 1
}
# run_eval
evaluate() {
python -u run_ernie_classifier.py \
--use_cuda true \
--verbose true \
--do_train false \
--do_val true \
--do_infer false \
--use_paddle_hub false \
--batch_size 4 \
--init_checkpoint ./save_models/step_4801/ \
--dev_set $DATA_PATH/dev.tsv \
--vocab_path $ERNIE_PRETRAIN/vocab.txt \
--max_seq_len 256 \
--ernie_config_path $ERNIE_PRETRAIN/ernie_config.json \
--model_type "ernie_base" \
--num_labels 2
python -u run_ernie_classifier.py \
--use_cuda true \
--verbose true \
--do_train false \
--do_val true \
--do_infer false \
--use_paddle_hub false \
--batch_size 4 \
--init_checkpoint ./save_models/step_4801/ \
--dev_set $DATA_PATH/test.tsv \
--vocab_path $ERNIE_PRETRAIN/vocab.txt \
--max_seq_len 256 \
--ernie_config_path $ERNIE_PRETRAIN/ernie_config.json \
--model_type "ernie_base" \
--num_labels 2
}
# run_infer
infer() {
python -u run_ernie_classifier.py \
--use_cuda true \
--verbose true \
--do_train false \
--do_val false \
--do_infer true \
--use_paddle_hub false \
--batch_size 4 \
--init_checkpoint ./save_models/step_4801 \
--test_set $DATA_PATH/test.tsv \
--vocab_path $ERNIE_PRETRAIN/vocab.txt \
--max_seq_len 256 \
--ernie_config_path $ERNIE_PRETRAIN/ernie_config.json \
--model_type "ernie_base" \
--num_labels 2
}
# run_save_inference_model
save_inference_model() {
python -u inference_model_ernie.py \
--use_cuda true \
--do_save_inference_model true \
--init_checkpoint ./save_models/step_4801/ \
--inference_model_dir ./inference_model \
--ernie_config_path $ERNIE_PRETRAIN/ernie_config.json \
--model_type "ernie_base" \
--vocab_path $ERNIE_PRETRAIN/vocab.txt \
--test_set ${DATA_PATH}/test.tsv \
--batch_size 4
}
main() {
local cmd=${1:-help}
case "${cmd}" in
train)
train "$@";
;;
eval)
evaluate "$@";
;;
infer)
infer "$@";
;;
save_inference_model)
save_inference_model "$@";
;;
help)
echo "Usage: ${BASH_SOURCE} {train|eval|infer|save_inference_model}";
return 0;
;;
*)
echo "Unsupport commend [${cmd}]";
echo "Usage: ${BASH_SOURCE} {train|eval|infer|save_inference_model}";
return 1;
;;
esac
}
main "$@"
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。