关于CapRL-Qwen3VL-4B训练的超参数

[AZYoung233]

CapRL是很棒的工作，最近尝试复现CapRL-Qwen3VL-4B的训练，但是我看脚本里面指提供了qwen2.5-vl的超参数，请问可以提供一份Qwen3VL-4B的超参数吗？

[yph22]

hello~ 我们把Qwen3VL的CapRL训练（image/video）统一整合到verl框架了，下面是一个可以参考的超参配置（其中部分参数如loss_agg_mode、adv_estimator等可能对训练影响不大，其他参数如rollout.log_prob_max_token_len_per_gpu等可以根据你的GPU调整~）

python -m verl.trainer.main_ppo \
    --config-path=../verl/recipe/video_captionrl \
    --config-name=ppo_grpo_qwen3vl \
    data.train_files=${DATASET} \
    data.val_files=${DATASET} \
    data.caption_log_dir=None \
    data.train_batch_size=1024 \
    data.gen_batch_size=128 \
    data.max_prompt_length=4096 \
    data.max_response_length=4096 \
    data.filter_overlong_prompts=False \
    data.input_type=image \
    data.prompt_key=prompt \
    actor_rollout_ref.model.path=${CAPTION_MODEL} \
    algorithm.adv_estimator=rloo \
    algorithm.rollout_correction.bypass_mode=true \
    actor_rollout_ref.rollout.calculate_log_probs=true \
    actor_rollout_ref.actor.optim.lr=1e-5 \
    actor_rollout_ref.actor.optim.lr_scheduler_type=constant \
    actor_rollout_ref.actor.optim.min_lr_ratio=0.1 \
    actor_rollout_ref.actor.optim.lr_warmup_steps=20 \
    actor_rollout_ref.actor.strategy=fsdp2 \
    actor_rollout_ref.actor.fsdp_config.forward_prefetch=True \
    actor_rollout_ref.actor.use_kl_loss=false \
    actor_rollout_ref.actor.use_dynamic_bsz=true \
    actor_rollout_ref.actor.use_remove_padding=true \
    actor_rollout_ref.actor.loss_agg_mode=seq-mean-token-mean \
    actor_rollout_ref.actor.ppo_mini_batch_size=128 \
    actor_rollout_ref.actor.ppo_max_token_len_per_gpu=65536 \
    actor_rollout_ref.rollout.name=vllm \
    actor_rollout_ref.rollout.mode=async \
    actor_rollout_ref.rollout.n=8 \
    actor_rollout_ref.rollout.prompt_length=4096 \
    actor_rollout_ref.rollout.response_length=4096 \
    actor_rollout_ref.rollout.max_model_len=8292 \
    actor_rollout_ref.rollout.gpu_memory_utilization=0.85 \
    actor_rollout_ref.rollout.log_prob_max_token_len_per_gpu=65536 \
    actor_rollout_ref.ref.log_prob_max_token_len_per_gpu=65536 \
    actor_rollout_ref.actor.fsdp_config.model_dtype=bf16 \
    actor_rollout_ref.actor.fsdp_config.forward_prefetch=true \
    actor_rollout_ref.actor.checkpoint.save_contents=${CHECKPOINT_CONTENTS} \
    trainer.save_freq=50 \
    trainer.max_actor_ckpt_to_keep=10 \
    trainer.max_ckpt_to_keep=10 \
    trainer.total_epochs=3 \
    trainer.default_local_dir=${SAVE_DIR} \
    trainer.logger="['console','wandb']" \
    trainer.project_name=${WANDB_PROJECT} \
    trainer.experiment_name=${RUN_NAME}

[AZYoung233]

非常感谢你如此之快的回复！另外想问下就是CapRL-Qwen3VL-4B的训练是否有加上长度奖励呢？因为我看长度奖励在verl的框架里面是有引入的，但是Cap-RL1.0的论文中并没有加入这个奖励

[yph22]

非常感谢你如此之快的回复！另外想问下就是CapRL-Qwen3VL-4B的训练是否有加上长度奖励呢？因为我看长度奖励在verl的框架里面是有引入的，但是Cap-RL1.0的论文中并没有加入这个奖励

CapRL-Qwen3VL-4B应该是沿用的1.0的老版本，没有加length reward。不过实验中观察到的现象是Qwen3VL在Image和Video CapRL中response length都表现出很明显的上涨趋势，为了减少verbosity，添加length reward也是推荐的。