GATK ApplyBQSRSpark 过程中因No space left on device终止

原创已于 2023-08-29 16:00:32 修改 · 568 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#bug #生物信息 #linux

于 2023-08-07 10:18:39 首次发布

debug 专栏收录该内容

2 篇文章

订阅专栏

文章讲述了在使用GATKApplyBQSRSpark过程中遇到的‘NoSpaceLeftOnDevice’错误，原因是Spark计算时临时文件存储空间不足。解决方法是在命令中添加`--tmp-dir`参数指定临时文件夹。

Error：
GATK ApplyBQSRSpark 过程中因No space left on device终止
执行命令：

nohup time ./gatk --java-options "-Xmx128G" ApplyBQSRSpark 
--spark-master local[20] 
-R ../../alignment/hg38/hg38.fa  
-I ../../alignment/bam/P368T.sorted.markdup.bam 
--bqsr-recal-file ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
-O ../../alignment/bam/P368T.sorted.markdup.BQSR.bam 
> ../../alignment/log/P368T_BQSR_to_bam.log 2>&1 &

日志信息：

23/08/05 20:07:33 ERROR Executor: Exception in task 224.0 in stage 1.0 (TID 3066)
java.io.IOException: No space left on device

错误分析：
Spark计算时，默认会将中间结果、所用到的jar包临时存放到/tmp目录中，当挂载在/tmp目录的磁盘空间不足时，就会报错`No Space Left on the device

解决方法：
linux下编译出现tmp空间不足解决办法

在用户目录下mkdir建立一个tmp文件夹
在这里插入图片描述
在gatk的帮助文档中提到--tmp-dir 命令可以修改临时文件的存放目录
–tmp-dir Temp directory to use. Default value: null.
所以在命令中加上–tmp-dir /home/username/tmp

nohup time ./gatk --java-options "-Xmx200G" ApplyBQSRSpark 
--tmp-dir /home/chentao/tmp/ 
--spark-master local[20] 
-R ../../alignment/hg38/hg38.fa  
-I ../../alignment/bam/P368T.sorted.markdup.bam 
--bqsr-recal-file ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
-O ../../alignment/bam/P368T.sorted.markdup.BQSR.bam 
> ../../alignment/log/P368T_BQSR_to_bam.log 2>&1 &