Skip to content

Commit 72ac09c

Browse files
YongxinLiuYongxinLiu
committed
1.18(2023.4)
1 parent a973805 commit 72ac09c

65 files changed

Lines changed: 95 additions & 991586 deletions

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

‎0Install.sh‎

Lines changed: 58 additions & 42 deletions
Original file line numberDiff line numberDiff line change
@@ -23,7 +23,7 @@
2323
# PATH=${soft}/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:${db}/EasyMicrobiome/linux:${db}/EasyMicrobiome/script
2424
echo $PATH
2525

26-
### EasyMetagenome流程
26+
### EasyMetagenome流程(正对照)
2727

2828
EasyMetagenome流程，包括流程安装、使用和可视化脚本，以及测试流程数据和结果正对照，网址：https://github.com/YongxinLiu/EasyMetagenome
2929

@@ -32,14 +32,15 @@ EasyMetagenome流程，包括流程安装、使用和可视化脚本，以及测
3232
# 可选旧版更新
3333
cd EasyMetagenome && git pull && cd ../
3434

35-
# 方法2. 网页中下载
36-
# https://github.com/YongxinLiu/EasyMetagenome 中Code Download ZIP下载压缩包，上传至服务器，并解压
35+
# 方法2. 网页 https://github.com/YongxinLiu/EasyMetagenome 中Code Download ZIP下载压缩包，上传至服务器，解压
36+
unzip EasyMetagenome-master.zip
37+
mv EasyMetagenome-master EasyMetagenome
3738

3839
# 方法3. 备用链接下载，无法访问github时使用
39-
wget -c http://www.imeta.science/db/EasyMetagenome.tar.gz
40+
wget -c ftp://download.nmdc.cn/tools/soft/EasyMicrobiome.tar.gz
4041
tar -xvzf EasyMetagenome.tar.gz
4142

42-
### EasyMetagenome依赖软件和数据库(EasyMicrobiome)
43+
### EasyMicrobiome软件和数据库(EasyMetagenome依赖)
4344

4445
EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件和数据库的合集，网址：https://github.com/YongxinLiu/EasyMicrobiome
4546

@@ -52,21 +53,24 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
5253

5354
# 方法2. 网页中下载
5455
# https://github.com/YongxinLiu/EasyMicrobiome 中Code Download ZIP下载压缩包，上传至服务器，并解压
55-
56+
unzip EasyMicrobiome-master.zip
57+
mv EasyMicrobiome-master EasyMicrobiome
58+
5659
# 方法3. 备用链接下载，无法访问github时使用
57-
wget -c http://www.imeta.science/db/EasyMicrobiome.tar.gz
60+
wget -c ftp://download.nmdc.cn/tools//EasyMicrobiome.tar.gz
5861
tar -xvzf EasyMicrobiome.tar.gz
5962

6063
# 添加linux命令可执行权限
61-
chmod +x ${db}/EasyMicrobiome/linux/* ${db}/EasyMicrobiome/script/*
64+
chmod +x `pwd`/EasyMicrobiome/linux/* `pwd`/EasyMicrobiome/script/*
6265

6366
# 添加环境变量
64-
echo "export PATH=\"\$PATH:${db}/EasyMicrobiome/linux:${db}/EasyMicrobiome/script\"" >> ~/.bashrc
67+
echo "export PATH=\"\$PATH:`pwd`/EasyMicrobiome/linux:`pwd`/EasyMicrobiome/script\"" >> ~/.bashrc
6568
source ~/.bashrc
66-
69+
echo $PATH
70+
6771
### 软件管理器Conda
6872

69-
# 下载最新版miniconda3，~49M
73+
# 下载最新版miniconda3，71M
7074
wget -c https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
7175
# 安装，-b批量，-f无提示，-p目录，许可协议打yes
7276
bash Miniconda3-latest-Linux-x86_64.sh -b -f -p ${soft}
@@ -81,8 +85,8 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
8185
conda config --add channels conda-forge # Highest priority
8286

8387
# conda默认配置文件为 ~/.condarc 查看配置文件位置
84-
mamba install pandas -c conda-forge -y
8588
conda install mamba -c conda-forge -y
89+
mamba install pandas -c conda-forge -y
8690
mamba install conda-pack -c conda-forge -y
8791
conda config --set channel_priority strict
8892
conda config --show-sources
@@ -97,6 +101,8 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
97101

98102
**注：直接安装、下载解压安装，二选一。一种方法不成功，尝试另一种。**
99103

104+
BioConda: https://bioconda.github.io/recipes/kneaddata/README.html
105+
100106
### kneaddata直接安装
101107

102108
# 新建 kneaddata 环境
@@ -108,13 +114,15 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
108114

109115
### (可选)kneaddata下载解压安装
110116

111-
# 下载
112-
wget -c http://www.imeta.science/db/conda/kneaddata.tar.gz
117+
# 指定conda文件名
118+
s=kneaddata
119+
# 下载，可选NMDC、百度云等
120+
# wget -c ftp://download.nmdc.cn/tools//conda/${s}.tar.gz
113121
# 指定安装目录
114-
mkdir -p ${soft}/envs/kneaddata
115-
tar -xvzf kneaddata.tar.gz -C ${soft}/envs/kneaddata
122+
mkdir -p ${soft}/envs/${s}
123+
tar -xvzf ${s}.tar.gz -C ${soft}/envs/${s}
116124
# 启动环境
117-
conda activate kneaddata
125+
conda activate ${s}
118126
# 初始化环境
119127
conda unpack
120128

@@ -169,7 +177,7 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
169177
### HUMAnN2解包安装
170178

171179
# 下载
172-
wget -c http://www.imeta.science/db/conda/humann2.tar.gz
180+
wget -c ftp://download.nmdc.cn/tools//conda/humann2.tar.gz
173181
# 指定安装目录
174182
mkdir -p ${soft}/envs/humann2
175183
tar -xvzf humann2.tar.gz -C ${soft}/envs/humann2
@@ -232,7 +240,7 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
232240

233241
## metaphlan2数据库下载和配置
234242
mkdir -p ${db}/humann2 && cd ${db}/humann2
235-
wget -c http://www.imeta.science/db/humann2/metaphlan2.tar.gz
243+
wget -c ftp://download.nmdc.cn/tools//humann2/metaphlan2.tar.gz
236244
tar xvzf metaphlan2.tar.gz
237245
# 链接到软件安装目录
238246
mkdir -p ${soft}/envs/humann2/bin/databases
@@ -246,7 +254,7 @@ EasyMetagenome依赖流程EasyMicrobiome，包括很多脚本、常用小软件
246254

247255
n=lefse
248256
# 下载
249-
wget -c http://www.imeta.science/db/conda/${n}.tar.gz
257+
wget -c ftp://download.nmdc.cn/tools//conda/${n}.tar.gz
250258
# 指定安装目录
251259
mkdir -p ${soft}/envs/${n}
252260
tar -xvzf ${n}.tar.gz -C ${soft}/envs/${n}
@@ -274,7 +282,7 @@ kraken2 基于LCA算法的物种注释 https://ccb.jhu.edu/software/kraken/
274282
### Kraken2解包安装
275283

276284
# 下载
277-
wget -c http://www.imeta.science/db/conda/kraken2.tar.gz
285+
wget -c ftp://download.nmdc.cn/tools//conda/kraken2.tar.gz
278286
# 指定安装目录
279287
mkdir -p ${soft}/envs/kraken2
280288
tar -xvzf kraken2.tar.gz -C ${soft}/envs/kraken2
@@ -291,17 +299,25 @@ kraken2 基于LCA算法的物种注释 https://ccb.jhu.edu/software/kraken/
291299

292300
### Kraken2数据库安装
293301

294-
下载数据库(NCBI每2周更新一次)，记录下载日期和大小。需根据服务器内存、使用目的选择合适方案。--standard标准模式下只下载5种数据库：古菌archaea、细菌bacteria、人类human、载体UniVec_Core、病毒viral。也可选直接下载作者构建的索引，还包括bracken的索引。链接：https://benlangmead.github.io/aws-indexes/k2 （3/14/2023版）。
302+
下载数据库(NCBI每2周更新一次)，记录下载日期和大小。需根据服务器内存、使用目的选择合适方案。--standard标准模式下只下载5种**标准数据库：古菌archaea、细菌bacteria、人类human、载体UniVec_Core、病毒viral**。也可选直接下载作者构建的索引，还包括bracken的索引。链接：https://benlangmead.github.io/aws-indexes/k2 （3/14/2023版）。
295303

296-
方案1. 下载标准+原生动物+真菌+植物 8GB (PlusPFP-8)
304+
方案1. 下载标准+原生动物+真菌 16GB (PlusPF-16)
297305

298-
v=k2_pluspfp_08gb_20230314
299-
mkdir -p ~/db/kraken2/pluspfp8g
306+
v=k2_pluspf_16gb_20230314
307+
mkdir -p ~/db/kraken2/pluspf16g
300308
cd ~/db/kraken2
301309
wget -c https://genome-idx.s3.amazonaws.com/kraken/${v}.tar.gz
302-
tar xvzf ~/db/kraken2/${v}.tar.gz -C ~/db/kraken2/pluspfp8g
310+
tar xvzf ~/db/kraken2/${v}.tar.gz -C ~/db/kraken2/pluspf16g
311+
312+
方案2. 下载标准+原生动物+真菌 69GB (PlusPF)
303313

304-
方案2. 下载标准+原生动物+真菌+植物完整库 107G
314+
v=k2_pluspf_20230314
315+
mkdir -p ~/db/kraken2/pluspf16g
316+
cd ~/db/kraken2
317+
wget -c https://genome-idx.s3.amazonaws.com/kraken/${v}.tar.gz
318+
tar xvzf ~/db/kraken2/${v}.tar.gz -C ~/db/kraken2/pluspf
319+
320+
方案3. 下载标准+原生动物+真菌+植物完整库 144G (PlusPFP)
305321

306322
指定解压目录，包括时间和类型
307323

@@ -319,7 +335,7 @@ kraken2 基于LCA算法的物种注释 https://ccb.jhu.edu/software/kraken/
319335
### megahit解包安装
320336

321337
# 下载
322-
wget -c http://www.imeta.science/db/conda/megahit.tar.gz
338+
wget -c ftp://download.nmdc.cn/tools//conda/megahit.tar.gz
323339
# 指定安装目录
324340
mkdir -p ${soft}/envs/megahit
325341
tar -xvzf megahit.tar.gz -C ${soft}/envs/megahit
@@ -349,7 +365,7 @@ eggNOG http://eggnogdb.embl.de
349365
### eggNOG解包安装
350366

351367
# 下载
352-
wget -c http://www.imeta.science/db/conda/eggnog.tar.gz
368+
wget -c ftp://download.nmdc.cn/tools//conda/eggnog.tar.gz
353369
# 指定安装目录
354370
mkdir -p ${soft}/envs/eggnog
355371
tar -xvzf eggnog.tar.gz -C ${soft}/envs/eggnog
@@ -380,7 +396,7 @@ eggNOG http://eggnogdb.embl.de
380396
download_eggnog_data.py -y -f --data_dir ${db}/eggnog
381397
# 百度或微生物所备用链接下载eggnog/eggnog.tar.gz
382398
# 链接至默认目录
383-
ln -s ${db}/eggnog ${soft}/envs/eggnog/lib/python3.9/site-packages/data
399+
ln -sf ${db}/eggnog ${soft}/envs/eggnog/lib/python3.9/site-packages/data
384400
# 复制数据至内存中加速比对
385401
# cp eggnog.* /dev/shm
386402

@@ -390,12 +406,12 @@ dbCAN3 http://bcb.unl.edu/dbCAN2
390406

391407
d=08062022
392408
# 创建数据库存放目录并进入
393-
mkdir -p ${db}/dbcan3 && cd ${db}/dbcan3
409+
mkdir -p ${db}/dbcan2 && cd ${db}/dbcan2
394410
# 下载序列和描述(biocloud 10M)
395411
wget -c https://bcb.unl.edu/dbCAN2/download/Databases/V11/CAZyDB.${d}.fa
396412
wget -c https://bcb.unl.edu/dbCAN2/download/Databases/V11/CAZyDB.${d}.fam-activities.txt
397413
# 备用数据库下载并解压
398-
# wget -c http://www.imeta.science/db/dbcan2/CAZyDB.${d}.tar.gz
414+
# wget -c ftp://download.nmdc.cn/tools/meta/dbcan2/CAZyDB.${d}.tar.gz
399415
# tar xvzf CAZyDB.${d}.tar.gz
400416

401417
# 提取基因家簇对应注释
@@ -414,7 +430,7 @@ RGI Github: https://github.com/arpcard/rgi
414430
### rgi解包安装
415431

416432
# 下载
417-
wget -c http://www.imeta.science/db/conda/rgi.tar.gz
433+
wget -c ftp://download.nmdc.cn/tools//conda/rgi.tar.gz
418434
# 指定安装目录
419435
mkdir -p ${soft}/envs/rgi
420436
tar -xvzf rgi.tar.gz -C ${soft}/envs/rgi
@@ -456,7 +472,7 @@ RGI Github: https://github.com/arpcard/rgi
456472
### metawrap下载安装
457473

458474
# 下载
459-
wget -c http://www.imeta.science/db/conda/metawrap.tar.gz
475+
wget -c ftp://download.nmdc.cn/tools//conda/metawrap.tar.gz
460476
# 指定安装目录
461477
mkdir -p ${soft}/envs/metawrap
462478
tar -xvzf metawrap.tar.gz -C ${soft}/envs/metawrap
@@ -492,9 +508,9 @@ NCBI核酸和物种信息(以下可选)
492508
# 可能会出现个别库下载不完整的情况，删了重下，不要续传
493509
# 物种信息，压缩文件45M，解压后351M
494510

495-
mkdir -p ${db}/NCBI_tax
496-
(cd ${db}/NCBI_tax; wget -c ftp://ftp.ncbi.nlm.nih.gov/pub/taxonomy/taxdump.tar.gz)
497-
(cd ${db}/NCBI_tax; tar -xvzf taxdump.tar.gz)
511+
mkdir -p ${db}/NCBI/tax
512+
(cd ${db}/NCBI/tax; wget -c ftp://ftp.ncbi.nlm.nih.gov/pub/taxonomy/taxdump.tar.gz)
513+
(cd ${db}/NCBI/tax; tar -xvzf taxdump.tar.gz)
498514

499515

500516
## 数据库位置设置
@@ -512,7 +528,7 @@ NCBI核酸和物种信息(以下可选)
512528
# CONFIGURABLE PATHS FOR DATABASES (see 'Databases' section of metaWRAP README for details)
513529
# path to kraken standard database
514530
KRAKEN_DB=~/KRAKEN_DB
515-
KRAKEN2_DB=/db/kraken2/pluspfp/
531+
KRAKEN2_DB=~/db/kraken2/pluspf/
516532

517533
# path to indexed human (or other host) genome (see metaWRAP website for guide). This includes .bitmask and .srprism files
518534
BMTAGGER_DB=~/BMTAGGER_DB
@@ -530,7 +546,7 @@ Conda: https://bioconda.github.io/recipes/drep/README.html
530546
### drep 基因组去冗余解包安装
531547

532548
# 下载dRep v3.2.2无法安装依赖chechm，改用2.6.2
533-
wget -c http://www.imeta.science/db/conda/drep.tar.gz
549+
wget -c ftp://download.nmdc.cn/tools//conda/drep.tar.gz
534550
# 指定安装目录
535551
mkdir -p ${soft}/envs/drep
536552
tar -xvzf drep.tar.gz -C ${soft}/envs/drep
@@ -571,7 +587,7 @@ GTDB-Tk是一个软件工具包，用于根据基因组数据库分类法GTDB为
571587

572588
soft=~/miniconda3
573589
# 下载
574-
wget -c http://www.imeta.science/db/conda/gtdbtk.tar.gz
590+
wget -c ftp://download.nmdc.cn/tools//conda/gtdbtk.tar.gz
575591
# 指定安装目录
576592
mkdir -p ${soft}/envs/gtdbtk
577593
tar -xvzf gtdbtk.tar.gz -C ${soft}/envs/gtdbtk
@@ -610,7 +626,7 @@ download-db.sh自动下载数据库，将下载至conda中的envs/gtdbtk/share/g
610626
download-db.sh
611627

612628
# 备用链接和手工解压
613-
wget -c http://www.imeta.science/db/gtdb/gtdbtk_r207_v2_data.tar.gz
629+
wget -c ftp://download.nmdc.cn/tools//gtdb/gtdbtk_r207_v2_data.tar.gz
614630
tar xvzf auxillary_files/gtdbtk_r207_v2_data.tar.gz -C ./ --strip 1
615631

616632
# 常见问题
@@ -692,7 +708,7 @@ https://pan.baidu.com/s/1Ikd_47HHODOqC3Rcx6eJ6Q?pwd=0315
692708
删除当前文件并重新下载即可
693709

694710
rm kneaddata.tar.gz
695-
wget http://www.imeta.science/db/conda/kneaddata.tar.gz
711+
wget ftp://download.nmdc.cn/tools//conda/kneaddata.tar.gz
696712

697713
## Kraken2
698714

0 commit comments

Comments
 (0)