Prefetch下载

SRR8956146
SRR8956147
SRR8956148
SRR8956149
SRR8956150
SRR8956151

prefetch --option-file GSM3258244.SRR_Acc_List.txt

cut 切割metadata文件获取下载地址、

cut    -d$'\t'    -f48    E-MTAB-7159.sdrf.txt
-d给出分隔符为制表符，-f指定第多少列是需要的 -f1-3就是第一到三列

ascp下载

$ wget https://download.asperasoft.com/download/sw/connect/3.9.1/ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
$ tar zxvf ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.tar.gz
$ bash ibm-aspera-connect-3.9.1.171801-linux-g2.12-64.sh

Installing IBM Aspera Connect
Install complete.
#加入环境路径
$ echo 'export PATH=$PATH:~/.aspera/connect/bin' >> ~/.bash_profile
$ source ~/.bash_profile

wget使用

（转载自https://zhuanlan.zhihu.com/p/343117380《后台下载、断点续传？wget命令指南》）
1. 基础：下载整个http或者ftp站点文件

wget http://place.your.url/here

这个最简单的命令可以将http://place.your.url/here 首页下载下来。
注：
使用 -x 会强制建立服务器上一模一样的目录
使用 -nd 参数，那么服务器上下载的所有内容都会加到本地当前目录。

1.1 递归下载目录里的多个文件

wget -r http://place.your.url/here

这个命令会按照递归的方法，下载服务器上所有的目录和文件，实质就是下载整个网站。
这个命令一定要小心使用，因为在下载的时候，被下载网站指向的所有地址 同样会被下载，因此，如果这个网站引用了其他网站，那么被引用的网站也会被下载下来！
基于这个原因，这个参数不常用。可以用 -l number 参数来指定下载的层次。
例如只下载两层，那么可以使用 -l 2。
制作镜像站点，那么可以使用 －m 参数，例如：

wget -m http://place.your.url/here

这时 wget 会自动判断合适的参数来制作镜像站点。此时，wget 会登录到服务器上，读入 robots.txt 并按robots.txt 的规定来执行。

2. 断点续传
当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。
wget的断点续传是自动的，只需要使用-c参数，例如：

wget -c http://the.url.of/incomplete/file

使用断点续传要求服务器支持断点续传。

-t 参数表示重试次数，例如需要重试100次，那么就写 -t 100，如果设成 -t 0，那么表示无穷次重试，直到连接成功。
-T 参数表示超时等待时间，例如 -T 120，表示等待120秒连接不上就算超时。

3. 批量下载多个地址
如果有多个文件需要下载，那么可以生成一个文件，把每个文件的URL写一行。
例如生成文件 download.txt，然后用命令：

wget -i download.txt

这样就会把 download.txt 里面列出的每个URL都下载下来。（如果列的是文件就下载文件，如果列的是网站，那么下载首页）

4. 选择性的下载
可以指定让wget只下载一类文件，或者不下载什么文件。例如：

wget -m –reject=gif http://target.web.site/subdirectory

表示下载 http://target.web.site/subdirectory，但是忽略gif文件。
–accept=LIST 可以接受的文件类型，
–reject=LIST 拒绝接受的文件类型。

7. 后台下载
加入参数 -b， 让wget在后台运行，记录文件写在当前目录下“wget-log”文件中；

此时，最好也加上限制等待时间的 -T，和限制重试次数的 -t 参数，具体可以参照断点续传的部分。

axel下载

基本用法

axel -n 50 ftp://ftp.ncbi.nlm.nih.gov/blast/db/FASTA/swissprot.gz

多线程下载脚本

#!/usr/bin/sh
# filename:axel_batch.sh
if [ $# -ne 2 ];then
echo "USAGE: $0 download.list save_pathname"
else
cat $1 | xargs -L1 axel -n 10 -a -o $2
fi

#xargs参数说明：
# -L num 每次最多使用num个非空输入行,-L1表示每次只处理一行
# 参考 https://blog.csdn.net/richardfjf/article/details/106983961

#软件选项参数：
--max-speed=x , -s x         最高速度x
--num-connections=x , -n x   连接数x
--output=f , -o f            下载为本地文件f
--search[=x] , -S [x]        搜索镜像
--header=x , -H x            添加头文件字符串x（指定 HTTP header）
--user-agent=x , -U x        设置用户代理（指定 HTTP user agent）
--no-proxy ， -N             不使用代理服务器
--quiet ， -q                静默模式
--verbose ，-v               更多状态信息
--alternate ， -a            Alternate progress indicator
--help ，-h                  帮助
--version ，-V               版本信息

Aria2

To be updated

https://zhuanlan.zhihu.com/p/37021947