wget使用
Linuxwget命令下载文件
Linuxwget命令下载⽂件wget是系统中⽤来下载⽂件的⼯具,其功能还是⽐较多的,能够下载单个⽂件,也可以分段下载,下⾯⼩编将针对wget命令的⽤法给⼤家做个实例介绍。
实例1 :下载单个⽂件# wget http://mirror.nbrc.ac.in/CentOS/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso1该命令会下载CentOS 7 ISO⽂件到⽤户当前⼯作⽬录中。
实例2:续传分段下载⽂件 总有那么⼀些场景,当我们开始下载⼀个⼤⽂件时,中途互联⽹却断开了。
那样的话,我们可以使⽤wget命令的‘-c’选项,让下载从断点续传。
# wget -c http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso1实例3:后台下载⽂件 我们可以通过在wget命令中使⽤‘-b’选项来让它在后台下载⽂件。
wget -b http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso1实例4:限制下载速率默认情况下,wget命令尝试以全速下载,但是有时候你可能使⽤的是共享互联⽹,那么如果你尝试使⽤wget来下载庞⼤的⽂件时,就会把其它⽤户的⽹络拖慢。
这时,你如果使⽤‘-limit-rate’选项来限制下载速率,就可以避免这种情况的发⽣。
#wget --limit-rate=100k http://mirror.nbrc.ac.in/centos/7.0.1406/isos/x86_64/CentOS-7.0-1406-x86_64-DVD.iso1实例5:下载整个⽹站⽤于本地查看 # wget --mirror -p --convert-links -P./《Local-Folder》 website-url 鉴于 –mirror:开启适⽤于镜像的选项。
wget的全部用法
wget的全部用法
wget是一个在Linux中常用的命令行下载工具,它可以在命令行中下载网络上的文件。
以下是一些wget的常见用法:
下载整个网站:
css
wget -r URL
这个命令会递归下载服务器上所有的目录和文件,实质就是下载整个网站。
这个命令一定要小心使用,因为在下载的时候,被下载网站指向的所有地址同样会被下载,因此,如果这个网站引用了其他网站,那么被引用的网站也会被下载下来。
基于这个原因,这个参数不常用。
可以用-lnumber参数来指定下载的层次。
例如只下载两层,那么使用-l2。
2. 制作镜像站点:
css
wget -m URL
这个命令会自动判断合适的参数来制作镜像站点。
此时,wget会登录到服务器上,读入robots.txt并按robots.txt的规定来执行。
3. 批量下载:
可以把需要下载的链接放到一个文本中,然后加上-i参数下载文本中配置的所有链接对象:
vbnet
wget -i download-file-list.txt
重定向下载日志到指定文件:
css
wget -o download.log URL
这个命令会把下载日志重定向到指定的文件。
5. 当文件超过某个大小时,退出下载:
css
wget -Q5m -i FILE-WHICH-HAS-URLS
这个命令只适用于批量下载场景,如果只是下载一个文件,此设置不生效。
6. 下载时设置忽略某个文件类型:
css
wget --reject=gif URL
这个命令在下载时会忽略所有gif类型的文件。
wget url参数
wget url参数
wget是一个用于从网络下载文件的命令行工具,它支持多种参数和选项来控制下载过程。
以下是一些常用的wget参数:
•-U:指定User-Agent字符串,用于伪装成特定的浏览器进行下载。
•-O:指定输出文件的保存路径和名称,可以使用绝对路径或相对路径。
•-q:静默模式,不显示下载进度和错误信息。
•-r:递归下载,用于下载整个网站或目录。
•-p:下载所有资源,包括图像、样式表和脚本文件等。
•-k:转换链接,使下载后的文件能够正常浏览。
•-c:断点续传,如果下载中断,可以从上次断点继续下载。
•-P:指定下载目录的父目录。
•-np:不返回上一级目录,与递归下载一起使用时有效。
•-k:转换链接,使下载后的文件能够正常浏览。
•--limit-rate:限制下载速度。
•--continue:在断点续传模式下继续下载。
•--no-check-certificate:不检查SSL证书,用于下载HTTPS链接。
详解Linux中的wget命令
详解Linux中的wget命令wget命令⽤来从指定的URL下载⽂件。
wget⾮常稳定,它在带宽很窄的情况下和不稳定⽹络中有很强的适应性,如果是由于⽹络的原因下载失败,wget会不断的尝试,直到整个⽂件下载完毕。
如果是服务器打断下载过程,它会再次联到服务器上从停⽌的地⽅继续下载。
这对从那些限定了链接时间的服务器上下载⼤⽂件⾮常有⽤。
语法wget(选项)(参数)选项-a<⽇志⽂件>:在指定的⽇志⽂件中记录资料的执⾏过程;-A<后缀名>:指定要下载⽂件的后缀名,多个后缀名之间使⽤逗号进⾏分隔;-b:进⾏后台的⽅式运⾏wget;-B<连接地址>:设置参考的连接地址的基地地址;-c:继续执⾏上次终端的任务;-C<标志>:设置服务器数据块功能标志on为激活,off为关闭,默认值为on;-d:调试模式运⾏指令;-D<域名列表>:设置顺着的域名列表,域名之间⽤“,”分隔;-e<指令>:作为⽂件“.wgetrc”中的⼀部分执⾏指定的指令;-h:显⽰指令帮助信息;-i<⽂件>:从指定⽂件获取要下载的URL地址;-l<⽬录列表>:设置顺着的⽬录列表,多个⽬录⽤“,”分隔;-L:仅顺着关联的连接;-r:递归下载⽅式;-nc:⽂件存在时,下载⽂件不覆盖原有⽂件;-nv:下载时只显⽰更新和出错信息,不显⽰指令的详细执⾏过程;-q:不显⽰指令执⾏过程;-nh:不查询主机名称;-v:显⽰详细执⾏过程;-V:显⽰版本信息;--passive-ftp:使⽤被动模式PASV连接FTP服务器;--follow-ftp:从HTML⽂件中下载FTP连接⽂件。
参数URL:下载指定的URL地址。
实例使⽤wget下载单个⽂件wget /testfile.zip以下的例⼦是从⽹络下载⼀个⽂件并保存在当前⽬录,在下载的过程中会显⽰进度条,包含(下载完成百分⽐,已经下载的字节,当前下载速度,剩余下载时间)。
wget常用参数
--passive-ftp使用"passive"传输模式.
使用递回方式的取回:
-r, --recursive像是吸入web的取回--请小心使用!.
-l, --level=NUMBER递回层次的最大值(0不限制).
--delete-after删除下载完毕的档案.
目录:
-nd --no-directories不建立目录.
-x, --force-directories强制进行目录建立的工作.
-nH, --no-host-directories不建立主机的目录.
-P, --directory-prefix=PREFIX把档案存到PREFIX/...
--ignore-length忽略`Content-Length'标头栏位.
--proxy-user=USER设USER为Proxy使用者名称.
--proxy-passwd=PASS设PASS为Proxy密码.
-s, --save-headers储存HTTP标头成为档案.
wget常用参数如下
GNY Wget ,一个非交谈式的网路抓档工具.
用法: wget [选项]... [URL]...
命令的引数使用长项目与短项目相同.
启动:
-V, --version显示Wget的版本并且离开.
-h, --help显示这个说明档.
-U, --user-agent=AGENT使用AGENT取代Wget/VERSION作为识别代号.
FTP选项:
--retr-symlinks取回FTP的象徵连结.
-g, --glob=on/off turn file name globbing on ot off.
Wget下载及使用方法教程详解
1)支持断点下传功能(2)同时支持FTP和HTTP下载方式(3)支持代理服务器(4)设置方便简et [参数列表] [目标软件、网页的网址]
1、启动类参数
这一类参数主要提供软件的一些基本信息;
-V,–version 显示软件版本号然后退出;
wget -i filelist.txt wget -np -m -l5 //不下载本站所链接的其它站点内容,5级目录结构3、下载参数
下载参数定义下载重复次数、保存文件名等;
-t,–tries=NUMBER 是否下载次数(0表示无穷次)
以上参数对于攻击者比较有用,我们来看看具体使用;
例1:下载192.168.1.168首页并且显示下载信息
wget -d http://192.168.1.168例2:下载192.168.1.168首页并且不显示任何信息
wget -q http://192.168.1.168例3:下载filelist.txt中所包含的链接的所有文件
–proxy-passwd=PASS设置代理密码
以上参数主要设置HTTP和代理的用户、密码;
6、递归参数设置
在下载一个网站或者网站的一个目录的时候,我们需要知道的下载的层次,这些参数就可以设置;
-r,–recursive 下载整个网站、目录(小心使用)
-l,–level=NUMBER 下载层次
例:下载整个网站
wget -r http://192.168.1.1687、递归允许与拒绝选项参数
下载一个网站的时候,为了尽量快,有些文件可以选择下载,比如图片和声音,在这里可以设置;
-A,–accept=LIST 可以接受的文件类型
wget-o参数
wget-o参数
以下是一些关于-o参数的常见用法和示例:
1.使用-o参数将日志信息输出到文件中:
```
```
2. 如果指定的文件不存在,wget会自动创建该文件:
```
```
如果log.txt文件不存在,wget会自动创建该文件并将日志信息写
入其中。
3.使用-o参数时,可以指定文件的路径:
```
```
这个命令将把日志信息写入指定路径下的log.txt文件。
4.可以使用相对路径指定输出文件的位置:
```
```
这个命令将日志信息写入上一级目录中的log.txt文件。
5.如果在同一命令行中多次使用-o参数,只有最后一个参数会生效:
```
```
在这个例子中,只有log2.txt文件会被创建,并将日志信息写入其中。
6. 除了-o参数外,还可以使用--append-output参数来追加日志信息到指定文件的末尾:
```
```
如果log.txt文件已经存在,新的日志将会被追加到文件末尾。
wget命令详解
wget命令详解wget命令简单介绍wget命令⽤来从指定的URL下载⽂件。
wget⾮常稳定,它在带宽很窄的情况下和不稳定⽹络中有很强的适应性,如果是由于⽹络的原因下载失败,wget会不断的尝试,直到整个⽂件下载完毕。
如果是服务器打断下载过程,它会再次联到服务器上从停⽌的地⽅继续下载。
这对从那些限定了链接时间的服务器上下载⼤⽂件⾮常有⽤。
语法wget [选项] [参数]选项-a<⽇志⽂件>:在指定的⽇志⽂件中记录资料的执⾏过程;-A<后缀名>:指定要下载⽂件的后缀名,多个后缀名之间使⽤逗号进⾏分隔;-b:进⾏后台的⽅式运⾏wget;-B<连接地址>:设置参考的连接地址的基地地址;-c:继续执⾏上次终端的任务;-C<标志>:设置服务器数据块功能标志on为激活,off为关闭,默认值为on;-d:调试模式运⾏指令;-D<域名列表>:设置顺着的域名列表,域名之间⽤“,”分隔;-e<指令>:作为⽂件“.wgetrc”中的⼀部分执⾏指定的指令;-h:显⽰指令帮助信息;-i<⽂件>:从指定⽂件获取要下载的URL地址;-l<⽬录列表>:设置顺着的⽬录列表,多个⽬录⽤“,”分隔;-L:仅顺着关联的连接;-r:递归下载⽅式;-nc:⽂件存在时,下载⽂件不覆盖原有⽂件;-nv:下载时只显⽰更新和出错信息,不显⽰指令的详细执⾏过程;-q:不显⽰指令执⾏过程;-nh:不查询主机名称;-v:显⽰详细执⾏过程;-V:显⽰版本信息;--passive-ftp:使⽤被动模式PASV连接FTP服务器;--follow-ftp:从HTML⽂件中下载FTP连接⽂件。
参数: URL:下载指定的URL地址wget应⽤实例使⽤wget下载单个⽂件从⽹络下载⼀个⽂件并保存在当前⽬录,在下载的过程中会显⽰进度条,包含(下载完成百分⽐,已经下载的字节,当前下载速度,剩余下载时间)下载⽂件并且重命名wget默认会以最后⼀个符合/的后⾯的字符来命令,对于动态链接的下载通常⽂件名会不正确。
linux wget 命令用法详解(附实例说明)
Linux wget是一个下载文件的工具,它用在命令行下。
对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。
如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。
这样既浪费时间又浪费精力,那不没办法的事。
而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。
wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来方便简单。
下面我们以实例的形式说明怎么使用wget。
1、使用wget下载单个文件以下的例子是从网络下载一个文件并保存在当前目录wget /wordpress-3.1-zh_CN.zip在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。
2、使用wget -O下载并以不同的文件名保存wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。
错误:下面的例子会下载一个文件并以名称download.php?id=1080保存wget http://www.centos.bz/download?id=1即使下载的文件是zip格式,它仍然以download.php?id=1080命令。
正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名:wget -O wordpress.zip /download.php?id=10803、使用wget –limit -rate限速下载当你执行wget的时候,它默认会占用全部可能的宽带下载。
但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。
wget –limit-rate=300k /wordpress-3.1-zh_CN.zip4、使用wget -c断点续传使用wget -c重新启动下载中断的文件:wget -c /wordpress-3.1-zh_CN.zip对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。
window下wget的使用
Window下wget命令的使用-V 版本信息-h 帮助信息-b 后台执行Wget-o filename 把记录放在文件filename-a filename 把记录附加在文件filename-d 显示调试信息-q 无输出下载方式-v 详细的屏幕输出(默认)-nv 简单的屏幕输出-i inputfiles 从文本文件内读取地址列表-F forcehtml 从html文件内读取地址列表-t number number次重试下载(0时为无限次)-O output document file 写文件到文件-nc 不覆盖已有的文件-c 断点下传-N 时间时间戳。
该参数指定wget只下载更新的文件,也就是说,与本地目录中的对应文件的长度和最后修改日期一样的文件将不被下载。
-S 显示服务器响应-T timeout 超时时间设置(单位秒)-w time 重试延时(单位秒)-Y proxy=on/off 是否打开代理-Q quota=number 重试次数目录:-nd --no-directories 不建立目录.-x, --force-directories 强制进行目录建立的工作.-nH, --no-host-directories 不建立主机的目录.-P, --directory-prefix=PREFIX 把档案存到 PREFIX/...--cut-dirs=NUMBER 忽略 NUMBER 个远端的目录元件.HTTP 选项:--http-user=USER 设 http 使用者为 USER.--http0passwd=PASS 设 http 使用者的密码为 PASS.-C, --cache=on/off 提供/关闭快取伺服器资料 (正常情况为提供).--ignore-length 忽略 `Content-Length' 标头栏位.--proxy-user=USER 设 USER 为 Proxy 使用者名称.--proxy-passwd=PASS 设 PASS 为 Proxy 密码.-s, --save-headers 储存 HTTP 标头成为档案.-U, --user-agent=AGENT 使用 AGENT 取代 Wget/VERSION 作为识别代号. FTP 选项:--retr-symlinks 取回 FTP 的象徵连结.-g, --glob=on/off turn file name globbing on ot off.--passive-ftp 使用 "passive" 传输模式.使用递回方式的取回:-r, --recursive 像是吸入 web 的取回 -- 请小心使用!.-l, --level=NUMBER 递回层次的最大值 (0 不限制).--delete-after 删除下载完毕的档案.-k, --convert-links 改变没有关连的连结成为有关连.-m, --mirror 开启适合用来映射的选项.-nr, --dont-remove-listing 不要移除 `.listing' 档.递回式作业的允许与拒绝选项:-A, --accept=LIST 允许的扩充项目的列表. -R, --reject=LIST 拒绝的扩充项目的列表.-D, --domains=LIST 允许的网域列表.--exclude-domains=LIST 拒绝的网域列表 (使用逗号来分隔).-L, --relative 只跟随关联连结前进.--follow-ftp 跟随 HTML 文件里面的 FTP 连结.-H, --span-hosts 当开始递回时便到外面的主机.-I, --include-directories=LIST 允许的目录列表.-X, --exclude-directories=LIST 排除的目录列表.-nh, --no-host-lookup 不透过 DNS 查寻主机.-np, --no-parent 不追朔到起源目录.wget -t0 -c -nH -np -b -m -P /localdir http://freesoft.online.sh.... -o wget.log 今天用wget一看那么多的命令,先把它翻译了一下,再到外边搜到一些相关内容.wget 是linux下的一个非常强大的下载命令行工具。
wget命令详解
wget命令详解1、使⽤wget下载单个⽂件以下的例⼦是从⽹络下载⼀个⽂件并保存在当前⽬录wget /wordpress-3.1-zh_CN.zip在下载的过程中会显⽰进度条,包含(下载完成百分⽐,已经下载的字节,当前下载速度,剩余下载时间)。
2、使⽤wget -O下载并以不同的⽂件名保存,wget默认会以最后⼀个符合”/”的后⾯的字符来命令,对于动态链接的下载通常⽂件名会不正确。
错误:下⾯的例⼦会下载⼀个⽂件并以名称download.php?id=1080保存wget http://www.centos.bz/download?id=1即使下载的⽂件是zip格式,它仍然以download.php?id=1080命令。
正确:为了解决这个问题,我们可以使⽤参数-O来指定⼀个⽂件名:wget -O wordpress.zip http://www.centos.bz/download.php?id=10803、使⽤wget –limit -rate限速下载当你执⾏wget的时候,它默认会占⽤全部可能的宽带下载。
但是当你准备下载⼀个⼤⽂件,⽽你还需要下载其它⽂件时就有必要限速了。
wget –limit-rate=300k /wordpress-3.1-zh_CN.zip4、使⽤wget -c断点续传使⽤wget -c重新启动下载中断的⽂件:wget -c /wordpress-3.1-zh_CN.zip对于我们下载⼤⽂件时突然由于⽹络等原因中断⾮常有帮助,我们可以继续接着下载⽽不是重新下载⼀个⽂件。
需要继续中断的下载时可以使⽤-c参数。
5、使⽤wget -b后台下载对于下载⾮常⼤的⽂件的时候,我们可以使⽤参数-b进⾏后台下载。
wget -b /wordpress-3.1-zh_CN.zipContinuing in background, pid 1840.Output will be written to `wget-log’.你可以使⽤以下命令来察看下载进度tail -f wget-log6、伪装代理名称下载有些⽹站能通过根据判断代理名称不是浏览器⽽拒绝你的下载请求。
wget使用
wget使用一wget简介wget是linux上的命令行的下载工具。
这是一个GPL许可证下的自由软件。
wget支持HTTP和FTP协议,支持代理服务器和断点续传功能,能够自动递归远程主机的目录,找到合乎条件的文件并将其下载到本地硬盘上;如果必要,wget 将恰当地转换页面中的超级连接以在本地生成可浏览的镜像。
由于没有交互式界面,wget可在后台运行,截获并忽略HANGUP信号,因此在用户推出登录以后,仍可继续运行。
通常,wget用于成批量地下载Internet网站上的文件,或制作远程网站的镜像。
二实例下载下载192.168.1.168首页并且显示下载信息wget -d http://192.168.1.168下载192.168.1.168首页并且不显示任何信息wget -q http://192.168.1.168下载filelist.txt中所包含的链接的所有文件wget -i filelist.txt下载到指定目录wget -P/tmp ftp://user:passwd@url/file把文件file下载到/tmp目录下。
wget 是一个命令行的下载工具。
对于我们这些Linux 用户来说,几乎每天都在使用它。
下面为大家介绍几个有用的wget 小技巧,可以让你更加高效而灵活的使用wget。
* $ wget -r -np -nd /packages/这条命令可以下载 网站上packages 目录中的所有文件。
其中,-np 的作用是不遍历父目录,-nd 表示不在本机重新创建目录结构。
* $ wget -r -np -nd --accept=iso /centos-5/i386/与上一条命令相似,但多加了一个--accept=iso 选项,这指示wget 仅下载i386 目录中所有扩展名为iso 的文件。
你也可以指定多个扩展名,只需用逗号分隔即可。
* $ wget -i filename.txt此命令常用于批量下载的情形,把所有需要下载文件的地址放到filename.txt 中,然后wget 就会自动为你下载所有文件了。
wget 使用说明详解
wget 使用说明wget是一个从网络上自动下载文件的自由工具。
它支持HTTP,HTTPS和FTP 协议,可以使用HTTP代理.所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。
这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。
wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。
这又常被称作”递归下载”。
在递归下载的时候,wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。
wget的常见用法wget的使用格式Usage: wget [OPTION]... [URL]...用wget做站点镜像:wget -r -p -np -k /~us...# 或者wget -m /LDP/ab...在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载wget -t 0 -w 31 -c /BBC... -o down.log &# 或者从filelist读入要下载的文件列表wget -t 0 -w 31 -c -B ftp:///linu... -i filelist.txt -o down.log &上面的代码还可以用来在网络比较空闲的时段进行下载。
我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中,在晚上要出去系统前执行上面代码的第二条。
使用代理下载wget -Y on -p -k https:///pr...代理可以在环境变量或wgetrc文件中设定# 在环境变量中设定代理export PROXY=http://211.90.168.94:8080/# 在~/.wgetrc中设定代理http_proxy = :...ftp_proxy = :...各种选项分类列表启动-V, --version 显示wget的版本后退出-h, --help 打印语法帮助-b, --background 启动后转入后台执行-e, --execute=COMMAND 执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc记录和输入文件-o, --output-file=FILE 把记录写到FILE文件中-a, --append-output=FILE 把记录追加到FILE文件中-d, --debug 打印调试输出-q, --quiet 安静模式(没有输出)-v, --verbose 冗长模式(这是缺省设置)-nv, --non-verbose 关掉冗长模式,但不是安静模式-i, --input-file=FILE 下载在FILE文件中出现的URLs-F, --force-html 把输入文件当作HTML格式文件对待-B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀--sslcertfile=FILE 可选客户端证书--sslcertkey=KEYFILE 可选客户端证书的KEYFILE--egd-file=FILE 指定EGD socket的文件名下载--bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP 或名字时使用)-t, --tries=NUMBER 设定最大尝试链接次数(0 表示无限制).-O --output-document=FILE 把文档写到FILE文件中-nc, --no-clobber 不要覆盖存在的文件或使用.#前缀-c, --continue 接着下载没下载完的文件--progress=TYPE 设定进程条标记--cut-dirs=NUMBER 忽略 NUMBER层远程目录HTTP 选项--http-user=USER 设定HTTP用户名为 USER.--http-passwd=PASS 设定http密码为 PASS.-C, --cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许).-E, --html-extension 将所有text/html文档以.html扩展名保存-g, --glob=on/off 打开或关闭文件名的 globbing机制--passive-ftp 使用被动传输模式 (缺省值).--active-ftp 使用主动传输模式--retr-symlinks 在递归的时候,将链接指向文件(而不是目录)递归下载-r, --recursive 递归下载--慎用!-l, --level=NUMBER 最大递归深度 (inf 或 0 代表无穷).--delete-after 在现在完毕后局部删除文件-k, --convert-links 转换非相对链接为相对链接-K, --backup-converted 在转换文件X之前,将之备份为 X.orig-m, --mirror 等价于 -r -N -l inf -nr.-p, --page-requisites 下载显示HTML文件的所有图片递归下载中的包含和不包含(accept/reject)-A, --accept=LIST 分号分隔的被接受扩展名的列表-R, --reject=LIST 分号分隔的不被接受的扩展名的列表-D, --domains=LIST 分号分隔的被接受域的列表--exclude-domains=LIST 分号分隔的不被接受的域的列表--follow-ftp 跟踪HTML文档中的FTP链接--follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表-G, --ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表-H, --span-hosts 当递归时转到外部主机-L, --relative 仅仅跟踪相对链接-I, --include-directories=LIST 允许目录的列表-X, --exclude-directories=LIST 不被包含目录的列表-np, --no-parent 不要追溯到父目录Wget使用技巧都支持断点续传;· -T [number of seconds]:超时时间,指定多长时间远程服务器没有响应就中断连接,开始下一次尝试。
使用wget(wgetforwindows)
使⽤wget(wgetforwindows)⼀、什么是wget
GNU Wget是⼀个在⽹络上进⾏下载的简单⽽强⼤的⾃由软件,其本⾝也是GNU计划的⼀部分。
它的名字是“World Wide Web”和“Get”的结合,同时也隐含了软件的主要功能。
⽬前它⽀持通过HTTP、HTTPS,以及FTP这三个最常见的TCP/IP协议协议下载。
它的主要特点包括:
》⽀持递归下载
》恰当的转换页⾯中的链接
》⽣成可在本地浏览的页⾯镜像
》⽀持代理服务器
缺点
》⽀持的协议较少,特别是cURL相⽐。
流⾏的流媒体协议mms和rtsp没有得到⽀
持,还有⼴泛使⽤各种的P2P协议也没有涉及。
》⽀持协议过⽼。
⽬前HTTP还是使⽤1.0版本,⽽HTML中通过JavaScript和CSS引
⽤的⽂件不能下载。
》灵活性不强,扩展性不⾼。
⾯对复杂的镜像站会出现问题。
》命令过于复杂,可选的设置项有上百个。
》安全问题。
⼆、下载、安装wget
wget下载地址
操作:
1、下载wget
2、将下载好的压缩包解压,将其中的wget.exe放置在 C:\Windows\System32 ⽬录下
3、打开cmd 执⾏wget指令
三、wget的参数和命令
wget⽂档
博客参考
常⽤例⼦:
拉⼀个⽹站的代码到指定⽬录
命令: wget -m -P [DIR] [URL]
-m 递归下载
-P 这个⼤写的“P”表⽰指定路径,如图我将下载好的代码保存在了G盘中
查看G盘可以发现整个⽹站结构被down下来了。
wget---从指定的URL下载文件
wget---从指定的URL下载⽂件wget命令⽤来从指定的URL下载⽂件。
wget⾮常稳定,它在带宽很窄的情况下和不稳定⽹络中有很强的适应性,如果是由于⽹络的原因下载失败,wget会不断的尝试,直到整个⽂件下载完毕。
如果是服务器打断下载过程,它会再次联到服务器上从停⽌的地⽅继续下载。
这对从那些限定了链接时间的服务器上下载⼤⽂件⾮常有⽤。
语法wget(选项)(参数)选项-a<⽇志⽂件>:在指定的⽇志⽂件中记录资料的执⾏过程;-A<后缀名>:指定要下载⽂件的后缀名,多个后缀名之间使⽤逗号进⾏分隔;-b:进⾏后台的⽅式运⾏wget;-B<连接地址>:设置参考的连接地址的基地地址;-c:继续执⾏上次终端的任务;-C<标志>:设置服务器数据块功能标志on为激活,off为关闭,默认值为on;-d:调试模式运⾏指令;-D<域名列表>:设置顺着的域名列表,域名之间⽤“,”分隔;-e<指令>:作为⽂件“.wgetrc”中的⼀部分执⾏指定的指令;-h:显⽰指令帮助信息;-i<⽂件>:从指定⽂件获取要下载的URL地址;-l<⽬录列表>:设置顺着的⽬录列表,多个⽬录⽤“,”分隔;-L:仅顺着关联的连接;-r:递归下载⽅式;-:⽂件存在时,下载⽂件不覆盖原有⽂件;-nv:下载时只显⽰更新和出错信息,不显⽰指令的详细执⾏过程;-q:不显⽰指令执⾏过程;-nh:不查询主机名称;-v:显⽰详细执⾏过程;-V:显⽰版本信息;--passive-:使⽤被动模式PASV连接FTP服务器;--follow-ftp:从HTML⽂件中下载FTP连接⽂件。
参数URL:下载指定的URL地址。
实例使⽤wget下载单个⽂件wget /testfile.以下的例⼦是从⽹络下载⼀个⽂件并保存在当前⽬录,在下载的过程中会显⽰进度条,包含(下载完成百分⽐,已经下载的字节,当前下载速度,剩余下载时间)。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
WGet使用指南
wget是一个从网络上自动下载文件的自由工具。
它支持HTTP,HTTP S和FTP协议,可以使用HTTP代理.
所谓的自动下载是指,wge t可以在用户退出系统的之后在后台执行。
这意味这你可以登录系统,启动一个wge t下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。
wget可以跟踪HTM L页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。
这又常被称作”递归下载”。
在递归下载的时候,wget遵循R ob ot Excl usi on标准(/r obot s.txt). wge t可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。
wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wge t会不断的尝试,直到整个文件下载完毕。
如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。
这对从那些限定了链接时间的服务器上下载大文件非常有用。
wge t的常见用法
wget的使用格式
Usage: wget [OPTION]... [URL]...
•使用代理下载
•启动
-V, --versio n 显示wget的版本后退出
-h, --help 打印语法帮助
-b, --background 启动后转入后台执行
-e, --execut e=COMMAND 执行`.wget rc'格式的命令,wget rc格式参见/et c/wget rc或~/.wgetrc
•记录和输入文件
-o, --out put-file=FI LE 把记录写到FILE文件中
-a, --append-o utput=FILE 把记录追加到FILE文件中
-d, --debug 打印调试输出
-q, --quiet安静模式(没有输出)
-v, --verbose 冗长模式(这是缺省设置)
-nv, --no n-verbo se 关掉冗长模式,但不是安静模式
-i, --input-file=FI LE 下载在FILE文件中出现的URLs
-F, --fo rce-ht ml 把输入文件当作HTML格式文件对待
-B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀
--sslcert file=FILE 可选客户端证书
--sslcert key=KEYFILE 可选客户端证书的KEYFILE
--egd-file=FILE 指定EGD socket的文件名
•下载
--bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)
-t, --t ries=NUMBER 设定最大尝试链接次数(0 表示无限制).
-O --out put-do cument=FILE 把文档写到FILE文件中
-nc, --no-clobber 不要覆盖存在的文件或使用.#前缀
-c, --co nt inue 接着下载没下载完的文件
--progress=TYPE 设定进程条标记
-N, --t imest amp ing 不要重新下载文件除非比本地文件新
-S, --server-respo nse 打印服务器的回应
--spider 不下载任何东西
-T, --t imeo ut=SECONDS 设定响应超时的秒数
-w, --wait=SECONDS 两次尝试之间间隔SECONDS秒
--wait ret ry=SECONDS 在重新链接之间等待1...SECONDS 秒
--rando m-wait在下载之间等待0...2*WAIT秒
-Y, --proxy=on/o ff 打开或关闭代理
-Q, --quot a=NUMBER 设置下载的容量限制
--limit-rat e=RATE 限定下载输率
•目录
-nd --no-direct ories 不创建目录
-x, --force-d irect ories 强制创建目录
-nH, --no-host-directories 不创建主机目录
-P, --direct o ry-prefix=PREFIX 将文件保存到目录PREFIX/... --cut-dirs=NUMBER 忽略NUMBER层远程目录
•HTTP 选项
--htt p-user=USER 设定HTTP用户名为USER.
--htt p-passwd=PASS 设定htt p密码为PASS.
-C, --cache=o n/off 允许/不允许服务器端的数据缓存(一般情况下允许).
-E, --ht ml-ext ensio n 将所有t ext/ht ml文档以.ht ml扩展名保存
--ignore-lengt h 忽略`Cont ent-Lengt h'头域
--header=STRING 在headers中插入字符串STRING
--proxy-user=USER 设定代理的用户名为USER
--proxy-passwd=P ASS 设定代理的密码为PASS
--referer=URL 在HTTP请求中包含`Referer: URL'头-s, --save-headers 保存HTTP头到文件
-U, --user-agent=AGENT 设定代理的名称为AGENT而不是Wget/VERSION.
--no-htt p-keep-alive 关闭HTTP活动链接(永远链接).
--cookies=o ff 不使用cookies.
--load-cookies=FILE 在开始会话前从文件FILE中加载cookie
--save-cookies=FI LE 在会话结束后将cookies保存到FI LE文件中
•FTP 选项
-nr, --dont-remove-list ing 不移走`.list ing'文件
-g, --glo b=on/o ff 打开或关闭文件名的globbing机制
--passive-ft p 使用被动传输模式(缺省值).
--act ive-ft p 使用主动传输模式
--ret r-symlinks 在递归的时候,将链接指向文件(而不是目录)
•递归下载
-r, --recursive 递归下载--慎用!
-l, --level=NUMBER 最大递归深度(inf 或0 代表无穷).
--delet e-aft er 在现在完毕后局部删除文件
-k, --convert-links 转换非相对链接为相对链接
-K, --backup-convert ed 在转换文件X之前,将之备份为
X.orig
-m, --mirro r 等价于-r -N -l inf -nr.
-p, --page-requisit es 下载显示HTML文件的所有图片
•递归下载中的包含和不包含(a ccept/r ej ect)
-A, --accept=LIST 分号分隔的被接受扩展名的列表
-R, --reject=LIST 分号分隔的不被接受的扩展名的列表
-D, --domains=LIST 分号分隔的被接受域的列表
--exclude-do mains=LIST 分号分隔的不被接受的域的列表--fo llo w-ft p 跟踪HTML文档中的FTP链接--fo llo w-t ags=LIST 分号分隔的被跟踪的HTML标签的列表
-G, --ignore-t ags=LIST 分号分隔的被忽略的HTML 标签的列表
-H, --span-ho st s 当递归时转到外部主机
-L, --relat ive 仅仅跟踪相对链接
-I, --include-d ir ect ories=LIST 允许目录的列表
-X, --exclude-d irectories=LIST 不被包含目录的列表
-np, --no-parent不要追溯到父目录。