perl学习笔记16--Web自动化和连网
2010年06月13日
Web自动化和连网
1． LWP概述
?? HTTP：Request请求对象包含了一些用于描述客户对服务器的请求的信息。它所包含的属性有：method(方法)、URL（统一资源定位）、header（标头）和content（内容）。HTTP:Request有4种请求方法：get、put、post和head。URL时所请求的URL地址。标头是一组健/值对，它提供了关于请求的附加信息。内容包含了作为请求的一部分、由客户发给服务器的数据。
?? 当服务器收到请求后，他会建立一个用于响应客户的HTTP:Response对象。HTTP:Response对象有4种属性：响应码（code）、响应消息（message）、标头（headers）和内容（content）。响应码是请求结果的状态指示器。它表明请求成功或者发生了错误。响应消息是与响应码对应的字串信息。标头包含了关于响应的附加信息，提供了用户所使用的、用来决定如何处理响应内容的描述。内容是有关响应的一些数据。
?? 通过一个称为用户代理（User Agent）的对象来完成把请求对象转变成响应对象的。在Perl中，该用户代理是类LWP:UserAgent的一个实例。在一般的Web交互中，他的作用相当于一个浏览器，他处理来自请求的信息，并创建相应的响应对象。响应对象定义了要返回给用户代理（一般是一个Web浏览器）的响应信息。用户代理主要属性有：延时（timeout）、代理名城（agent）、用户邮件地址（from）和认证书（credentials）。延时定义了用户代理在超时发生前的最长等待时间。代理名称定义了所使用的用户代理的名字。当用户代理与网络进行会话时，就会用到这个名字。用户邮件地址也就是正在使用web浏览器的用户的邮件地址。认证书包含了一次成功响应所需要的用户名或密码。
2． LWP命令
?? 用户代理的request方法用于请求定义的文档。该方法调用的结果储存在一个HTTP::Response对象中。
my $agent = new LWP::UserAgent();
my $request = new HTTP::Request ( 'GET' = $url );
my $response = $agent -> request ( $request );
?? HTTP::Response对象的is_success方法用来判别请求是否成功。如果请求成功，就调用HTTP::Response对象的content方法，输出响应。如果请求不成功，就调用HTTP::Response对象的status_line方法，输出错误信息。这个方法将从对象中返回状态代码和响应消息。
if ( $response -> is_success () ) {
print ( OUT $response -> content () );
}
Else {
print ( OUT "Error:" . $response -> status_line() . " \n");
}
?? 在HTTP::Request对象中的POST请求方法类似于HTML单元素中post方法。
$request = new HTTP::Request ( 'POST', $url );
?? HTTP:Request对象中的content_type方法用于设置请求的内容类型（content type）。这决定了HTTP协议如何处理这个请求。
$request -> content_type ( ' application/x-www-form-urlencoded ' );
?? HTTP::Request对象的content方法定义了要传送给CGI程序的数据。Content应该是一个将要发送给post请求的字串。
?? HTTP::Request对象的as_string方法将以文本输出所返回的响应，包含了content方法所无法输出的一些附加信息。下例中将响应输出到文件句柄OUT所指向的文件中。
Print ( OUT $response -> as_string () );
?? head请求只返回请求的标头（headers）信息。标头包括对象类型、大小和存活时间这样的信息。当需要知道文档是否存在时，这是非常有用的。
3． LWP::Simple模块
?? 简单的LWP功能可以从LWP::Simple模块中获取，它提供了对LWP的过程调用接口，而不是以前的面向对象的方法。
?? LWP：：Simple模块的getprint函数，他用来检索一个web网页并将其输出到一个文件句柄STDOUT（标准输出）。函数getprint返回了HTTP响应代码。
my $status = getprint ( $url );
?? LWP::Simple模块中的get函数检索到一个web网页，并将它的内容（content）储存在一个标量中。
my $page = get ( $url );
?? LWP::Simple模块中的getstore方法用来检索一个Web页面并将它储存在一个文件中。同样，getstore函数也返回HTTP响应代码。
$status = getstore ( $url, "page.txt");
4． HTML解析
?? HTML::TokeParser模块和LWP对于从web站点提取文本是非常有用的。
?? TokeParser构造函数的参数接收一个字串、一个字串引用或一个文件句柄。如果他接收一个字串，Perl会把它当成一个文件名来打开，从中读取数据。如果他接收一个字串引用，perl会把它当成一个数据引用来解析。如果他接收一个文件句柄，TokeParser对象将尝试从该文件句柄所指向的文件中读取数据。
?? TokeParser对象的get_token方法从解析文档中返回一个标志（token）。
?? 标志是数组引用，他的5种可能的类型是：开始标志（start token）、结束标志（end token）、文本标志（text token）、注释标志（comment token）和声明标志（declaration token）。
?? 一个开始标志（token）就是一个HTML开始标记（tag）。在一个开始标志的数组中，第一个元素是"S",下一个元素保存着标记名，接下来是一组标记变量，在下一个是包含每个标记属性的散列，最后一个元素是原文。
?? 一个结束标志的数组包含3个元素："E"、标记名和原文（Original Text）。
?? 文本标志、注释标志和声明标志数组包含两个元素：一个代表类型的字符和标志中的文本。文本标志、注释标志和声明标志的类型分别是"T"、"C"、"D"。
5． 高级联网入门
所有的网络通讯是通过套接字（Socket）来完成的。套接字是通讯的端点。一个可以通讯的连接包括两个套接字。数据可以通过数据流和数据报的形式来传递。数据流提供了一种双向的、可靠的、有序的通讯传输方式。数据报的连接是比较不可靠的，在数据报的连接中，信息是通过一个小小的数据包传输的。数据报不如数据流可靠，但数据报需要较少的资源，因为它不需要在两台计算机之间建立永久的连接。所有连接需要两个套接字，一个由服务器程序维护，一个由客户端维护。
6． 传输控制协议TCP
?? 通常一个服务器应用安装在一台用于监听连接的计算机上（如等待web浏览器连接的web服务器）。客户程序必须知道她所要连接的服务器的地址。
?? 为了标准化网络中计算机间的会话，制定了许多协议。通常，一个邮件应用与两个不同的服务器进行通讯。它通过与POP服务器会话来接收用户邮件，与SMTP服务器会话来发送用户邮件。
?? 主要的面向连接的因特网协议是传输控制协议（TCP）。可以使用IO::Socket模块创建一个客户/服务器的聊天程序。使用这个模块容易的定义服务器的位置。
my $socket = new IO:Socket::INET (
PeerAddr => $host,
PeerPort => $port,
Proto => 'tcp' ,
Type => SOCK_STREAM )
or die ( "Cannot connect to $host:$port:$@ \n");
?? 端口号定义了服务器从哪里等待和接收用户的连接。
?? 可以使用模块IO::Scoket来创建一个IO::Scoket::INET对象。这是一个执行因特网连接的IO::Scoket对象。
?? 传递给构造函数4个参数：聊天服务器的IP地址（PeerAddr）;为TCP聊天程序所设置的远程计算机端口(PeerPort);通讯协议（proto）以及用于判别数据流链接或数据报文连接的连接类型（Type）。
?? 行缓冲特殊变量 $| 定义了缓冲功能是否应当关闭。当$|定义为1时，表示缓冲功能应当关闭。
?? IO::Scoket::Net的参数LocalPort定义了服务器上的监听端口。
?? Type参数定义了创建连接的类型。
?? Listen参数定义了服务器开始不理新连接客户前，服务器上排队等待连接的用户数。对于服务器，Listen是必须定义的。
?? 类IO::Scoket::INET中的accept方法一直等待到有一个客户尝试访问他。一旦一个客户确实访问上服务器。服务器就建立起一个连接。 my $server = new IO::Socket::INET ( LocalPort => $port, Type => SOCK_STREAM, Listen => 10 ) or die ( " Cannot be a server on $port : $@ \n"); local $| = 1; my $client = $server -> accept(); my $response = ; 7． 简单邮件传输协议SMTP
?? 如果要发送邮件就需要一个SMTP服务器。Perl提供了一个用于处理STMP传输的模块，它就是Net::SMTP模块。
?? 第一个传送给构造函数的参数必须是一个合法的SMTP服务器地址。这个构造函数在一个步骤内创建对象并连接服务器。
?? 可以用可选参数来发送用户的邮件域(hello)、连接超时(Timeout)和一个判别调试是否应该关掉的指示器(Debug)。
?? 可以使用mail方法来创建一条新的邮件信息，它把用户的邮件地址作为参数。使用NET::SMTP中的to方法来定义邮件的接收者。Data方法开始传送邮件消息数据。一旦传送开始，可以通过datasend来发送信息。为了完成信息的传送，要使用dataend方法。Net：：SMTP的quit方法关闭连接。
my $smpt = new Net::SMPT( "$server"，hello => "server" )
or die ( " Cannot send e-mail : $! ");
$smtp -> mail( "$my_address");
$smtp -> to ( "$address");
$smtp -> data();
$smtp -> datasend ( "From: $from \n");
$smtp -> datasend ( " To : $to \n");
$smtp -> datasend (" Subject: $subject \n \n");
$smtp -> datasend (" $message \n");
$smtp -> data();
$smtp -> quit();
8． 邮局协议 POP
?? 邮局协议POP也是常见的一种协议，它便于从远程服务器上存储和检索邮件。POP服务器允许读取、阅读、存储和删除邮件。
?? Mail：：POP3Client模块可用来读取邮件
?? Mail：：POP3Client模块中的Count方法返回邮箱中的消息条数。
?? Mail：：POP3Client模块中的Head方法返回消息标头，这些消息标头包含了关于邮件中所有的相关信息。
my $pop = new Mail::POP3Client (
USER => $user,
PASSWORD => $password,
HOST => $server ) ;
my $message = $pop -> Count();
9． 查找万维网
?? WWW::Search模块提供了一系列查找引擎的接口。这个模块为好几个模块所继承和扩展，使其于各种查找引擎的交互功能成为可能。
?? 为了定义一个查询，把用户输入的原始查询作为一个参数传给WWW::Search模块中的escape_query方法。这就把简单的语句转换成适合WWW::Search模块的HTML编码语句。
?? Native_query方法接收escape_query方法返回至，开始查询。
?? 为了从特定的查找引擎中取得结果，调用WWW::Search对象中的next_result方法。
本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/KataDoc360/archive/2008/11/30 /3413802.aspx