如何抓取网页数据_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
如何抓取网页数据
上传于||暂无简介
阅读已结束，如果下载本文需要使用
想免费下载本文？
下载文档到电脑，查找使用更方便
还剩2页未读，继续阅读
你可能喜欢1725人阅读
.Net（16）
&& & & & & &.net中如何获取网页内容，下面给出C#版本的函数，关键代码如下：
1、引入namespace
using System.N
using System.IO;
using System.T
2、函数代码：
/// &summary&
/// 返回URL内容,带POST数据提交
/// &/summary&
/// &param name=&url&&&/param&
/// &param name=&data&&&/param&
/// &param name=&method&&GET/POST(默认)&/param&
/// &param name=&dataEncoding&&编码方式(默认utf-8)&/param&
/// &param name=&timeout&&超时时间（以毫秒为单位）&/param&
/// &returns&&/returns&
public static string HttpRequest(string url, string data, string method, string dataEncoding, int timeout)
string res = string.E
if (string.IsNullOrEmpty(dataEncoding)) dataEncoding = &utf-8&;
Encoding encoding = Encoding.GetEncoding(dataEncoding);
WebRequest webRequest =
Stream postStream =
WebResponse webResponse =
StreamReader streamReader =
if (method == &GET&)
url = url + '?' +
webRequest = WebRequest.Create(url);
webRequest.Method = string.IsNullOrEmpty(method) ? &POST& :
webRequest.Timeout =
if (method == &POST&)
byte[] postData = encoding.GetBytes(data);
webRequest.ContentLength = postData.L
postStream = webRequest.GetRequestStream();
postStream.Write(postData, 0, postData.Length);
webResponse = webRequest.GetResponse();
streamReader = new StreamReader(webResponse.GetResponseStream(), encoding);
res = streamReader.ReadToEnd();
catch (WebException ex)
using (HttpWebResponse response = (HttpWebResponse)ex.Response)
using (Stream responseStream = response.GetResponseStream())
res = new StreamReader(responseStream).ReadToEnd();
catch (Exception)
if (postStream != null)
postStream.Close();
if (streamReader != null)
streamReader.Close();
if (webResponse != null)
webResponse.Close();
3、调用示例：
Get：HttpRequest(&/request.aspx&,&user=aa&pwd=bbb&,&GET&,null,30)
关键类：Encoding,WebRequest,Stream,WebResponse,StreamReader&
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：869033次
积分：10713
积分：10713
排名：第725名
原创：248篇
转载：12篇
评论：117条
(2)(5)(2)(6)(1)(1)(3)(7)(3)(5)(5)(3)(2)(12)(4)(6)(18)(17)(14)(21)(14)(2)(3)(8)(2)(8)(12)(5)(28)(32)(7)(1)(1)}