获取网页HTML源文件代码,CSharp代码库,德仔网

代码语言

代码分类

【CSharp】获取网页HTML源文件

作者:dezai / 发布于2014/3/7/ 353

/// <summary>
   /// 根据网址的URL，获取源代码HTML
   /// </summary>
   /// <param name="url"></param>
   /// <returns></returns>
   public static string GetHtmlByUrl(string url)
   {
     using (WebClient wc = new WebClient())
     {
       try
       {
         wc.UseDefaultCredentials = true;
         wc.Proxy = new WebProxy();
         wc.Proxy.Credentials = CredentialCache.DefaultCredentials;
         wc.Credentials = System.Net.CredentialCache.DefaultCredentials;
         byte[] bt = wc.DownloadData(url);
         string txt = System.Text.Encoding.GetEncoding("GB2312").GetString(bt);
         switch (GetCharset(txt).ToUpper())
         {
           case "UTF-8":
             txt = System.Text.Encoding.UTF8.GetString(bt);
             break;
           case "UNICODE":
             txt = System.Text.Encoding.Unicode.GetString(bt);
             break;
           default:
             break;
         }
         return txt;
       }
       catch (Exception ex)
       {
         return null;
       }
     }
   }
稍微解释一下，这里使用了WebClient创建了一个wc对象（这命名有点尴尬了）。然后调用wc对象的DownloadData方法，传入URL值，返回一个字节数组。默认使用GB2312来读取这个字节数组，把它转换成字符串。从网页源代码的字符串中查找网页的编码格式的特征字符，如找到charset="utf-8"这样的信息，来判断当前网页的编码格式。

GetCharset这个函数就是来获取当前网页的编码格式的，具体代码如下：
   /// <summary>
   /// 从HTML中获取获取charset
   /// </summary>
   /// <param name="html"></param>
   /// <returns></returns>
   public static string GetCharset(string html)
   {
     string charset = "";
     Regex regCharset = new Regex(@"content=[""'].*\s*charset\b\s*=\s*""?(?<charset>[^""']*)", RegexOptions.IgnoreCase);
     if (regCharset.IsMatch(html))
     {
       charset = regCharset.Match(html).Groups["charset"].Value;
     }
     if (charset.Equals(""))
     {
       regCharset = new Regex(@"<\s*meta\s*charset\s*=\s*[""']?(?<charset>[^""']*)", RegexOptions.IgnoreCase);
       if (regCharset.IsMatch(html))
       {
         charset = regCharset.Match(html).Groups["charset"].Value;
       }
     }
     return charset;
   }

试试其它关键字

　网页HTML源文件　

同语言下

可能有用的

dezai贡献的其它代码(1065)