java获取网页源代码（java读取到网页信息后如何还原）

本文目录

• java读取到网页信息后如何还原
• java如何获取带有css js 执行完后的网页源代码
• java怎么样实现给定一个网址，输出结果 和这个网址在浏览器中“文件-另存为-txt格式”得到结果一样
• java抓取京东商城商品信息，根据网页源文件如何写抓取如下信息：
• 为什么用JAVA获取不了这个网页的源代码
• 输入网址，返回该url的源代码的java程序怎么写

java读取到网页信息后如何还原

Java读取网页信息是一个非常常见的操作。读取网页信息的方式多种多样，可以使用Java的网络编程API，比如Socket、URL、HttpURLConnection等来进行解析，抓取网页的HTML源代码，然后在Java程序中进行处理。在Java中，通过URL对象来获得网络资源并读取。可以使用URL类中的openStream方法打开输入流，然后使用BufferedReader按行读取，并保存读到的数据。然后，对于网页信息的还原，可以使用Java中的一些HTML解析库来解析HTML代码，将其进行格式化，还原成网页。我们可以使用JSoup, HtmlUnit, tagSoup等HTML解析库来完成这个过程。JSoup是一个基于HTML解析器，可以用于Crawling和Web Scraping的Java库。它提供了解析HTML并提取所需数据 等常用的操作。HtmlUnit是一个Java类库，用于逐个提交表单，自动地单击网页链接，以及自动执行Javascript并还原返回网页。它还支持多种浏览器的模拟（包括Internet Explorer、Firefox、Safari），可以还原出高度仿真的浏览器行为。总之，Java读取网页信息是一个相对简单的操作，并且Java有多种HTML解析库可以帮助实现网页信息的还原。

java如何获取带有css js 执行完后的网页源代码

只能抓取静态的页面源代码，因为很多事件和样式是动态绑定和执行的，所以不可能获取到执行完后的代码的。
public
String
getHtmlContent(String
htmlurl)
{
URL
url;
String
temp;
StringBuffer
sb
=
new
StringBuffer();
try
{
url
=
new
URL(htmlurl);
BufferedReader
in
=
new
BufferedReader(new
InputStreamReader(url.openStream(),
"gbk"));
while
((temp
=
in.readLine())
!=
null)
{
sb.append(temp);
}
in.close();
}
catch
(final
MalformedURLException
me)
{
me.getMessage();
}
catch
(final
IOException
e)
{
e.printStackTrace();
}
return
sb.toString();
}

java怎么样实现给定一个网址，输出结果 和这个网址在浏览器中“文件-另存为-txt格式”得到结果一样

大家都知道URL就是统一资源定位器
它由协议名和资源名组成
也不多说什么了，就拿URLConnection类举个例子吧，做一个获取网站源码的代码

public class URLDemo {
public static void main(String args) {
Scanner scan = new Scanner(System.in);

System.out.println("请输入网址：");
***隐藏网址***
try {
URL url = new URL(urlStr); // 将urlstr字符串网址实例化为URL定位地址s
URLConnection urlConn = url.openConnection(); //打开网站链接s
BufferedReader reader = new BufferedReader(new InputStreamReader(
urlConn.getInputStream())); //实例化输入流，并获取网页代码
String s; //依次循环，至到读的值为空
StringBuilder sb = new StringBuilder();
while ((s = reader.readLine()) != null) {
sb.append(s);
}
reader.close();
BufferedWriter bw = new BufferedWriter(new FileWriter("D:\\1.html")); //write写入文件（字节流）
bw.write(sb.toString());
bw.flush();
bw.close();
System.out.println("另存为成功！");
}
catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

然后正则匹配,自己研究下吧

java抓取京东商城商品信息，根据网页源文件如何写抓取如下信息：

听说过jsoup吗。很简单，两句话搞定。

Document   document = Jsoup
***隐藏网址***
                        .method(Connection.Method.GET)
                        .followRedirects(false)
                        .timeout(100000)
                        .get();
Element el=document.getElementById("zzh_jd")//div 开始的id 。
//然后这个element你想怎么用就怎么用了。
//jsoup的使用类似于javascript很方便。

为什么用JAVA获取不了这个网页的源代码

好诡异.....................试了很多次才弄好!!!!!!!!!!!!!
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
public class test1 {
public static void main(String a) throws IOException {

***隐藏网址***
System.out.println(getHTML(url, "utf-8")); //使用原网页里声明的gb2312反而会出现乱码
}
public static String getHTML(String pageURL, String encoding) {
StringBuilder pageHTML = new StringBuilder();
try {
URL url = new URL(pageURL);
HttpURLConnection connection = (HttpURLConnection) url
.openConnection();
connection.setRequestProperty("User-Agent", "MSIE 7.0");
BufferedReader br = new BufferedReader(new InputStreamReader(
connection.getInputStream(), encoding));
String line = null;
while ((line = br.readLine()) != null) {
pageHTML.append(line);
pageHTML.append("\r\n");
}
connection.disconnect();
} catch (Exception e) {
e.printStackTrace();
}
return pageHTML.toString();
}
}

输入网址，返回该url的源代码的java程序怎么写

public static String getURLSource(String link, String encoding) throws Exception {
URL link = new URL(url);
BufferedReader br = new BufferedReader(new InputStreamReader(link.openStream(), encoding));
StringBuffer sb = new StringBuffer(2048);
String tmp = br.readLine();
while (tmp != null) {
sb.append("\r\n" + tmp);
tmp = br.readLine();
}
br.close();
is.close();
return sb.toString().substring(2);
}