`
rain_2372
  • 浏览: 675754 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

java抓取网络图片放到本地

    博客分类:
  • java
阅读更多
import java.io.BufferedInputStream;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GetContentPicture {
// 得到了图片地址并下载图片
public void getHtmlPicture(String httpUrl) {
URL url;
BufferedInputStream in;
FileOutputStream file;
int count; // 图片文件名序号
FileNumber num = new FileNumber();// 图片文件名序号类,num为对象
count = num.NumberReadFromFile();// 获取图片文件序号
try {
System.out.println("获取网络图片");
String fileName = (String.valueOf(count)).concat(httpUrl
.substring(httpUrl.lastIndexOf(".")));// 图片文件序号加上图片的后缀名,后缀名用了String内的一个方法来获得
// httpUrl.substring(httpUrl.lastIndexOf("/"));//这样获得的文件名即是图片链接里图片的名字
String filePath = "d:/photos/cc/";// 图片存储的位置
url = new URL(httpUrl);

in = new BufferedInputStream(url.openStream());

file = new FileOutputStream(new File(filePath + fileName));
int t;
while ((t = in.read()) != -1) {
file.write(t);
}
file.close();
in.close();
System.out.println("图片获取成功");
count = count + 1;// 图片文件序号加1
num.NumberWriteToFile(count);// 将图片名序号保存
} catch (MalformedURLException e) {
e.printStackTrace();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}

// 获取网页的代码保存在String格式的Content中
public String getHtmlCode(String httpUrl) throws IOException {
String content = "";
URL uu = new URL(httpUrl); // 创建URL类对象
BufferedReader ii = new BufferedReader(new InputStreamReader(uu
.openStream())); // //使用openStream得到一输入流并由此构造一个BufferedReader对象
String input;
while ((input = ii.readLine()) != null) { // 建立读取循环,并判断是否有读取值
content += input;
}
ii.close();
return content;
}

// 分析网页代码,找到匹配的网页图片地址
public void get(String url) throws IOException {

String searchImgReg = "(?x)(src|SRC|background|BACKGROUND)=('|\")/?(([\\w-]+/)*([\\w-]+\\.(jpg|JPG|png|PNG|gif|GIF)))('|\")";// 用于在网页代码Content中查找匹配的图片链接。
String searchImgReg2 = "(?x)(src|SRC|background|BACKGROUND)=('|\")(http://([\\w-]+\\.)+[\\w-]+(:[0-9]+)*(/[\\w-]+)*(/[\\w-]+\\.(jpg|JPG|png|PNG|gif|GIF)))('|\")";

String content = this.getHtmlCode(url);// this指对象gcp,在此地调用获取网页代码,getHtmlCode方法
// System.out.println(content); //输出的content将是一个连续的字符串。

Pattern pattern = Pattern.compile(searchImgReg);// java.util.regex.Pattern
Matcher matcher = pattern.matcher(content); // java.util.regex.Matcher
while (matcher.find()) {
System.out.println(matcher.group(3));// 输出图片链接地址到屏幕
// System.out.println(url);
this.getHtmlPicture(matcher.group(3));// 对象调用getHtmlPicture从网上下载并输出图片文件到指定目录
}

pattern = Pattern.compile(searchImgReg2);
matcher = pattern.matcher(content);
while (matcher.find()) {
System.out.println(matcher.group(3));
this.getHtmlPicture(matcher.group(3));
}
// searchImgReg =
// "(?x)(src|SRC|background|BACKGROUND)=('|\")/?(([\\w-]+/)*([\\w-]+\\.(jpg|JPG|png|PNG|gif|GIF)))('|\")";
}

// 主函数url网页的地址
public static void main(String[] args) throws IOException {
String url = "http://www.baidu.com";
GetContentPicture gcp = new GetContentPicture();
gcp.get(url);

}
}

import java.io.*;

//图片文件名,需要在文件名序号TXT文件保存地址建立一个number.txt并写入1保存;

public class FileNumber {
// 文件写
public void NumberWriteToFile(int x) {
int c = 0;
c = x;
File filePath = new File("d:/photos/cc");
File f1 = new File(filePath, "number.txt");
try {
FileOutputStream fout = new FileOutputStream(f1);
DataOutputStream out = new DataOutputStream(fout);
out.writeInt(c);

} catch (FileNotFoundException e) {
System.err.println(e);
} catch (IOException e) {
System.err.println(e);
}

}

// 文件读
public int NumberReadFromFile() {
int c1 = 0;
File filePath = new File("d:/photos/cc");
File f1 = new File(filePath, "number.txt");
try {
FileInputStream fin = new FileInputStream(f1);
DataInputStream in = new DataInputStream(fin);
c1 = in.readInt();
System.out.println(c1);// 输出文件内容至屏幕
} catch (FileNotFoundException e) {
System.err.println(e);
} catch (IOException e) {
System.err.println(e);
}
return c1;
}

public static void main(String args[]) {

}
}
分享到:
评论

相关推荐

    Java网络爬虫代码

    是用纯Java开发的,用来进行网站镜像抓取的工具,可以使用配制文件中提供的URL入口,把这个网站所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地,包括网页和各种类型的文件,如:图片、flash、mp3、zip、...

    基于Java实现的本地网卡信息抓取工具,并对TCP信息进行解析

    介绍 使用JPcap抓取本地网卡信息,并对...将jpcap.dll放到jdk或者jre的bin下,jpcap.dll也在lib下,这个是64位的 将jpcap.jar加入项目依赖 直接run HttpMain即可,在控制台数据使用的网卡序号,就可以看到抓取内容了。

    java nutbug

    nutbug是用纯Java开发的,用来进行网站镜像抓取的工具,可以使用配制文件中提供的URL入口, 把这个网站所有的能用浏览器通过GET...只需要把抓取下来的网站放到web服务器 (如:Apache)中,就可以实现完整的网站镜像。

    C# onvif获取摄像头rtsp视频流地址和抓拍图片地址

    C#使用onvif协议获取网络摄像头rtsp视频流地址和图片地址,将rtsp视频流地址保存到本地mp4可以参考我的另一个资源

    java傻瓜ai框架,无需任何算法知识,通过简单的api调用就可以实现 常用的图像内物体的识别,定位等图像ai服务,及自然语言分

    本包说明: 本包对物体在图像中进行训练及识别,切割,定位的轻量级,面向小白的框架。...部署简单: 本引擎所有底层函数及数学库都是作者JAVA手写,不依赖任何第三方库,所以开发者只需要将本包下载到本地后,打成

    snoics-reptile 网页爬虫2.0

    只需要把抓取下来的网站放到web服务器 (如:Apache)中,就可以实现完整的网站镜像。 2、现在已经有了其他的类似的软件,为什么还要开发snoics-reptile? 因为有些在抓取的过程中经常会出现错误的文件...

    SolrMavenTomcat:这是一个 Maven 工作,带有用于构建 solr 的示例核心,有一个 scriptinstall.sh 将抓取并安装一个 tomcat 到您的本地 .m2 文件,以便准备好放入任何环境中的 zip 文件

    SolrMavenTomcat 这是一个 maven 工作,带有用于构建 solr 的示例核心,有一个脚本/install.sh 将抓取并安装一个 tomcat 到您的本地 .m2 以准备好放入任何环境的 zip 文件

    下图高手 v13.5.2.2官方版

    能将别人或者自己淘宝、天猫、拍拍、阿里巴巴等平台网店的所有或者部分商品一键轻松下载到本地电脑上,并将生成的数据包用淘宝助理搬家到自己淘宝或天猫网店;可抓取店铺宝贝的主图,描述图片及宣传文字等,能大大...

    xheditor-1.1.14

    说明:当localUrlTest测试为false时,会将图片URL发往当前参数指定的服务器端上传接收程序,抓取成功后将本地URL返回并替换 备注:v1.1.8新添加 readTip:无障碍读屏提示 参数值:字符串(默认为空) 说明:无障碍读屏...

    大数据中数据采集的几种方式.pdf

    再将收集到的数据送到指定的⽬的地…… 1.2通过⽹络采集⼤数据 ⽹络采集是指通过⽹络爬⾍或⽹站公开API等⽅式,从⽹站上获取⼤数据信息,该⽅法可以将⾮结构化数据从⽹页中抽取出来,将其存储为 统⼀的本地数据⽂件...

    Frooder-Android:Frooder,免费的食物查找器,来到 Android

    全局地图、位置和解析设置使列表可排序限制位置请求UI更改(启动页面,卡片扩展,修复卡片选择颜色,制作添加按钮材料设计) 将所有数据存储在本地需要对抓取的数据进行分析并自动将其作为食品放入。 ######已经...

    爆炸JSON工作区「Bang JSON workspace」-crx插件

    使您能够检查数组的模式-使您能够检查数组内指定键的值-支持任何Java表达式的值,例如输入-支持本地json文件(如果在扩展页中启用)-来自API的原始json响应将存储到名为bang的本地变量中,您可以使用浏览面板来播放...

    content-crawler:将CMS和文章从Mendeley爬到ElasticSearch索引中

    在上创建一个帐户点击“我的应用”标签创建一个应用程序,在重定向URL中放入 生成机密(请注意,此时您需要复制它,之后便无法查看) 将机密和应用程序ID(例如4108是应用程序ID)复制到属性文件中Mendeley API使用...

    Sosoo 1.0网络爬虫程序.doc

    Sosoo 1.0网络爬虫程序 ---用户开发手册 编写人:王建华(rimen/jerry) 编写目的:基于sosoo定制web spider程序的编程人员。 目录 一:安装sosoo 2 二:功能定制 2 1.基本功能参数的设置。 2 2.配置...

    Oracle SQL高级编程(资深Oracle专家力作,OakTable团队推荐)--随书源代码

    读者可以学习到以下几个方面的技巧:  掌握Oracle数据库中独有的SQL强大特征;  读取并理解SQL执行计划;  快速分析并改进表现欠佳的SQL;  通过提示及配置文件等来控制执行计划;  在程序中优化查询而无需改动...

    ZendFramework中文文档

    7.13.1. 从 1.0.x 到 1.5.0 或更新的版本的移植 7.13.2. 从 0.9.3 到 1.0.0RC1 或更新的版本的移植 7.13.3. 从 0.9.2 移植到 0.9.3 或更新的版本 7.13.4. 从 0.6.0 移植到 0.8.0 或更新的版本 7.13.5. 从 0.2.0 ...

Global site tag (gtag.js) - Google Analytics