股票爬虫(第二篇:代码实现)
看不懂代码的同学可以去找第一篇看一看
第一篇点击此链接
文章目录
- 股票爬虫(第二篇:代码实现)
- 看不懂代码的同学可以去找第一篇看一看
- 前言
- 准备
- 1、新建Maven项目
- 2、需要的依赖、包
- 代码编写
- 1、获取网页返给我们的json
- 2、太乱了,看的眼疼(那就数据清洗一下)
- 3、数据的二次清洗,把数组进行格式化
- 4、完美
- 5、最后转换成csv文件
- 完整代码
- 打开csv文件,数据呈现
- 确认信息含义
- 你把鼠标放到网页图标上,然后再对应json信息即可
前言
写爬虫程序,大家都知道python,其实还有java可以写爬虫,由于博主是大数据分析专业的,而大数据很多框架都和java有关系,所以本篇的代码实现是java。但是别走,此处提供的是思路,你把我的思路用python实现也是可以的。
准备
1、新建Maven项目
2、需要的依赖、包
这里我们需要的依赖有
<!-- 有java无UI浏览器美称的htmlunit(爬虫工具)-->
<dependency><groupId>net.sourceforge.htmlunit</groupId><artifactId>htmlunit</artifactId><version>2.49.1</version>
</dependency>
<!-- json的解析依赖-->
<dependency><groupId>org.json</groupId><artifactId>json</artifactId><version>20210307</version>
</dependency>
<!-- 文件的输出依赖-->
<dependency><groupId>commons-io</groupId><artifactId>commons-io</artifactId><version>2.8.0</version>
</dependency>
这里我们需要的导包有
//来自于htmlunit依赖
import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.Page;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebResponse;
//来自于commons-io依赖
import org.apache.commons.io.FileUtils;
//来自于org.json依赖
import org.json.CDL;
import org.json.JSONArray;
import org.json.JSONObject;
//java自己的包
import java.io.File;
import java.io.IOException;
代码编写
1、获取网页返给我们的json
//使用指定的BrowserVersion创建web客户端实例。
WebClient webClient = new WebClient(BrowserVersion.CHROME);
String url = "http://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61&klt=101&fqt=1&secid=0.000003&beg=0&end=20500000";
//方便的方法来构建一个URL并将其加载到当前的WebWindow中
Page page = webClient.getPage(url);
//返回最初用于创建此页的web响应
WebResponse response = page.getWebResponse();
//使用服务器响应中指定的字符集/编码,以字符串形式返回响应内容。
String json = response.getContentAsString();
输出一下,仅作测试,待会删掉
System.out.println(json);
2、太乱了,看的眼疼(那就数据清洗一下)
根据观察,我们需要的数据藏在data对象的klines对象的数组
那么我们先把data提炼出来,在刚才代码的基础上,再追加以下代码(你先了解json的语法,才能理解以下代码)
//创建JSONObject,把整个json传进去
JSONObject jsonObject = new JSONObject(json);
//获取JSON中的对象
JSONObject mydata = jsonObject.getJSONObject("data");
//输出一下,仅作测试,待会删掉
System.out.println(mydata);
我们离klines只剩一点点了
//获取对象中的数组
JSONArray myjsonarry = mydata.getJSONArray("klines");
3、数据的二次清洗,把数组进行格式化
将这些json数组转换成字符串数组
// CDL支持JSON和逗号分隔列表之间的转换
// String de = CDL.rowToString(myjsonarry);
// 这里你可以输出以下看一下de是什么玩意
// 对字符串进行切片
String[] csv = CDL.rowToString(myjsonarry).split("\",\"");
//测试,记得删
for (String buffer:csv) {System.out.println(buffer);
}
然后你会发现csv[0]和csv[csv.length-1]这两个数组元素的头和尾还有个"
再次清洗
String[] buffer2 = csv[0].split("\"");
csv[0] = buffer2[1];
String[] buffer3 = csv[csv.length - 1].split("\"");
csv[csv.length - 1] = buffer3[0];//测试,记得删掉
for (String buffer:csv) {System.out.println(buffer);
}
4、完美
5、最后转换成csv文件
for (String buffer:csv) {//第一个参数,创建一个文件//第二个参数,将字符串写入文件//第三个参数,这个文件的字符集/编码//第四个参数,是否是追加(这里填是),因为我是一个元素一个元素的写入FileUtils.writeStringToFile(new File("D://testdemo1.csv"), buffer+"\n","UTF-8",true);
}
完整代码
public class spiderdemo {public static void main(String[] args) throws IOException, InterruptedException {WebClient webClient = new WebClient(BrowserVersion.CHROME);String url = "http://push2his.eastmoney.com/api/qt/stock/kline/get?fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61&klt=101&fqt=1&secid=0.000003&beg=0&end=20500000";Page page = webClient.getPage(url);WebResponse response = page.getWebResponse();String json = response.getContentAsString();JSONObject jsonObject = new JSONObject(json);JSONObject mydata = jsonObject.getJSONObject("data");JSONArray myjsonarry = mydata.getJSONArray("klines");// CDL支持JSON和逗号分隔列表之间的转换// String de = CDL.rowToString(myjsonarry);// 这里你可以输出以下看一下de是什么玩意// 对字符串进行切片String[] csv = CDL.rowToString(myjsonarry).split("\",\"");String[] buffer2 = csv[0].split("\"");csv[0] = buffer2[1];String[] buffer3 = csv[csv.length - 1].split("\"");csv[csv.length - 1] = buffer3[0];for (String buffer : csv) {FileUtils.writeStringToFile(new File("D://testdemo1.csv"), buffer+"\n","UTF-8",true);}webClient.close();}
}
打开csv文件,数据呈现
确认信息含义
这里没有表头,你不知道这些字段是什么对吧?
你把鼠标放到网页图标上,然后再对应json信息即可