百度360必应搜狗淘宝本站头条
mqtt服务器xftp6vscode使用技巧mybatiscollectionkeyerror
当前位置：网站首页 > 热门文章 > 正文

快速用NodeJs编写一个爬虫抓取网站数据

bigegpt 2024-10-08 00:53 23 浏览

首先需要熟悉nodejs 中的request模块。

request 其实就是简化版的第三方类http模块，同时支持https 和重定向。

下面是它的简单用法:

默认是get方法，还有post方法，但我们今天要做的爬虫用不到post就不讲了。

var request = require('request');
request('url你的请求', function (error, response, body) {
 if (!error && response.statusCode == 200) {
 console.log(body) // 请求成功的处理逻辑
 }
});

其次要熟悉cheerio模块

cheerio是为服务器特别定制的，快速、灵活、实施的jQuery核心实现。简单，易用，灵活，反正你会用jQuery就可以使用它，当然也会有一些细微的差别。

举个例子：

// 引入cheerio模块
const cheerio = require('cheerio')
// 加载HTML字符串
const $ = cheerio.load('<h4 class="title">Hello world</h4>')
 // 设置Text
$('h4.title').text('Hello there!')
// 添加class
$('h4').addClass('welcome') 
 // 获取完整HTML
$.html()
//=> <html><head></head><body>
// <h4 class="title welcome">Hello there!</h4></body></html>

使用iconv-lite来搞定乱码问题

nodejs只支持utf-8，node没有提供转换编码的原生支持，iconv-lite，可以实现编码转换，

举个例子：

var http = require("http");
var iconv = require("iconv-lite");
var url = "http://hq.sinajs.cn/list=sh600595";
var req = http.request(url, function(res){
 res.on('data',function(data){
 data = iconv.decode(data, 'GBK');
 console.log(data);
 });
});
req.end();

了解了上面的代码就差不多了，接下来开始完成网络爬虫代码编写：

const request = require('request');
const cheerio = require('cheerio');
var iconv = require('iconv-lite');
var options = {
 url: "https://jiage.autohome.com.cn/price/carlist/p-35368",
 method: 'GET',
 encoding: null
}
request(options, function(error, response, body) {
 classList = [];
 if (!error && response.statusCode === 200) {
 var buf = iconv.decode(body, 'utf8').toString(); //解码gb2312
 var $ = cheerio.load(buf);
 	 // 导航
 	_src = $(".caricon-list dd a").each(async function(index) {
 	var $me = $(this);
 	if (index > 0 && index < 9) {
 	var item = {
 	id: index,
 	url: $me.attr('href'),
 	name: $me.children('span').text() || "未知"
 };
 let url = $me.attr('href');
 let name = $me.children('span').text() || "未知";
 try {
 const car = await MyClassList.insert({
 url: url,
 name: name
 })
 } catch (e) {
 console.log(e)
 }
 classList.push(item);
 }
 })

上面的代码是request读取到页面上的数据，然后使用iconv解决乱码问题，在使用cheerio把我们需要的数据取出来重新整理，以备后续使用。

鉴于篇幅限制，后续代码介绍请持续关注。

相关推荐

pyproject.toml到底是什么东西?（py trim）

最近，在Twitter上有一个Python项目的维护者，他的项目因为构建失败而出现了一些bug(这个特别的项目不提供wheel，只提供sdist)。最终，发现这个bug是由于这个项目使用了一个pypr...

BDP服务平台SDK for Python3发布（bdp数据平台）

下载地址https://github.com/imysm/opends-sdk-python3.git说明最近在开发和bdp平台有关的项目，用到了bdp的python的sdk，但是官方是基于p...

Python-for-Android (p4a):（python-for-android p4a windows）

一、Python-for-Android(p4a)简介Python-for-Android(p4a)，一个强大的开发工具，能够将你的Python应用程序打包成可在Android设备上运行...

Qt for Python—Qt Designer 概览

前言本系列第三篇文章（QtforPython学习笔记—应用程序初探）、第四篇文章（QtforPython学习笔记—应用程序再探）中均是使用纯代码方式来开发PySide6GUI应用程序...

Python:判断质数（jmu-python-判断质数）

#Python:判断质数defisPrime(n):foriinrange(2,n):ifn%i==0:return0re...

为什么那么多人讨厌Python（为什么python这么难）

Python那么棒，为什么那么多人讨厌它呢？我整理了一下，主要有这些原因：用缩进替代大括号许多人抱怨Python完全依赖于缩进来创建代码块，代码多一点就很难看到函数在哪里结束，那么你就需要把一个函数拆...

一文了解 Python 中带有 else 的循环语句 for-else/while-else

在本文中，我们将向您介绍如何在python中使用带有else的for/while循环语句。可能许多人对循环和else一起使用感到困惑，因为在if-else选择结构中else正常...

python的numpy向量化语句为什么会比for快?

我们先来看看，python之类语言的for循环，和其它语言相比，额外付出了什么。我们知道，python是解释执行的。举例来说，执行x=1234+5678，对编译型语言，是从内存读入两个shor...

开眼界!Python遍历文件可以这样做

来源：【公众号】Python技术Python对于文件夹或者文件的遍历一般有两种操作方法，一种是至二级利用其封装好的walk方法操作：import osfor root,d...

告别简单format()!Python Formatter类让你的代码更专业

Python中Formatter类是string模块中的一个重要类，它实现了Python字符串格式化的底层机制，允许开发者创建自定义的格式化行为。通过深入理解Formatter类的工作原理和使用方法，...

python学习——038如何将for循环改写成列表推导式

在Python里，列表推导式是一种能够简洁生成列表的表达式，可用于替换普通的for循环。下面是列表推导式的基本语法和常见应用场景。基本语法result=[]foriteminite...

详谈for循环和while循环的区别（for循环语句与while循环语句有什么区别）

初九，潜龙勿用在刚开始使用python循环语句时，经常会遇到for循环和while循环的混用，不清楚该如何选择；今天就对这2个循环语句做深入的分析，让大家更好地了解这2个循环语句以方便后续学习的加深。...

Python编程基础:循环结构for和while

Python中的循环结构包括两个，一是遍历循环（for循环），一是条件循环（while循环）。遍历循环遍历循环（for循环）会挨个访问序列或可迭代对象的元素，并执行里面的代码块。foriinra...

学习编程第154天 python编程 for循环输出菱形图

今天学习的是刘金玉老师零基础Python教程第38期，主要内容是python编程for循环输出菱形※。（一）利用for循环输出菱形形状的*号图形1.思路：将菱形分解为上下两个部分三角形图案，分别利用...

python 10个堪称完美的for循环实践

在Python中，for循环的高效使用能显著提升代码性能和可读性。以下是10个堪称完美的for循环实践，涵盖数据处理、算法优化和Pythonic编程风格：1.遍历列表同时获取索引（enumerate...

一周热门
最近发表
标签列表