学习日记 Day12

关于爬虫，相信大家都不陌生，关于为什么要学爬虫，爬虫为什么要用python，爬虫是不是合法等等相关问题在本文就不赘述了。本文主要是关于爬虫的具体实现。

一、爬虫的流程

爬虫的过程：把网页的URL地址加入到URL队列中，根据URL下载网页内容，得到网页内容，重复提取URL和URL去重复操作，最后提取内容并存储数据。

二、爬虫相关技术介绍

1. HTML和CSS

1> HTML

HTML全程是超文本标记语言，与程序设计语言不同，没有逻辑结构，采用标记方式进行网页构建，使用<>讲标记括起来。

如下，是一个html文件内容及在网页中的显示：

<html>
    <head>
        <title>演示页面</title>
    </head>
    <body>
        <p>这是一个test网页</p>
    </body>
</html>

html中的常用标签如下，完整的标签可参考：HTML 标签参考手册 (w3school.com.cn)

标签名	说明	示例
<!–…–>	定义注释	<!–这是一个注释–>
<a>	定义锚，超链接	<a href=”https://blog.csdn.net/sinat_41752325?spm=1011.2124.3001.5343″>小地瓜</a>
<div>	划分HTML块	<div style=”color:#00FF00″> <p>这是绿色的文本</p> </div> <div style=”color:#0000FF”> <p>这是蓝色的文本</p> </div>
h1~h6	标题，6种不同风格的标题	<h1>title1</h1> <h2>title2</h2> <h3>title3</h3> <h4>title4</h4> <h5>title5</h5> <h6>title6</h6>
href	超链接地址，和<a>一起使用	<a href=”https://blog.csdn.net/sinat_41752325?spm=1011.2124.3001.5343″>小地瓜</a>
<img>	图片	<img src=”e:\\1.bmp” />
<li>	列表项	<ol> <li>CSDN</li> <li>Nowcoder</li> <li>博客园</li> </ol>
<p>	定义段落	<p>这是绿色的文本</p>
<span>	行内标签	<p><span>提示：</span>这是绿色的文本</p>
src	图片存放路径	<img src=”e:\\1.bmp” />
<table>	表格标记	<table border=”1″> <tr> <th>month</th> <th>saving</th> </tr> <tr> <td>jsnuary</td> <td>$10</td> </tr> </table>
<td>	列标记	<td>jsnuary</td> <td>$10</td>
<tr>	行标记	<tr> <td>jsnuary</td> <td>$10</td> </tr>

示例，原始文件在这里（图片路径要根据自己电脑的路径改）

<html>
    <head>
        <!--这是一行注释-->
        <title>演示页面</title>
    </head>
    <body>
        
        <div style="color:#00FF00">
            <p><span>提示：</span>这是绿色的文本</p>
        </div>
        <div style="color:#0000FF">
            <p>这是蓝色的文本</p>
        </div>
        <div style="color:#FF0000">
            <a href="https://blog.csdn.net/sinat_41752325?spm=1011.2124.3001.5343">小地瓜</a>
        </div>
        
        <h1>title1</h1>
        <h2>title2</h2>
        <h3>title3</h3>
        <h4>title4</h4>
        <h5>title5</h5>
        <h6>title6</h6>
        
        <img src="e:\\1.bmp" />

        <p>定义一个列表</p>
        <ol>
            <li>CSDN</li>
            <li>Nowcoder</li>
            <li>博客园</li>
        </ol>

        <p>定义一个表格</p>
        <table border="1">
            <tr>
                <th>month</th>
                <th>saving</th>
            </tr>
            <tr>
                <td>jsnuary</td>
                <td>$10</td>
            </tr>
        </table>
    </body>
</html>

显示：