...大数据和相关的互联网数据采集技术,2给出了一个互联网征信系...
罗天
摘 要：随着社会的发展，科学技术的不断提升，促进了计算机网络技术的不断进步，逐渐的被应用到了人们的生活与工作当中。在互联网视频网站对数据进行获取时，就应用了爬虫技术。为了使爬虫技术更好的在互联网视频网站中进行应用，本文就对互联网视频网站使用爬虫技术获取数据进行了研究，使人们更好的利用互联网视频网站观看视频。
关键词：互联网视频网站；爬虫技术；获取数据
中图分类号：TN915.08 文献标识码：A 文章编号：1671-2064（2017）03-0030-01
在当前阶段中，随着计算机网络技术的不断完善，各个领域当中的数据在不断增加，从而使当前社会进入到大数据时代，这些数据可以为各个领域的发展提供良好的帮助。这种情况下，为了使互联互联网视频网站更好的为人们提供视频，就要更好的对这些数据进行获取。因此，加强对互联网视频网站使用爬虫技术获取数据的研究具有重要意义，促进我国互联网视频网站更好的发展。
1 互联网视频网站数据获取的特点
1.1 一般特点
随着社会的发展，科学技术的不断进步，计算机网络技术得到了飞速的提升，从而出现了大量的数据，其中就包括了互联网视频网站数据，在这些数据当中，就会体现出很多的特点，主要有以下几个方面：（1）数据体量巨大。在人们的生活当中，利用网络观看视频是主要的娱乐方式之一，因此，在观看的过程中，就会出现很多的网络信息，如用户的个人信息，用户对节目观看的信息，节目自身具有的信息等等，从而使其具有了数据体量巨大的特点；（2）数据类型繁多。在对视频网站进行应用时可以发现，在其中包含了很多形式的内容，如图片、视频、文字等，因此，就说明视频网站产生的数据出现了类型繁多的特点；（3）价值密度低。在视频网站运行的过程中，是连续不断的产生数据的，而在这些数据当中，包括了各个种类的信息，而在这些信息当中，有些信息存在的价值往往不是很高，不会影响到视频网站的发展；（4）处理速度快。这一特点就体现在人们对视频观赏时，能够立刻的产生数据，据相关部门统计，互联网视频网站每秒产生的数据是以PB为单位的[1]。
1.2 获取网页信息
在互联网视频网站数据当中，除了具有上述的一般特点之外，还具有获取网页信息的特点。在对视频网站开发的过程中，可以利用很多技术来完成，如英文超级文本预处理语言技术、面向对象程序设计语言技术等，虽然这些技术的方式具有一定差异，但是在对数据进行传输时，使用的原理相差不是很大，都是利用相应的HTTP协议，将数据传递到用户当中。并且，由于互联网视频网站数据具有上述的一般特点，因此，在其对数据进行获取时，还可以获取一些网页当中的信息，通过对网页中的信息进行应用，从而为视频网站更好的运行提供了帮助[2]。
2 互联网视频网站获取数据时爬虫技术的应用
2.1 网络爬虫的算法分析
在应用爬虫技术对互联网视频网站数据进行获取时，是利用相应的算法来完成的，而在当前的算法当中，主要有以下三种：第一种是深度优先搜索算法，该算法是爬虫技术当中最基础的算法，同时也是出现最早的一种算法，其目标是要到达结构的最外结点，即在搜索时不能将具有链接的HTML文件检索出来。该算法运行当中，首先沿着一条链接进行检索，直到边缘节点为止，将该条连接中的所有数据搜索出来，然后在对另一条链接进行搜索，从而使视频网站获得了相应的数据。使用该种算法获取数据时，能够准确的检索出整个文件中的数据，但是由于网络的复杂性，在对数据搜索时，常常会导致该算法中断，不能对其他链接进行检索；第二种为宽度优先算法，就是在视频网站信息获取的过程中，根据网站的结构不同，沿着宽度的方面，一层一层的进行搜索[3]。
2.2 算法改进
由于上诉的基本算法都存在一定的缺陷，对互联网视频网站的数据获取带来了一定的影响，其中最好优先搜索算法的缺陷较小，只是存在查全率不高的问题，因此，就要对该算法进行改进。在利用改进算法进行检索时，在对一个文件查找完成后，就算该文件与本次查找关系不大，但是也不会对其进行忽略，而是将其储存到相应的位置，对其进行深入的分析，分析出每个信息中是否会存在视频网站有用的信息，如果不存在这一类信息，才可以继续对其他文件进行检索，然后利用该种算法对整个网络进行检索，从而改善了查全率不高的问题，使互联网视频网站数据获取的效果更高[4]。
3 结语
综上所述，在当前的互联网当中，大数据为其发展提供了重要的帮助，但是，由于大数据具有的开放性、共享性等特点，在使用的过程中还会存在一定的风险，因此，在利用爬虫技术对互联网视频网站的数据进行获取时，要加强对数据风险的防范，能够保证网站的安全性、可靠性。
参考文献
[1]孔涛，曹丙章，邱荷花.基于MapReduce的视频爬蟲系统研究[J].华中科技大学学报（自然科学版），2015，09（05）：129-132.
[2]邓炳光，郭慧兰，张治中.移动互联网用户行为分析系统中聚焦爬虫的设计与实现[J].重庆邮电大学学报（自然科学版），2015，11（03）：359-365.
[3]饶军，华申峰，吴晓璐.关于互联网视听节目监测中网络爬虫的应用研究[J].江西通信科技，2015，02（03）：34-36.
[4]刘名.视频聚合网站内嵌链接行为现有法律规制的不足与改进以新制度经济学视角为路径[J].电子知识产权，2015，04（10）：15-21.
