大数据简介

大数据(Big Data)

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的特点(4V)

1. Volume: 截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。
   • 按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
     1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T …
2. Velocity: 这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。
3. Variety: 这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
4. Value: 价值密度的高低与数据总量的大小成反比，如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。

大数据的发展拐点

在之前企业想要处理大型数据，需要购买昂贵的IBM高性能计算机，大数据难以普及。Doug Cutting在受到谷歌论文GFS和Map-Reduce的影响后开创了Hadoop开源项目，Hadoop的应运而生解决了这一现状，使用廉价的商业计算机就能够并行处理大型数据，Hadoop解决了海量数据的存储以及分析计算问题。近些年来越来越多组织和企业开始适应并把重心转移到大数据上来，使得大数据得以蓬勃发展，现在的Hadoop广义上来说指的是Hadoop生态圈。

大数据的应用场景

大数据现在已经深入到各个行业，最典型的就是电商企业，通过大数据能够更加了解用户，通过用户标签、用户画像全面分析用户的行为，根据用户的喜好实时推荐商品。通过大数据使得企业决策者更加了解自己的商品销售情况，及时地对市场做出反应。等等这些能够更好为企业创造价值。保险行业使用大数据进行海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力。金融行业通过大数据多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险。大数据处理技术也使得当下最火的人工智能、机器学习有了高速发展的平台。再比如交通管理，通过大数据实时预测拥堵路段，方便大家出行。还有最近比较严重的冠状病毒，通过大数据能追查感染人群的交通路线，并且能够定位到其中每一个接触的人。大数据离我们的生活越来越近，大数据时代早已悄然开始了！