最近在学习《大数据技术》课程时我一直在思考一个问题为什么现在几乎所有行业都在谈“大数据”一开始我对大数据的理解很简单——数据很多。后来学了 HDFS、MapReduce以及云计算和物联网相关知识后我发现大数据真正的价值从来不是数据本身而是让数据产生价值。大数据从哪里来以前的数据大多来自人工录入。而今天的数据更多来自各种智能设备。手机定位、智能手环、摄像头、汽车、智能家居……这些设备每时每刻都在采集数据。这就是物联网IoT。如果把整个系统比作一个人那么物联网负责看、听、感知世界不断产生各种各样的数据所以我越来越觉得没有物联网就没有今天的大数据。数据并不是凭空产生的而是来源于现实世界。数据有了为什么还需要云计算当数据越来越多一个新的问题出现了。如果每天产生 TB、PB 甚至 EB 级的数据一台电脑还能处理吗答案显然是否定的。于是就有了云计算。以前需要买服务器、搭机房现在可以直接使用云平台提供的计算资源。哪里需要计算就从哪里获取资源。哪里需要存储就把数据放到云端。云计算解决的是如何高效地存储和计算海量数据。学习 HDFS 时我印象特别深。为什么一个文件要切成很多 Block为什么数据要保存多个副本为什么计算要尽量靠近数据后来才发现这些设计都是为了两个目标更快更稳定云计算并不仅仅是把东西放到云上而是通过分布式计算让海量数据真正能够被处理。那么大数据真正负责什么很多人认为大数据就是存很多数据。其实不是。真正的大数据是数据分析。举几个很常见的例子。为什么短视频平台总能推荐我喜欢的视频为什么购物软件知道我可能想买什么为什么地图能够预测堵车它们依靠的都不是数据本身。而是通过分析大量数据发现规律再做出预测。数据只有经过分析才真正有价值。否则它只是存放在服务器里的数字而已。我终于理解了三者之间的关系学习到这里我脑子里慢慢形成了一幅完整的图。现实世界 │ ▼ 物联网采集数据 │ ▼ 云计算存储 计算 │ ▼ 大数据分析 决策 │ ▼ 服务于现实世界以前我总觉得云计算、大数据、物联网是三门不同的技术。现在我更愿意把它们理解成一条流水线。物联网负责生产数据云计算负责处理数据大数据负责利用数据创造价值。三者缺一不可。大数据时代数据就是新的生产资料有人说数据是新时代的石油。我觉得这句话很有意思。石油本身不能直接创造价值。只有经过提炼才能变成汽油、塑料、化工产品。数据也是一样。真正重要的不是拥有多少数据。而是能不能从数据中发现规律解决问题。未来无论是智慧城市、自动驾驶、医疗健康还是人工智能都离不开大数据的支撑。我的思考这次学习让我最大的收获不是记住了 HDFS、MapReduce 或者各种专业名词。而是理解了一件事情大数据的核心不是“大”而是“价值”。数据越来越多只是时代发展的结果。真正重要的是我们如何利用这些数据让它们帮助人们做出更好的决策提高效率创造新的价值。我相信随着人工智能的发展大数据的重要性还会不断提升。而作为计算机专业的学生我也希望能够不断学习相关技术不只是学会使用工具更希望真正理解它们背后的设计思想未来能够参与到智能化应用的开发中。因为真正改变世界的从来不是数据而是数据背后的智慧。