大数据产业竞争靠什么?星环打造大数据基础软件的中国“心”

　　国家实施国家大数据战略，塑造国家竞争力的战略制高点之一;企业推出大数据技术与产品，发展大数据服务，推动大数据产业发展;政府、社会以及各类用户依靠大数据，提升政府治理能力，优化民生公共服务，提高自身的竞争力。中国大数据领域的产、学、研、用大格局形成，中国的大数据产业蓝图已经绘成。

　　那么在火热的大数据领域，您知道背后竞争的核心技术是什么?在这些核心技术上我们国家是跟随者、追赶者还是开拓领先者?

　　作为目前国内极少数掌握企业级大数据核心技术的高科技公司，星环信息科技公司的创始人& CTO孙元浩在近日接受中国软件网记者的采访时认为，虽然在大数据领域目前国内大部分企业的核心数据库等基础软件系统还大都是来自国外公司，但是中国企业的应用场景非常复杂，中国的电信运营商、银行、交通等领域，数据量和复杂程度要远超国外同类企业，目前国外公司的产品还不能满足国内用户的需求。出于安全可控的需求，中国必须在大数据的核心技术基础软件方面取得突破。

　　基于此，星环提出的打造大数据基础软件的中国“心”理念。实践证明，星环的选择是正确的，一系列技术的突破和核心产品的推出，大数据领域的中国“心”正并一步步付诸实施。

　　大数据领域的基础软件是什么?

　　2017年初出台的国家大数据产业发展的纲领性文件——大数据产业“十三五”规划发布，提出加快形成安全可控的大数据产品体系。重点突破面向大数据应用基础设施的核心信息技术设备、信息安全产品以及面向事务的新型关系数据库、列式数据库、NoSQL数据库、大规模图数据库和新一代分布式计算平台等基础产品。

　　孙元浩认为，大数据生态可以分为四层，从下至上分别是大数据平台基础软件层、分析工具层、应用层和专业服务层。大数据领域的基础软件层提供了存储、计算、分析和挖掘等功能。因此，大数据时代核心平台不仅仅是分布式数据库软件，还包括了实时流处理引擎、NoSQL数据库、机器学习、搜索引擎、图计算等。

　　分布式的分析型数据库仍然是应用最广泛的产品，大量建立在传统关系数据上的现有应用，希望通过新的大数据技术来提升效率。同时，非数据库的应用也发展得很快，例如流处理技术目前已经广泛应用在物联网IoT中，机器学习技术也在逐渐升温。

　　例如，星环推出的产品Transwarp Data Hub就包括了高性能分布式分析型数据库Inceptor、流处理引擎Stream、NoSQL数据库Hyperbase、数据挖掘与机器学习产品Discover等子产品，以解决大数据的4个V——数据量大、类型复杂、速度要求高、价值挖掘——方面的需求。

　　分析和工具层包括统计分析软件、可视化、机器学习工具等，例如典型的BI厂商有Qlik、Tableau、帆软等;应用层是针对行业属性推出的基于大数据的应用，典型的代表有Palantir、ZestFinance等;专业服务层针对具有特殊需求的用户进行定制化开发与软件服务。

　　中国企业加入到大数据基础软件全球大格局的竞争

　　孙元浩介绍，大数据基础软件技术在过去10多年中取得了四个里程碑;

　　第一，2006年Hadoop技术的诞生，包括分布式文件系统和Map/Reduce计算框架，使得分布式计算得到普及。

　　第二，2007年，在Hadoop上的SQL翻译器Hive的出现和使用，使得Hadoop成为互联网公司以及后来很多公司的数据仓库的基础技术平台。

　　第三，2010年，HBase的广泛应用，特别是在Facebook的大规模使用，使得大数据技术不仅用于离线批处理，也适用于在线应用。

　　而第四个里程碑则是2014年左右Spark技术成为替代Map/Reduce的下一代高速计算引擎，被广泛接受，进一步扩展大数据技术应用到交互式分析和机器学习的领域。

　　因此，国内外大数据基础软件的竞争，仍然集中在SQL on Hadoop技术以及流处理技术上，同时围绕数据安全、数据治理等方面提供一系列的工具。随着业务需求的变化，竞争焦点也会有所变化。

　　目前国外的大数据基础软件产品，基本上形成了三家初创公司Cloudera、Hortonworks、MapR为主的市场格局，传统大型公司如IBM、Teradata、EMC、Pivotal等都开始采用这些公司的Hadoop技术。

　　因为Hadoop技术所具有的开源特点，在国内仍然有一些大型公司在使用或包装开源的Hadoop技术，不过未来的趋势和格局也会跟美国市场类似。

　　孙元浩认为，大数据基础软件具有技术门槛高、投资大、回报周期长等特点。虽然早期有较多国内外公司采取包装开源软件的方式提供大数据平台软件，但随着大数据应用的日益复杂，客户对产品和技术识别能力的普遍提升，对大数据平台产品的核心竞争力和产品差异化的要求越来越高，坚持自主研发和持续创新的公司才能持续获取客户。

　　星环的定位是专注核心底层技术的研发和产品化，坚持走自主创新的道路，同时与广大合作伙伴合作，支撑合作伙伴构建大数据应用。星环产品已经在几百个用户得到实践。