胡树能访谈:解读《大梦大数据平台》

本篇文章3807字，读完约10分钟

阿里巴巴发起的“去爱”运动引发了业内的广泛讨论。2013年，当“棱镜门”事件爆发时，银监会发布了第39号文件，“德爱”被推到了风口浪尖。从目前的政策趋势来看，推动相关信息产品本地化是大势所趋。国内数据库取代国外数据库只是时间问题。 在国内数据库阵营中，有一家制造商在数据库管理员群体中知名度最高，受欢迎程度最高。2014年，其数据库产品已应用于国家财政支付、社会保障核心应用、中国铁路建设总公司等大型央企金融系统等重点行业的核心领域。与此同时，在大数据分析领域，也存在多个MPP分布式集群的在线系统。他们的产品率先走出国门，开拓东南亚、非洲、俄罗斯等海外市场。它是“大梦”。 在刚刚结束的2015年中国数据库技术大会上，大蒙云平台软件事业部副总经理兼首席设计师胡树能做了题为“电子政务领域的大数据解决方案”的主题演讲，分享了大蒙大数据平台针对电子政务领域的业务背景和特殊需求，不断总结和完善的总体架构设计理念和技术实施流程。

电子政务中大数据项目的难点是什么？互联网行业有什么不同？达蒙今年的重点是什么？阿里海洋基地数据库将很快投入商业使用。这会导致国内数据库市场的重组吗？为什么我们很少看到国内数据库在中小企业市场的应用案例？为什么国内数据库案例都是政府项目？针对这些更为尖锐的问题，IT168的老鱼采访了大梦数据平台产品的总设计师胡淑能，并对上述问题进行了深入探讨。 老鱼:你好，胡先生！首先，请向我们的网友问好，并简单介绍一下自己。 胡淑能:大家好。我是梦公司云平台软件事业部副总经理、数据平台产品总设计师胡淑能。自2006年以来，我一直担任许多政府领域数据中心项目的首席架构师和技术顾问，在政府领域数据中心的建设方面拥有丰富的实践经验。 老鱼:电子政务中大数据项目的难点是什么？大数据实施和互联网行业有什么区别？ 胡树能:电子政务领域最大的问题是多个部门之间信息共享困难，即“纵向强横向弱”，尤其是横向部门之间沟通困难，这与互联网行业明显不同。互联网数据主要是从业务系统和终端收集的，而电子政务领域的数据分散在众多的“信息孤岛”中，很难收集和整合数据。 达蒙多年来接触了大量政府数据中心项目，发现了许多常见问题。总结了以下四点: 1.缺乏总体顶层规划:不同的标准1。重复建设和粗放建设 2.分散是垂直的、强的和弱的:在商业中很难独立工作、共享信息和合作。 3.信息技术资源利用率低:基础设施利用率低，未能充分发挥数据价值 4.项目建设和运营成本高:投资成本高，缺乏专业的运营团队，运营成本高，时间成本高。 老鱼:孟达的大数据解决方案和其他国内数据库制造商有什么不同？特点是什么？ 胡树能:大梦最大的特点是我们提出了大数据平台的概念。大梦大数据平台支持海量数据处理和分析，提供基于分布式存储、大规模并行计算、多源数据融合等技术的数据生命周期管理工具。它可以实现数据存储、交换、管理、分析和服务，为传统业务应用、资源交换和共享、大数据分析等应用场景提供透明、高效、安全、统一的服务和支持。

大数据存储领域的梦想DM7远远超过了结构化存储领域的竞争对手。同时，我们增加了非结构化数据存储数据库(自主开发)，以支持NoSQL的需求。在数据交换层，我们采用了异构数据实时同步技术(DMHS)。在将生产数据库中的数据同步到数据中心时，我们可以使用Goldengate技术，只分析数据库预置，不需要通过各种接口查询数据，这样不仅提高了效率，而且占用的资源更少。

在我们新开发的分布式数据查询引擎中，开发人员只能通过接口在后台查询分散的数据。数据可能是异构的，我们正在考虑与NoSQL合并。对于上层工具，不需要考虑一个数据库或多个数据库或结构化或非结构化数据的存在，并且有一个统一的数据源可供访问，这是我们的特点。

此外，我们提出的大数据平台是一个开放平台。我们希望与其他制造商合作，如家用服务器、中间件等。通过深入优化，各种产品可以高度适应，使用户选择更容易。目前，达蒙公司准备在北京、成都、武汉、上海等地建设大数据平台基地和体验中心，并将联系行业厂商。 老鱼:在大数据持续升温和“棱镜镜门”事件的推动下，“去IOE”的呼声越来越高。对于国内数据库而言，2014年是不错的一年。达蒙在过去的一年里进展如何？今年《大梦》将在哪里发挥它的影响力？重点是什么？ 胡树能:大数据持续升温，市场环境更好，这对我们真的很好。斯诺登事件后，中国对自治和控制有了更高的要求。2014年，达蒙已应用于国家财政支付、社会保障核心应用、中铁建设等大型央企金融系统等重点行业的核心领域。同时，在大数据分析领域也有多个MPP分布式集群在线系统。我们还开拓了东南亚、非洲、俄罗斯等海外市场。大梦数据库的市场取得了很大的进步。去年，达蒙在数据库和数据中心业务领域实现了良好的收入，并实现了持续的利润。最重要的是，去年达蒙没有依靠国家政府的财政支持，而是完全依靠市场竞争来支撑自己。 今年，我们将进一步加强对数据库自主可控市场的跟踪和推广。我认为在国内的数据库制造商中，达蒙产品是最好的，我们希望能占到自主可控市场份额的85%。 此外，围绕大数据解决方案推出的大梦大数据平台也将大力开发一系列大数据生命周期管理的基础软件工具，加大研发和市场投入，打造一套专业化的整体解决方案。当然，这是开放的。我们希望联合国优秀的制造商将共同努力，为用户形成一站式解决方案。 老鱼:今天会议的一位嘉宾谈到了一个观点。随着SQL在性能和安全容错方面的不断提高，Hadoop将取代MPP，混合架构将消失！你认为这个观点怎么样？ 胡树能:Hadoop取代了MPP。我认为将来实现它是可能的，但目前还不成熟。我们可以看到这种情况仍然很少，这表明Hadoop仍然有一些局限性。在这种情况下，各种技术将长期共存，更不用说MPP了，也就是说，传统的关系数据库将长期存在，所以我认为MPP不会在短时间内消亡。 Hadoop取代了MPP，可能是互联网行业新推出的业务系统中的一个很好的技术选择方案。然而，在电子政务领域，这还不够，因为政府部门有各种各样的系统，这些系统建立在不同的时代，需要相互集成。它们不能被完全抛弃，至少在短期内不能被取代。从个人意愿的角度来看，我希望所有的系统都将被替换，尤其是那些在IOE环境下运行的系统。替换对于基础软件的本地化市场也是一个很好的机会。事实上，旧系统不可能被完全抛弃。这是不现实的。因此，异构数据的集成技术在新旧替换过程中变得非常重要。 老鱼:“IOE”的概念在很多年前就提出来了，但是像证券和银行这样的金融行业也试图推动数据库的本地化，但是非常困难。你对国内数据库延迟进入金融业核心业务有何看法？ 胡树能:数据是企业最重要的资产，尤其是在金融行业。数据可以说是金钱。因此，银行肯定会对“去IOE”非常谨慎。数据库是系统的底层支撑，上述应用软件也是基于数据库开发的。如果要更换数据库，必须完全更换相应的应用软件，而这种更换的成本非常高。 目前，金融业已逐步推进“IOE清除”。去年和今年，达蒙应邀参加中国工商银行、招商银行、中国证券等银行机构的系统测试工作。应该说，更换项目已经启动并积极推进，但这项工作不能马上解决。事实上，其他行业的本地化替代并非一蹴而就。在我们的国家电网项目中，我们花了两年时间和大量精力来取代甲骨文。我认为在银行和证券领域，每个人都在积极努力，我们的产品技术也在提高。也许这种改善在1-2年后会更大。 老鱼:浙江经批准的私人银行——网上招商银行的系统使用阿里的海洋数据库，该数据库声称是第一个“取消IOE”的银行系统。你怎么想呢?阿里海洋数据库可能会在不久的将来上市，国内数据库将增加一个重量级成员。这是否会影响现有的国内数据库结构，并导致国内数据库市场份额的重新洗牌？ 胡树能:首先，阿里巴巴是国内企业的骄傲。我谨对这一成就表示祝贺。据我所知，海洋基地是一个分布式数据库。其诞生的目的是首先满足阿里巴巴的国内需求，然后逐渐将其转化为产品。因此，适用的场景和业务领域不同于传统数据库。传统数据库在电子政务领域有着非常广泛的应用。目前，它们占据了很大的市场份额，不会立即被替换并转移到新兴数据库。传统数据库和新兴数据库都有自己的生存空，新的力量加入了数据库行业。我们非常欢迎他们，这可以促进国内数据库技术的进步和发展。 老鱼:看看官方网站上的大多数国内数据库制造商。绝大多数成功案例都在政府部门。中小企业市场的案例很少。为什么会有这样的问题？ 胡树能:这与国内数据库的发展历史是分不开的。在早期，即从20世纪90年代到2004年，国内数据库以科研项目的形式存在，当时它们主要由国家支持。然而，自2005年以来，国家调整了产业政策，对国内数据库的支持已转变为采用各种电子政务试点项目，要求国内数据库参与市场竞争。这也导致了这样一个事实，即国内数据库基本上是作为开发过程中的主要客户为政府服务的。因此，政府相对而言是他们的客户来源和主要市场。因此，政府的案例更多，企业的案例更少。这是主要原因。 虽然我们有一份政府名单，但不是由政府直接分配的。在与甲骨文、SQL Server等国际制造商的竞争中，达蒙凭借自身的优势和核心实力赢得了竞争。(资料来源:http://tech.it168.com/a2015/0423/1723/000001723061.shtml信息技术168)