总第 669 期
【作 者】
毛华扬 梁宁宁
【作者单位】
(重庆理工大学会计学院 重庆 400054)
【摘 要】
【摘要】在当今的大数据时代,能从数量庞大的原始数据中获取有用的数据,并指导企业的决策,成为企业能否把握市场先机的关键。本文基于云计算模式,介绍了云计算的网络部署、会计云服务中心的工作流程,重点介绍了会计数据仓库的设计,并结合数据挖掘技术为企业降低成本、提高收益给出了思路。
【关键词】云计算 数据仓库 数据挖掘
云计算作为信息社会的一种新兴产物,短短10年左右的时间,发展成为引领世界变革的强大动力。但是无论再先进的技术,如果提供的数据和信息是无用的,不能满足使用者的需要,那么所做的一切也将是无用功。究其根源,实现对数据的有效组织和管理,是实现其他一切的重要环节,同时也是最核心和重要的一步。以集团型企业为例,集团企业少则几个子企业,多则上百个,目前集团下的子企业使用的软件各式各样,如果集团总部的决策者想从整体的角度把握各个子企业的经营状况,就得通过各个子企业的报送。这样不仅达不到实时的效果,而且严重影响了决策者使用数据的时间,数据的可靠性也得不到保证,为此集团级会计数据仓库的建立是急切而且必要的。在云计算模式下,如何实现数据仓库的建立,以及如何对数据进行有效组织和管理在本文将进行详细的介绍。
一、云计算、数据仓库以及数据挖掘技术介绍
1. 云计算概念及服务模式。云计算是分布式处理、并行处理和网络处理的进一步发展。用户只需要租用云计算服务,只需要在终端上安装访问Internet的客户端浏览器,便可通过网络享受云计算从基础存储到软件技术支撑的整套服务。
云计算的服务包含三个概念:基础设施即服务(IAAS)、平台即服务(PAAS)和软件即服务(SAAS)。基础设施即服务指的是云服务提供商为用户提供所需要的基础设施,如服务器、操作系统、数据库以及网络连接服务等。平台即服务指云服务提供商为用户提供软件开发平台,可以让用户在平台的基础上进行平台打补和升级操作。软件即服务指云服务提供商为用户提供相关的行业软件,供用户使用。软件的维护和升级也由提供商负责。
把云计算应用到对会计数据的研究上,那么会计云计算服务的部署情况就可以为:云计算提供商Iaas层为用户提供计算机、大空间的物理存储器以及网络接入等的硬件等;Paas层为用户提供会计软件的开发平台,用户可以通过这个平台开发财务软件应用程序;Saas层为用户提供财务软件,让用户通过Internet接入后进行会计核算、会计管理和会计决策等操作。
2. 数据仓库、数据挖掘内涵及其特征。在云计算模式下,对大数据时代的海量数据,传统的RDBMS已经不能满足发展的需要,因此数据仓库和数据挖掘等相关技术也被迅速的推广和更深入的研究。简单把数据仓库概括为:数据仓库是一个过程,它为企业决策者提供数据,这些数据在传统的操作型数据库中是很难找到的。它具有面向主题、不可更新、数据量大以及数据不规范化等特点。为了使数据仓库里的数据能够充分体现数据信息价值,那么就需要对数据进行深度挖掘,从中来分析数据潜在的商机。这里的数据挖掘可以理解为是基于大量的原始数据,通过统计学算法、人工智能技术、数据库、数据仓库技术等,找到这些原始数据潜在的数据模型,为决策者提供决策依据,减少商业风险。
二、云计算模式下会计数据仓库和数据挖掘的设计
集团下属的各个子企业每天都在进行大量的数据处理,但是由于每个子企业之间所使用的数据存放软件各不相同,即使同一个企业,每年的软件也会进行更新或者升级等,都会造成数据不能共享和数据的不一致性,对于决策者而言更不能实时通过分析各个子企业的数据来达到了解经营状况的目的。因此建立数据仓库是必然的,对海量数据的有效组织和管理,使数据具有一致性,是建立数据仓库的关键。云计算技术的发展,也为数据仓库的存放提供了最佳平台,充分利用“云”的资源对数据仓库,多角度、多维度地进行数据挖掘,从而有利于企业决策者了解对象需求,并能够快速制定出正确的方案。
(一)云计算模式下会计数据仓库的设计
云计算为数据仓库的海量数据提供了没有边际、没有上限困扰的保证,并且对海量数据的存储、挖掘,以及分析等很多重要的处理过程都发挥着极其重要的作用,从而使得数据仓库中海量数据的价值能够充分体现出来。基于云计算模式的特点——即用即付,集团企业也不会因为过高的对建数据仓库以及相关软硬件平台的投入而降低数据对企业的价值回报。通过云计算模式这一优越条件,集团企业能够得到具有针对性的服务。
会计云服务中心的服务器部署,用户通过浏览器登录云服务系统,将会计单据录入临时数据库中。会计人员通过浏览器查看临时的单据信息,将这些单据进行分类和审核。这些处理过的单据将会记录到正式的数据库。通过调用各种会计核算算法,最终形成财务报表。公司管理者通过登录云服务系统,查看公司的会计报表,为下一步计划做出决策。
数据仓库的创建首先进行需求分析,之后确定主题域,描述重要的实体,如总账类、应收应付类、固定资产类、员工薪酬类等实体,一般主题之间有些数据元素是相同的,因此也证明了不同主题之间的联系。然后进行概念模型设计,这一阶段主要是根据之前确定的需求分析以及确定的主题完成模型的设计,在模型中,有事实实体和维度实体,两者之间通过外键相连。然后进入逻辑模型的设计阶段,此阶段主要是对事实表、维表的设计,同时确定粒度的划分,为了避免访问时需要大量的时间,事实表要尽可能小,解决好粒度程度的确定,以及维表连接的键。基于集团企业下的数据仓库,在对数据表进行设计时要增加“单位代码”,能对集团内所有的企业进行有效的查询和管理,让每个数据单元都含有单位代码的信息,进而可以实现不同角度下对企业数据管理和数据挖掘等方面的工作,所以即使是相同的数据代码也能通过对单个企业的跟踪查询被识别出来。然后进行物理模型的设计,根据数据被访问的频率以及响应时间,来设计策略索引,以及如何进行数据存储分配等。最后,把各种数据源的数据通过抽取、转换、加载(ETL)到数据仓库中,其流程见图1。(二)基于云计算的会计数据分布式处理
由于会计核算涉及的数据量和计算量非常大,需要相当大的处理能力。为了更快地得到核算结果,采用Map-Reduce的处理方法,将核算任务分成多个子任务,分配到多个机器上计算。最后用专门的结果处理算法,得出最后的结果。Map-Reduce处理流程中涉及三类机器:第一个是主控机器(Master),它控制整个核算的流程,负责任务的指派和流程把控;然后是Map机器,它负责根据分配的任务生成一个唯一的Key值并回传给Master机器,并负责具体的子任务核算,产生中间结果;最后是Reduce机器,由Master调度,从Master机器获取Map机器生成的Key值,根据这个Key值和Map机器产生的中间结果组生成核算结果。具体的处理流程见图2,整个流程都由Master控制。
(三)海量会计数据的数据挖掘
数据挖掘模式通过研究大量的会计数据,研究用户的消费行为与消费习性,为企业的发展提供指导作用,增加企业的效益。其之所以成为公众热捧的一项技术,是因为能为企业提供决策指导。会计数据挖掘流程如图3所示。
由于原始数据的量相当庞大,通过数据归约算法去掉相当一部分与决策无关的数据以及冗余数据,得到的结果均为关键数据,然后对这些关键数据进行分类并以标准的格式存储到正式的数据库中。调用各种算法,对数据进行多维度的分析,研究用户的消费行为,生成多个局部数据模型。各个数据模型综合起来,形成不同层次、不同形式、不同需求的多样式会计数据报表,呈现给企业决策人员以及其他需求人员。
三、云时代下会计数据加工带来的新天地
1. 集团总部得到数据的及时性。一般集团下面都会有三级、四级甚至更多级的企业,目前整个集团的财务报表都是从下级企业一级级往上申报然后通过编制合并财务报表得来的,集团总部要了解每个企业的经营状况,也要通过下级企业的报告才能够得知信息等,这些都将需要大量的时间;为此在云计算模式下建立起来的数据仓库,可以让决策者或者使用者随时随地工作,只要PC终端机连接上网络,就可以在任意时间、任意地方进行查看或者对财务数据进行操作。云会计服务对于现在的商业人士来说是必不可少的,不管你工作性质如何,一周7天、每天24小时的时间你都可以对数据进行访问,进而做出及时的决策。
2. 数据的可靠性和一致性。集团下面的各级企业分别使用自己的会计核算系统,在为上级企业提供财务报表或使用者所需信息时,有可能为了自身利益而提供与实际不符的信息。与此同时,在整个过程中,也可能出现或多或少的人为错误。数据仓库的建立,不仅给集团总部的决策者和信息使用者们提供了可以直接查询的功能,而且数据仓库里的数据具有一致性,从而信息使用者可以更方便地根据可靠的数据做出正确的判断。
3. 良好的安全性。云服务提供了一个比较重要的操作环节,对每一项访问数据的行为会进行详细的记录,云计算服务会自动记录一个活动日志。这个日志会显示一个用户登录,退出系统,修改客户、供应商、项目或者账户的时间,同时也会通过记录显示银行往来交易何时被下载,哪些交易何时被添加到寄存器里,以及哪些往来交易是何时被删除的等信息,因此活动日志能够提供将来谁更改了信息这一重要记录,并且必要时可以对此人进行问话,了解具体情况。
4. 实用性和经济性。云服务商可以动态地为企业分配资源,企业可以不用花高昂的价格购买高性能的服务器等基础设施,通过低廉的价格就可以租用高质量的云服务,并且所有的维护操作由服务提供商完成。企业员工可以直接通过上网完成报表查看、查账以及获取所需要的信息等工作,使用者能够在第一时间获取最新的数据。企业不需要安装软件补丁或者更新,因为新功能会自动增加,通过联网的终端设备,如计算机、智能手机等随时访问数据,可节省大量的人力、物力以及时间成本。
主要参考文献
1. 胡杨,袁建华.数据仓库和OLAP技术在集团财务分析中的应用.计算机与现代化,2013;4
2. 陈乃激,张明.基于财务数据分析的数据仓库模型.中国管理信息化,2007;5
3. 许金叶,李歌今.构建会计大数据分析平台:企业会计云计算建设的核心.财务与会计(理财版),2013;4