轻工行业经济运行及预测预警系统构建
来源:微智科技网
轻工行业经济运行及预测预警系统构建 一张伟 一、引言 轻 蓍 14}中国集体经济・201 1・35期【12月)} _■ 黑 ∞豫丽啊 黑■ 薷 ■ ■■ 日 ∞ 孵F 国轻工业经济运行及预测预警系统”项 目的建没为背景,基于现代信息化手段 的商业智能,阐述轻工行业经济运行及 预测预警系统构建的思路。 二、商业智能 商业智能的概念于1996年最早 由加特纳集团(Gartner Group)提出, 商业智能也称作作BI,是英文单词 Business Intelligence的缩写。是将存储 于各种商业信息系统中的数据转换成有 用信息的技术,它允许用户通过查询和 分析数据库得出影响商业活动的关键因 素,从而对决策层和领导层做出更好更 合理的决策提供事实依据。 商业智能的实质是从海量数据中通 过深度钻取获取有用的信息,从信息中 及时地发现出知识,进而利用知识来为 人类的思维决策和战略发展服务。商业 智能主要的支撑技术有数据仓库技术、 联机分析处理技术和数据挖掘技术。 数据仓库技术是面向主题的、集成 ‘簧 zH0N墨墨!GGuo帅JI鉴NGJI翟黧誓盈豳豳飘豳蘑睡丽 的、稳定的、不同时问的数据集合,用以支持 经营管理中的决策过程,它与传统的数据库目 标有着较大的不同,其一,数据仓库是面向主 题的,主题是一个抽象概念,是一个在较高层 次将数据归类的标准。一个主题对应一个分析 领域即主题域。其二,数据仓库的数据是集成的, 它是从原有分散的数据库中的数据集成得到的, 基于分析型的数据,是对原始数据的统一和综 合。其三数据仓库的数据是稳定的,不可更新 的,它反映的是较长一段时间的历史数据内容, 而非联机处理的数据。最后,数据仓库数据是 随时间不断变化的。数据仓库具有丰富的数据 采集、管理、分析和信息描述功能。 联机分析处理技术(Online Analytical Processing,OLAP)是于数据仓库的一种 技术,它通过快速、一致、交互地访问各种可 能的信息视图,帮助数据分析人员、管理人员、 决策人员掌握数据之间的规律。OLAP把数据 仓库中的海量数据,转化为有用的信息,从而 实现对数据的归纳、分析和处理,提供决策支持。 OLAP是分析工具,它具有:快速性、可分 析性、共享性、性、和信息性等特点。在 OLAP中,信息被抽象为一个数据立方体(Cube), 一个立方体由维(Dimension)和度量(Measure) 构成,维是相同数据的集合。度量是个定量的值。 这个的数据模型是OLAP的核心,也是商 务智能的支柱。OLAP展现给用户的是的 视图。 数据挖掘(Data Mining,DM)是基于数据 库的知识发现(Knowledge Discovery in Database. KDD)的重要环节。KDD是指从大量的数据中 提取有效的、新颖的、潜在有用的、最终可被 理解的模式的非平凡过程。DM是运用一些算 法从数据仓库中提取用户感兴趣的知识。很多 情况下,数据挖掘就是指知识发现。 构建基于商业智能的轻工行业经济运行及 预测预警系统,实际上是实现了行业数据的系 统集成,集成后的商业智能信息系统将海量数 据经过抽取、清洗、转换、加载等过程,转换 为分析型数据后加载人数据仓库。然后根据不 同的业务需求,把数据仓库中的数据再经抽取、 综合、加载而进人不同的数据集合,成为管理 决策的基础数据库。利用OLAP(联机分析处理) 和数据挖掘技术对数据仓库中的数据进行分析 和处理。 三、系统构建原则及目标 基于商业智能技术,充分考虑轻工行业的 特点,系统设计坚持规范化、标准化原则,做 到应用人口统一化、软件标准化、结构模块化、 数据格式标准化、代码统一化、各种文档资料 规范化。整合轻工行业数据,集中数据存储管 理,并逐渐整合其他系统经济运行数据,实现 数据最大限度共享。建立健全系统安全审计制 度。将商业智能技术应用于轻工行业构建基于 商业智能的轻工行业经济运行及预测预警系统 可以完成以下目标: (1)充分利用轻工行业的海量数据。轻工 行业从建国以来已经保存了60多年的行业数 据,这包括生产数据、效益数据、进出口数据 等信息,这些宝贵的数据资源为实施商业智能 提供了丰富的数据源,节省了专门数据采集的 成本。 嘻曛雨露 斫 丽 _-}1 5 ・ 经灌OJITIJ.NGJ B (2)建立有效的决策支持信息体系。 轻工行业数据可以分不同指标、不同行 业、不同时间、不同地区等维度进行展 现,数据的不同表现形式可以使决策人 员(或者分析人员、业务人员)能很方 便地从多个不同的层面和维度进行分析 和预测,从而进行业务流程及分析角度 的综合研判。 (3)可以为行业未来走势做出研判, 为把握行业发展规律和隐情价值,从而 进一步真正说清行业提供保障。通过对 几十年历史数据走势的分析,挖掘数据 内在的规律,建立行业预测模型,不仅 说清现在,且进一步预测未来。 恸 业} 四、轻工行业经济运行及 预测预警系统体系结构 中国轻工业经济运行及预测预警系 统的整体架构在基础软硬件网络设施的 16 I中国集体经济・201 1・35期(12月)} ■需■∞ 口 臻繁 《 裁 孵 l尊 基础上,基于J2EE架构分三个层次建 设应用系统:数据平台、分析平台和信 息发布平台;系统管理和用户安全是整 个预警平台的两个重要切面,渗透到每 个层次中的各个组件。 (1)数据平台 数据平台实现数据采集系统和数据 集成与维护系统。实现技术涉及面向数 据存储和结构化查询的数据库和面向分 析的数据仓库两个层面。 数据采集系统主要包括企业直报、 文件采集器、ETL的结构化数据准备区, 分别对企业填报数据、非结构化文档、 来源各异的结构化业务数据进行采集。 数据集成与维护系统的核心是ETL 工具,借助它可以完成数据整合、建设 数据仓库、指标库建设和维护等数据集 成与维护工作。 (2)分析平台 分析平台实现指标实时监测系统、 在线分析和展现系统和预测预警系统。 各子系统的实质性内容存储在分析行为 方案库中,运行时由商业智能引擎调用 执行,主要包括:指标实时监测方案、 预测预警方案、灵活查询方案、在线分 析方案、分析报告报表方案等。因而, 面向分析行为序列的商业智能引擎是分 析平台的核心实现技术。 (3)信息发布平台 信息发布平台将信息价值以信息服 务的形式最终传递给用户,包括对企业 服务、对行业服务、对地区服务和对政 ●, z墨 HoN璺筮 GouoJITIJI堂-_NG JI—■—■圈■_啊霞 府服务,其中包括视频会商系统接口。 针对不同用户的个性化服务体系与分析方 案库的层次结构树型组织相对应。每一项具体 的服务对应于叶节点上的分析方案,分析方案 叶节点存储在分析方案库中。层次结构上的中 间结点,结合具体的展现形式(如:导航树、 菜单、页签、下拉框、图表等),以展现模版的 形式存储在信息发布资源库中,层次树中的每 一个结点都有各自的访问控制权限定义。另外, 在同一个分析方案集合上,可以同时定义多种 层次组织结构。这种组织方式一方面最大限度 地实现了分析方案的复用,另一方面灵活地满 足了不同类型用户的个性化需要。 ‘1、数据平台 轻工行业数据源包括国家统计局轻工行业 数据和海关总署轻工行业数据,另外还包括轻 工重点企业数据。 数据仓库的数据模型中最常见的模型范例 是星型模型,其中包括: (1)一个大的包含大批数据和不含冗余的 中心表(事实表)。 (2)一组小的附属表(维表),每维一个。 构建数据仓库的流程一般是首先导人维表, 再构建事实表,在构建事实表时将事实与维度 进行连接。 构建的数据模型包括:产量库(月度数据); 产值库(月度数据);效益库(月度数据);进 出口库(月度数据);海关分国别库(季度数据)。 为了方便用户日后对维表的维护,维表从 EXCEL文件导人。维表映射文件包含了维度数 据的多种映射关系。 维表EXCEL文件,为每一个维定义了一 组映射。主要考虑到统计局的行业维、产品维、 海关数据的税号维会经常发生变化,所以采用 数据仓库构建方法中的“慢变维”技术创建维表。 需要维护的维表包括: (一)统计局产量、产值、效益数据的:产 品维;行业维;地区维;注册类型维;企业规模维; 控股情况维。 (二)海关数据的:海关税号行业维;国别 维;收发货地区维;贸易方式维。 重点企业数据通过企业直报系统完成。企 业直报系统是一个联网直报系统,即统计数据 报送系统。它将报表的定义、数据采集、网上 审核、数据处理和报表数据查询发布等功能融 为一体,为用户提供一个简单、友好的使用环境, 使得用户无需学习即可使用。企业直报系统可 通过互联网直接从基层单位快速、便捷地搜集 各种信息资料,从简单的报表设计、报表填报, 到数据审核、数据上报,以及报送管理,系统 为统计工作现代化提供一个高效、灵活的数据 报送工具。 2、分析平台 分析平台是面向行业分析人员的数据功能 平台。基于数据平台中的轻工统计数据仓库, 通过构建产量、产值、效益和进出口等数 据模型,分析平台向行业分析人员提供数据查 询、提取、分析、预测预警和报表等功能。 分析平台基于B/S结构可通过浏览器直接 访问。分析人员经过统一认证系统的授权后, 可以访问到分析平台中的各种分析方案。 (1)数据模型在线分析(OLAP) 通过在线分析OLAP工具,可以对轻工业 数据仓库进行交互的分析,从而组合出任 画藁霹葫 面丽 澎 ] 1 7 经i齐OJITI J。NGJI意结构的两维汇总表。通过模型导航, 可以自定义行列成员指标,选择过滤器 选择维度的某个成员作为分析的切片, 值]as’[Measures].[同期新产品产值B】’ member[Measures].[同月累计新产 品产值】as’【Measures].【同月累计新产 同时任意组合分组及排序。 与此同时,通过MDX强大的计算 能力,可以在任意维度定义计算成员, 完成自定义排序、最大最小值、均值、 计算值、基比、环比、同比等多种分析 功能。 下面对产值模型进行在线分析, “列”选取“本月工业总产值”和“本 月累计工业总产值”,同时将“企业规模” 维度移动到“列”组;将“地区”、“控 股情况”、“注册类型”、“行业”作为记 录维度成员,选取“时间”作为过滤条件。 所得的分析结果就是横坐标为指标和企 业规模,纵坐标为地区和控股情况的一 个数据透视表,使得行业分析人员通过 不同的透视角度来获得分析结论。 所对应的MDX编辑状态如下: with member【Measures】.【同期销售 产值]as’[Measures]_【同期销售产值B]’ member[Measures】.[本月出口交货 值】as’[Measures].[本月出口交货值B]’ member[Measures].[同期出El交货 值】as’[Measures].【同期出口交货值B]’ member[Measures].[本月新产品产 值]as’【Measures].【本月新产品产值B]’ member[Measures].【本月累计新产 品产值]as’[Measures]_[本月累计新产 品产值B1’ member[Measures].[同期新产品产 18 l中国集体经济・2011・35期(12月)} 黑 ■■■■ ∞ 丽 品产值B1’ select Crossjoin({[Measures].[本月 工业总产值】,[MeasHres].[本月累计 工业总产值]},{[ESIZE].【所有规模】}) ON COLUMNS, Crossjoin(Hierarchize(([地区].[全 国])),{([KG].【所有控股].[国有控 股],[ECONOMY].[经济类型总计].[内 资企业].[国有企业】,[行业.传统行 业].[轻工行业合计].【照明】)))ON R0WS from[CHANZH1】 where【时间】.【2011年】.【o9月】 同时,可以根据业务需要,自由组 合指标及维度状态。 (2)报表展现 基于预设的报表模版,采用专业开 发报表的设计工具。用户选择模版、指 定数据源、调整数据列和组别、选择图 表等步骤,对每一个字段项都可以进行 设置,设置它的字体、字体风格、字体 大小、在报表中单元格的显示位置,还 有数字的字段项的格式。还可以对数字 字段项进行加、减、求平均、最大值等 计算。通过设计器可以精确地绘制出符 合业务需求的报表。报表可以导出为 word、pdf等格式,也可在线直接打印。 报表模板文件可以保存,在需要对报表 的标题、文本、表格、图表格式等属性 进行修改时,可以进行报表的维护。 (3)在线智能分析报告 可以图文并茂的形式生成(指标 行业分 类 地区 时间)可编辑的分析报告,将大量 的数据汇总展示工作由系统来完成,将分析人 员从繁重的数据整理工作中解脱出来,更深一 步的发掘数据背后隐藏的问题,从而进一步说 清行业。报表可以导出为word、pdf等文档,也 可在线直接打印。报表模板文件可以保存。 3、发布平台 基于商业智能的轻工行业经济运行及预测 预警系统除作为行业分析人员分析决策之外, 分析的结果以服务的形式在门户上进行发布。 这包括中轻指数的发布、宏观参考信息的发布、 行业分析报告的发布、以及预测预警报告的发 布等等。 五、用户管理体系 数据平台和分析平台专注于行业研究人员 作为分析决策的工作平台,门户平台则专注于 为、行业、地区、企业四类用户提供个性 化服务。针对预测预警平台的用户管理需求, 为预测预警平台系统建立了统一身份管理体系。 将对各种用户身份进行生命周期管理,对用户 的身份信息、基本信息、相关应用的信息等进 行集中、统一的管理,建立和规划高效安全的 管理流程和管理策略,并基于统一身份管理体 系为具体业务系统提供满足其业务要求的用户 管理系统。 统一身份管理平台为系统提供用户管理服 务,并任命相应的应用用户管理员。用户管理 ,主要是根据应用系统的授权模式和类型,完成 应用系统在平台的注册及配置。根据统一身份 管理系统中的用户信息,完成应用系统用户的 添加(支持批量用户添加)、用户角色分配、用 户注销等工作。 六、小结 2009年初,《轻工业调整与振兴规 划》在第四项措施第十条“发挥行业协 会作用”提出“建立轻工业经济运行及预测预 警信息平台,及时反映行业情况和问题,引导 企业落实产业,加强行业自律。”基于商业 智能技术,轻工业经济运行及预测预警系统平 台的构建,将成为行业协会、地方轻工管理部 门管理、服务会员的平台,为说清行业提供科 学依据,对行业发展和地方轻工业发展提供实 时的、实质性指导。 (作者单位:中国轻工业信息中心) }中国集体经济・2011・35期(12月)}19 霉曼 黑孵曩露曩鬻帮 曩曼|雩翼研 黑冒曩孽 臻霹霉曩瓣孽罴孽曩孽曩曩萋曩 帮嘲孵砑曼 孵