文档库 最新最全的文档下载
当前位置:文档库 › 新媒体云平台建设-舆情监测管控方案

新媒体云平台建设-舆情监测管控方案

新媒体云平台建设舆情监测管控方案

目录

目录 (2)

1 技术方案建议书 (5)

1.1项目背景与需求理解 (6)

1.1.1项目背景 (6)

1.1.1.1党和国家的政策要求 (6)

1.1.1.2省委省政府的战略决策 (6)

1.1.1.3广电总局的技术发展方向 (6)

1.1.1.4XX客户对新媒体的发展规划 (7)

1.1.2需求理解 (8)

1.1.2.1战略目标 (8)

1.1.2.2项目目标 (9)

1.1.2.3项目内容 (9)

1.1.2.4承办单位概况 (10)

1.1.2.5现状描述 (11)

1.1.2.6合理化建议 (16)

1.1.3建设原则 (21)

1.1.3.1标准化与模块化 (21)

1.1.3.2实用性与可扩展性 (21)

1.1.3.3可靠性与稳定性 (21)

1.1.3.4先进性与兼容性 (22)

1.1.3.5安全性 (22)

1.2平台设计方案 (23)

1.2.1总体技术架构 (24)

1.2.1.1建设思路 (24)

1.2.1.2总体体系架构 (24)

1.2.1.3系统功能架构 (25)

1.2.1.4系统技术架构 (28)

1.2.1.5系统数据流转和周边关系 (29)

1.2.1.6可提供技术文档 (30)

1.2.2舆情监测系统和两微一端管控系统 (31)

1.2.2.1两微一端管控设计 (31)

1.2.2.2舆情监测系统设计 (34)

1.3项目进度计划 (56)

1.3.1团队组织保障与管理 (56)

1.3.1.1项目组织概述 (56)

1.3.1.2项目组织结构 (56)

1.3.1.3团队沟通管理 (58)

1.3.2质量管控方案 (62)

1.3.2.1质量控制体系 (62)

1.3.2.2质量控制计划 (62)

1.3.2.3质量控制措施 (63)

1.3.2.4质量控制程序 (68)

1.3.3项目实施计划 (73)

1.4技术支持和售后服务 (77)

1.4.1技术服务能力及承诺 (77)

1.4.2技术支持方案 (77)

1.4.2.1技术咨询和运维支持服务 (77)

1.4.2.2故障诊断及修正性维护服务 (78)

1.4.2.3适应性维护服务 (79)

1.4.2.4系统升级服务 (79)

1.4.2.5新增功能开发服务 (79)

1.4.2.6故障救援服务 (79)

1.4.2.7系统性能评估及优化服务 (80)

1.4.2.8定期巡检服务 (80)

1.4.2.9建立维护档案服务 (80)

1.4.2.10资料定期传送及专题讨论服务 (81)

1.4.2.11重大事件服务 (81)

1.4.3售后服务方案 (81)

1.4.3.1售后服务具体措施 (81)

1.4.3.2应急措施 (82)

1.4.3.3质保期后的服务 (83)

1技术方案建议书

1.1项目背景与需求理解

1.1.1项目背景

1.1.1.1党和国家的政策要求

党的十八大以来,以习近平同志为总书记的党中央高度重视传统媒体和新兴媒体融合发展。习近平总书记在中央网络安全和信息化领导小组会议上发表重要讲话时指出,没有信息化就没有现代化。当今世界,信息技术革命日新月异,对国际政治、经济、文化、社会、军事等领域发展产生了深刻影响。信息化和经济全球化相互促进,深刻改变了人们的生产和生活方式。网络信息是跨国界流动的,信息流引领技术流、资金流、人才流,信息资源日益成为重要生产要素和社会财富,信息掌握的多寡成为国家软实力和竞争力的重要标志。信息技术和产业发展程度决定着信息化发展水平,要加强核心技术自主创新和基础设施建设,提升信息采集、处理、传播、利用、安全能力,更好惠及民生。习总书记还多次在不同场合强调要利用新技术新应用创新媒体传播方式。在此背景下,推动融合发展,打造新型主流媒体,正成为当下新闻单位的重要任务。

1.1.1.2省委省政府的战略决策

省委书记主持召开省委常委会会议。会议提出,建设全省统一的移动政务新媒体平台是积极占领新媒体阵地、更好地履行意识形态主体责任、维护网络意识形态安全的重要手段,是推进媒体融合发展、壮大网上主流思想舆论的重要途径,是实现治理体系和治理能力现代化、密切党委政府和人民群众联系的有效工具。会议决定,以XX客户台新媒体云平台为基础,加快建设覆盖全省、功能完备、互联互通、运行通畅的长江云移动政务新媒体平台。

1.1.1.3广电总局的技术发展方向

广电总局发布的《融合媒体平台建设技术白皮书》中提出了新时代融合媒体的发展方向与技术趋势。文中提到未来的融合媒体应具有以下特征:

1. 即时传播、海量传播。要树立抢占先机的意识,高度重视首创首发首播,充分挖掘和整合信息资源,多发多播,在信息传播中占据主动、赢得优势。

2. 充分开放、充分竞争。要树立全球视野,强化市场观念,提高市场营销和产品推介能力,做大做强自身品牌。

3、一体化发展。要实现各种媒体资源、生产要素的有效融合,做到你中有我、我中有你,协同发展。

4、品质上追求专业权威。要依托强大的采编力量、权威的信息渠道、规范的采编流程,进行专业化的内容生产,确保报道的真实准确、全面客观。要加强信息资源的挖掘和加工,深耕信息内容,推出思想性强、观点鲜明的深度报道和评论言论,进一步提升信息内容的品质。

5、具备即时采集、即时发稿的报道机制。要用好微博、微信等传播平台,加强短视频、微视频的创作生产,丰富报道方式,把报道内容直观形象地呈现出来。

6、量身订做、精准传播。既要提供共性内容产品,也要加强个性化内容生产。要认真研究用户的不同需求,有针对性地生产特色信息产品,点对点推送到用户,提高内容的实效性。

7、具备多媒体化的展示方式。要综合运用图文、图表、动漫、音视频等多种形式,实现内容产品从可读到可视、从静态到动态、从一维到多维的升级融合,满足多终端传播和多种体验的需求。

“新媒体云平台”平台致力于服务我省各级党委政府、媒体单位等,打造我省区域新媒体云平台,打造我省政务新媒体云平台,打造民生服务、政务服务、智慧城市服务的超级入口。完全符合总局对于融合媒体发展的指导与要求。

1.1.1.4XX客户对新媒体的发展规划

XX客户在打造与中部崛起重要战略支点相称的新型传媒集团的实践中,作出了自己的战略决策:用“TV+”拥抱“互联网+”,推动媒体深度融合发展,从而实现体制机制、生产流程、产品形态、传播方式等的系统创新和整体转型。瞄准“建设区域性生态级媒体平台”的长远战略,借鉴互联网的“大数据、云计算”思维,以“新媒体云平台”为依托整合全台资讯和新媒体矩阵,以“媒体云”为平台聚合全省、链通全国。该项目的建设完全符合XX客户对新媒体的发展规划。

1.1.2需求理解

新媒体云平台平台建设是科学运用云计算、大数据技术,贯彻落实中央和省委关于意识形态主体责任、媒体融合发展、政务公开等重要文件精神,切实落实各级党委(党组)意识形态主体责任和政务公开责任,积极适应传媒格局和舆论生态变化新形势的重要实践。

新媒体云平台平台是广播电视台联合互联网顶尖技术专家,利用云计算、大数据开发的移动政务新媒体云平台,具有国际领先、国内首发的原创技术。具备对全省各级移动政务新媒体产品的快速生成和汇聚、新闻宣传与舆论管理、信息共享、公共服务等多种功能。主要有三大创新能力:

一是能够大规模快速定制移动客户端,发布省市县各级新闻和政务信息,聚合微博微信帐号,提供公共服务入口。

二是实现全省“两微一端”内容生产的共享互通,形成我省新媒体内容的“云稿库”,打造我省信息生产和汇聚的“中央厨房”。

三是通过全平台“一键推稿”和“一键删除”功能,实现实时信息管控。

新媒体云平台平台可支撑万级新媒体产品,服务亿级用户,具有“3+2+N”功能,即“三大平台”:全省新媒体产品汇聚平台、全省媒体融合云平台、全省新媒体管理平台;“两大入口”:“智慧”的超级入口、世界看的超级入口;“N个产品”:支撑省市县党政机关、省市县媒体、公共服务部门、高校和企事业单位的N个新媒体产品。

1.1.

2.1战略目标

打造“政务+新闻+服务”新媒体大数据中心及覆盖全省、功能完备、互联互通、运行顺畅的移动网络公共信息服务体系,形成良性发展的新媒体生态圈。最终实现以下目标:

◆统一平台,分级运营

统一“新媒体云平台”系列品牌,统一建设软硬件支撑平台,统一监管各级信息发布,政务媒体服务融合,各级单位自主运营,实现政务服务、政务信息、新闻资讯、民生服务互联互通。

◆联合运营

分步建设广告、营销、版权、电商、游戏等联盟打造共建共赢的平台联营机制。

◆资源共享

基于软硬件技术共享,内容自动汇聚,可视化信息传播,用户统一认证,用户行为跟踪记录等机制,实现技术、内容、渠道、用户、数据、管理的多元共享。

◆全面开放

提供常用的API接口和开发文档,提供模板、风格和应用开发机制,通过开放平台与应用商店满足个性化需求变得简单可行。

1.1.

2.2项目目标

根据新媒体云平台平台总体规划,按照“统一规划,分步实施”的原则进行系统建设。

本期项目建设完成后,能够为新媒体云平台平台提供统一的数据处理和共享能力,提供开放的应用接入和支撑能力,提供满足互联网用户需求的业务服务能力,提供有效的新媒体产品运营能力,实现数据的全平台共享,实现服务能力的全平台呈现,实现内容发布的全平台管控,做到对微博、微信、APP客户端等新媒体发布渠道的一键推稿,一键删稿。部署全省各级移动客户端,实现交通出行类、医疗类、教育类、纳税类、维权类、社会保障类、政务服务类等服务的快速上线,为公众提供服务。

1.1.

2.3项目内容

本项目建设主要包含十个方面的工作:

(1)用户统一认证平台和内部管理门户系统开发实施;

(2)统一的媒体内容发布平台开发实施;

(3)统一的政务民生服务平台开发实施;

(4)舆情监测系统和两微一端统一管控系统开发实施;

(5)统一的运营支撑平台开发实施;

(6)统一的大数据分析平台和用户数据中心开发实施,包含大数据处理与管控平

台的购置与定制开发、用户画像管理系统的购置与定制开发、媒体内容标签

库开发实施和智能推荐引擎系统的购置与定制开发;

(7)云服务总线开发实施;

(8)统一运维监控平台开发实施;

(9)移动客户端开发实施;

(10)系统总集成实施;

1.1.

2.4承办单位概况

广播电视台(集团)是一家拥有广播、电视、电影、电视剧、新媒体、有线网络、报刊等资源的综合性传媒机构。2011年广播电视台成立台属、台控、台管的长江广电传媒,成功搭建起宣传性事业和经营性产业协调发展的全新体系。台下设综合办公室等职能部门7个,龟山广播电视发射台等所属单位7个。台(集团)内容部门19个,拥有卫视等12个电视频道,之声等10个广播频率,网络广播电视台等4家新媒体。集团暂设机构24个,其中,经营管理办公室、财务管理部等内设机构7个;我省广播电视信息网络股份有限公司(上市公司)、长江垄上传媒有限公司等控股公司5个;原有所属46家企事业单位(包括35家企业单位,7家转企改制单位,4家事业单位)整合为16家。员工总数1.2万人,总资产102.52亿元。

广播电视台承担着省委、省政府重要的宣传喉舌功能,旗下的XX客户长江新媒体集团作为媒体融合的积极践行者和推动者,在媒体融合方面的探索,不仅得到了中央、省各上级部门的肯定,还吸引了央视国际、新华社、人民日报等央媒,以及深圳、河南、云南、吉林等多家省级媒体同行前来交流学习,同时也引起了业界上市公司的兴趣,前来洽谈合作。

XX客户长江新媒体集团的微摇科技,作为“微信摇电视”全国首发试点,自2014年6月29日在卫视《如果爱》节目实现全国电视“第一摇”以来,已为CCTV-8电视剧频道、CCTV-2财经频道、湖南卫视、江苏卫视、浙江卫视等14家卫视提供了微信摇电视服务,并为全国百家省级地面电视频道、省会城市电视台推出“百台计划”,为全国1000家县级电视台推出“千县计划”,帮助全国广电媒体通过微信摇电视,实现广电媒体与移动互联网的连接,从而创造新的商业模式。目前微摇“一央十卫百台千县”的互动平台,已经是全国最大的T2O互动平台,携程、途家、艺龙、微信电影票、腾讯理财通均已通过微摇平台投放电子优惠券。微摇2014年成立时注册资本1000万元;2015

年3月完成A轮融资,腾讯系微影、海航资本等成为微摇新股东,公司估值达到1.46亿;2015年11月完成第二轮融资,万达投资领投,公司估值达到4.23亿元。

XX客户长江新媒体集团与电信合作开展的“幸福新农村”IPTV项目,探索了一条农村信息化惠民服务的新路子。“幸福新农村”在功能开发上有三大显著特点:一是三屏互动,各类电视节目和资讯,用户不仅可以通过电视机收看,还可以通过电脑、手机收看。二是十户联防,以行政村为单位,每10户家庭组成一个联防小组,小组内发生了任何紧急的状况,在“幸福新农村”首页会弹出一个紧急通知,实现多方救助。三是“幸福新农村”采用“一村一界面”的方式,以行政村为单位,通过定制化的IPTV开机首页面,在丰富的IPTV电视节目基础上,结合行政村特色及需求,辅之以村委公告、地方新闻、三农热线、远程党教等特色应用栏目,为行政村推送各类“富农、惠农、便农、乐农”信息。满足了农村在政务、生产、文化、生活等各个方面的信息化需求,成为建设和谐农村、平安农村、现代化农村的重要举措。该项目得到了省委书记李鸿忠、省长王国生的充分肯定,认为该项目有效解决了农村信息传达“最后一公里”的问题,是加强农村基层组织建设的重要抓手,省委组织部将其作为创新项目予以推介。

目前,广播电视台以XX客户长江新媒体集团为建设责任主体,集合全台力量,整合全省资源,借力全国互联网公司的先进技术,全力打造新媒体云平台平台。

1.1.

2.5现状描述

1.1.

2.5.1项目概述

党的十八大以来,以习近平同志为总书记的党中央高度重视传统媒体和新兴媒体融合发展,习总书记多次在不同场合强调要利用新技术新应用创新媒体传播方式。在此背景下,推动融合发展,打造新型主流媒体,正成为当下新闻单位的重要任务。

xxx年2月29日,我省委书记李鸿忠主持召开省委常委会会议,传达学习2月19日习近平总书记在党的新闻舆论工作座谈会上的重要讲话精神。会议决定,以XX客户台新媒体云平台为基础,加快建设覆盖全省、功能完备、互联互通、运行通畅的新媒体云平台移动政务新媒体平台。

新媒体云平台平台建设是科学运用云计算、大数据技术,贯彻落实中央和省委关于意识形态主体责任、媒体融合发展、政务公开等重要文件精神,切实落实各级党委(党

组)意识形态主体责任和政务公开责任,积极适应传媒格局和舆论生态变化新形势的重要实践。

新媒体云平台平台是广播电视台联合互联网顶尖技术专家,利用云计算、大数据开发的移动政务新媒体云平台,具有国际领先、国内首发的原创技术。具备对全省各级移动政务新媒体产品的快速生成和汇聚、新闻宣传与舆论管理、信息共享、公共服务等多种功能。主要有三大创新能力:一是能够大规模快速定制移动客户端,发布省市县各级新闻和政务信息,聚合微博微信帐号,提供公共服务入口。二是实现全省“两微一端”内容生产的共享互通,形成我省新媒体内容的“云稿库”,打造我省信息生产和汇聚的“中央厨房”。三是通过全平台“一键推稿”和“一键删除”功能,实现实时信息管控。

新媒体云平台平台可支撑万级新媒体产品,服务亿级用户,具有“3+2+N”功能,即“三大平台”:全省新媒体产品汇聚平台、全省媒体融合云平台、全省新媒体管理平台;“两大入口”:“智慧”的超级入口、世界看的超级入口;“N个产品”:支撑省市县党政机关、省市县媒体、公共服务部门、高校和企事业单位的N个新媒体产品。1.1.2.5.2项目总投入情况

项目总投入约2.5亿元。申请扶持7000万元,单位自筹1.8亿元。

1.1.

2.5.3预期目标

新媒体云平台平台是以XX客户长江新媒体集团为建设责任主体,集合国内顶尖的互联网公司和IT业界顶尖技术专家,利用云计算、大数据技术开发的一款互联网平台级产品。本次系统将建成一个全国领先的“长江号信息云航空母舰”,打造“政务+新闻+服务”新媒体大数据中心及覆盖全省、功能完备、互联互通、运行顺畅的移动网络公共信息服务体系,形成良性发展的新媒体生态圈。

1.1.

2.5.4网络及硬件环境现状

1.1.

2.5.4.1新媒体云平台平台现有资源

1.1.

2.5.4.1.1服务器

目前新媒体云平台项目有主机服务器13台,虚拟机50多台,实体服务器2台。

1.1.

2.5.4.1.2负载均衡

使用一台A10作硬件负载均衡,利用定义在A10上面的虚拟IP地址来为用户的一个或多个应用服务器提供服务。因此,它能够为大量的基于TCP/IP的网络应用提供服务器负载均衡服务。

需要做负载均衡的机器有:

对外 web 服务器集群

后台内容管理服务器集群

mysql主服务器集群

mysql从服务器集群

附件服务器集群

搜索服务器集群

视频点播服务器集群

1.1.

2.5.4.1.3出口带宽

新媒体云平台项目出口带宽800M,采用的是中国电信的光纤接入,同时使用CDN将对外交付带宽扩大到15G。

1.1.

2.5.4.2融媒体平台可使用的资源

1.1.

2.5.4.2.1网络

目前融媒体架构如上图,网络出口通过安全网关分别与外部域的新闻网、制作网和媒资网进行连接,安全网关下连2台核心交换机,核心交换机之间建立主备关系,业务系统中的刀框及部分核心业务直接连接到核心交换机上。部分PC服务器设备连接到2台接入交换机上,然后接入交换机再与核心交换机之间进行互联。

本期新媒体云平台项目新增安全设备如下:

A、一套数据库审计

B、一套运维审计

C、一台WAF设备

1.1.

2.5.4.2.2服务器

台目前现场有2个刀箱,每个刀箱内有7个刀片,共14台刀片服务器。

每个刀片内存为128G。若每台服务器使用8G,每个刀片能虚拟16台服务器。每个刀箱能虚拟112台,两个刀箱总共虚拟出224台。目前已使用虚拟机为62台,剩余162台。

1.1.

2.5.4.2.3存储

存储总容量为389TB,已使用12TB,剩余377TB。

1.1.

2.5.4.3计划扩容的资源

计划扩容的服务器为26台(包括8片刀服务器)。

其中16台将用VMware虚拟化再虚出150台虚机;剩余10台服务器用作大数据分析平台。

存储也将利用原融媒体平台的资源扩到300T。

1.1.

2.5.5应用系统

在保证现有系统安全平稳运行的基础上,充分考虑新媒体云平台移动政务新媒体平台的定位和未来技术发展,给出现有系统切实可行的接入、集成、迭代更新的技术方案和实施方案。投标人须在 2016 年 8 月 31 日前,妥善完成原有平台数据迁移、全部用户数据、客户端迁移等工作,产品功能、技术性能和用户体验不得低于原有产品功能。

1.1.

2.5.6信息安全现状

现有网络环境中,仅有2台出口防火墙设备,本期平台新增了一台WAF、一套数据库审计和一套运维审计系统,补充了之前在安全审计方面的不足,但与等保三级要求还是有一些差距。

1.1.

2.5.7甲方参与人员情况

本次项目甲方集合了国内多家顶尖的互联网公司和IT业界顶尖技术专家作为咨询团队,XX客户直接参与的研发团队20多人,均为在XX客户工作的核心业务骨干,包括有知名高校教育背景的青年专家、有海外工作和学习经历的技术专家和高级工程师。

1.1.

2.6合理化建议

1.1.

2.6.1关于网络及硬件方面

XX客户新媒体云平台平台项目本期以满足系统基本功能,基本性能指标为主,不需要过高的资源,因此在现有机房充分利旧融媒体平台设备。随着时间的推移,现有机房设备无法满足新媒体云平台的发展需求,新媒体云平台机房的规划已提上日程,根据新媒体云平台项目的需求提出如下建议:

1.1.

2.6.1.1网络

新闻网媒资网

防DDOS

制作网

楼层交换区

建议未来新媒体云平台平台网络在出口层部分可以通过物理隔离的方式来对不同出口进行相关的安全隔离,各出口有其独立的防火墙设备。对于互联网出口方向还需要部署专门的防DDoS和流控设备。在互联网出口方向建立一个专门的DMZ区域,将对外提供服务的所有服务器都部署在这个区域内,DMZ区域内部署独立的WAF、WEB防篡改和负载均衡等设备。

核心网络建议采用高端的数据中心级交换机,两台核心交换机之间可以使用现在主流的横向虚拟化技术,将两台物理设备虚拟化成一台逻辑设备。同时下连的汇聚交换机和接入交换机也可以与核心交换机之间采用纵向虚拟化技术,这样可以将整个核心网络

部分的所有网络设备虚拟为一台逻辑设备,如此极大的较少了网络中的二层环路和降低的运维成本。核心交换机上旁挂负载均衡器、入侵检测系统等安全设备,同时可以将核心网络通过VRF等技术,进行逻辑隔离,将内网区域和外网区域完全的隔离出来,核心交换机上为两个区域维护独立的路由表,两个区域之间相互不影响。

1.1.

2.6.1.2虚拟化平台

云平台基于虚拟化技术实现,虚拟化是一个抽象层,它将物理硬件与操作系统分开,从而提供更高的 IT 资源利用率和灵活性。虚拟化技术可以实现具有不同操作系统的

多个虚拟机在同一物理机上独立并行运行。通过采用服务器虚拟化技术,将服务器进

行虚拟化资源整合,将原有冗余的物理服务器削减,将分散的资源集中,从而减少原

有服务器数量,提高服务器的利用率。

目前X86平台虚拟化领域主要产品有VMware 、KVM、Hyper-V、Citrix Xen。通过

对虚拟化软件的成熟度、核心架构、容纳能力、高可用性、兼容性等进行对比,VMware 和KVM具有领先的优势。

VMware作为国外商业化产品,价格昂贵,且不符合国产化的要求,建议使用KVM加上OpenStack(根据需要可以在此基础上做深度定制化开发)作为云平台建设的方案。

1.1.

2.6.1.3大数据分析平台

新媒体云平台本期项目中已经使用OCHadoop大数据引擎创建了大数据分析平台,建议新媒体云平台机房在现有大数据分析平台的基础上做大数据分析平台扩容:

1)在线扩容

OCHadoop由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

在集群中的两台服务器上部署Namenode实例(一主一备),而集群中的其它机器分别运行一个Datanode实例。可扩展性是产品的一个重要特性,向集群中添加节点是很容易实现的。添加一个新的DataNode节点,首先在新加节点上安装好OCHadoop,要和NameNode使用相同的配置(可以直接从NameNode复制),修改

"/usr/Hadoop/conf/master"文件,加入NameNode主机名。然后在NameNode节点上修

改"/usr/Hadoop/conf/slaves"文件,加入新节点主机名,再建立到新加点无密码的SSH 连接。

提供的OCManger产品中可以便捷的实现集群的节点扩容,管理员无需登录服务器进行复杂的部署调试工作,只需要建立服务器的互信后直接通过管理界面即可完成集群的扩容工作。

2)负载均衡

在大数据平台中企业的内外部采集的全量数据都是存储在HDFS分布式文件系统中。HDFS的数据也许并不是非常均匀的分布在各个DataNode中。特别是当现有的集群上增添新的DataNode节点。当新增一个数据块(一个文件的数据被保存在一系列的块中)时,NameNode在选择DataNode接收这个数据块之前,会基于负载均衡考虑到很多因素。其中的一些考虑的是:

?将数据块的一个副本放在正在写这个数据块的节点上。

?尽量将数据块的不同副本分布在不同的机架上,这样集群可在完全失去某一机架的情况下还能存活。

?尽量均匀地将HDFS数据分布在集群的DataNode中。

3)在线升级

OC-Hadoop的优化通过调整参数和打补丁的方式,补丁采用rpm包,参数和补丁包均可以通过图形化用户界面实现自动更新。OC-Hadoop的更新区分管理节点和数据节点,如果更新管理节点,会逐个更新并重启管理节点,管理节点内部会自动切换,管理节点的HA保证现有系统不受影响;如果更新数据节点,会逐个更新并重启数据节点,数据

节点是分布式架构,数据有多个副本,计算任务能重新分配至其他可用节点重新计算,保证了系统不受影响。OC-Hadoop的优化是向下兼容,保证原有数据文件不受影响。

1.1.

2.6.2关于应用系统迁移

建议现有系统迁移和数据迁移采取以下迁移方案:

1.现场调研,分析系统

结合应用系统的业务功能和使用情况,对系统进行分析,分析系统的目的在于了

解系统,判断系统移植的工作量及确定移植工作的重点和方案,主要包括以下一些内容: 后台操作系统是什么及其版本信息,Windows、Unix、Linux 等。

后台数据库是什么及其版本信息,是SQL Server、Oracle、Informix 还是其它。

前台开发工具是什么及其版本信息,是.NET、JBuilder、Delphi还是其它。

应用系统采用了什么开发模式,C/S还是B/S模式。

应用系统使用的接口。

相关的一些开发组件及其版本信息。

相关的运行环境及其版本信息,如Tomcat、.NET Framework等。

数据库的相关信息,主要有几个库,这些库之间的关系。

涉及到的数据类型。

是否使用到了视图、存储过程、存储函数、触发器、序列等;如果没有使用到这些,后台数据库的移植工作将主要是进行数据迁移;如果用到了这些,且数

量较多,后台数据库的移植工作将是脚本的移植转换工作。

是否用到了后台数据库的系统字典,因各数据库的系统字典格式和内容均不一样,这时候需要分析原数据库的系统字典的涵义,只能根据使用的实际情况作

相应的处理。

系统的运行规模和效率要求,如并发访问量,使用的频度,时间响应要求等,主要是确定优化的方案,如果要求不高,优化的时候主要是采用创确定方案在

分析了系统之后,应确定移植的重点和难点,并确定移植方案。

2.搭建环境,系统并行

搭建环境包括搭建原系统运行环境和新系统环境,让新老环境同时运行,便于后续做功能和性能对比测试。

3.系统移植,保持不变

在功能移植的过程中,保持一个原则就是不改变其应用逻辑,因为在功能移植的阶段重点是在解决系统差异上面,如果过多的考虑应用逻辑问题,移植工作的进度将会受到影响,也增加了移植工作的难度,同时如改变应用的程序逻辑,将存在功能修改错误的风险。

后台数据库的移植工作主要是脚本的移植和数据迁移工作。一般采用的顺序是先进性脚本的移植,再进行数据的迁移。

相关文档
相关文档 最新文档