大数据平台的软件有哪些
大数据平台的软件有哪些
查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC 结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix最值得关注的一些特性有：嵌入式的JDBC驱动，实现了大部分的接口，包括元数据API可以通过多部行键或是键/值单元对列进行建模完善的查询支持，可以使用多个谓词以及优化的扫描键DDL支持：通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列版本化的模式仓库：当写入数据时，快照查询会使用恰当的模式DML支持：用于逐行插入的UPSERT VALUES、用于相同或不同表之间大量数据传输的UPSERT SELECT、用于删除行的DELETE通过客户端的批处理实现的有限的事务支持单表——还没有连接，同时二级索引也在开发当中紧跟ANSI SQL标准二、Stinger简介：原叫Tez，下一代
Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会
让Hive支持更多的SQL，其主要优点包括：让用户在Hadoop 获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive的样式系统更符合SQL模型。优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。在Hive 社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。引入了新的运行时框架——Tez，旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链，彻底加速Hive负载处理。三、Presto简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过30000 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Reduce 要好上 10 倍有多。Presto 当前支持 ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。四、Shark简介：Shark
即Hive on Spark，本质上是通过Hive的HQL解析，把HQL 翻译成Spark上的RDD操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark
获取并放到Spark上运算。Shark的特点就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()这样的API，把HQL得到的结果集，继续在scala环境下运算，支持自己编写简单的机器学习或简单分析处理函数，对HQL结果进一步分析计算。Shark速度快的原因除了Spark平台提供的基于内存迭代计算外，在设计上还存在对Spark上进行了一定的改造，主要有partial DAG execution：对join优化，调节并行粒度，因为Spark本身的宽依赖和窄依赖会影响并行计算和速度基于列的压缩和存储：把HQL表数据按列存，每列是一个array，存在JVM上，避免了JVM GC低效，而压缩和解压相关的技术是Yahoo!提供的。结来说，Shark是一个插件式的东西，在我现有的Spark和Hive及hadoop-client 之间，在这两套都可用的情况下，Shark只要获取Hive的配置（还有metastore和exec等关键包），Spark的路径，Shark 就能利用Hive和Spark，把HQL解析成RDD的转换，把数据取到Spark上运算和分析。在SQL on Hadoop这块，Shark 有别于Impala，Stringer，而这些系统各有自己的设计思路，相对于对MR进行优化和改进的思路，Shark的思路更加简单明了些。五、Pig简介：Pig是一种编程语言，它简化了Hadoop 常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据
类型并支持数据转换。Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本，类似我们通常熟悉的SQL 语句，在Pig中称之为Pig Latin，在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组(group by)、关联(Joining)，Pig也可以由用户自定义一些函数对数据集进行操作，也就是传说中的UDF(user-defined functions)。
六、Cloudera Impala简介：Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速，交互式的SQL查询。除了使用相同的存储平台外， Impala和Apache Hive一样也使用了相同的元数据，SQL语法（Hive SQL），ODBC驱动和用户接口（Hue Beeswax），这就很方便的为用户提供了一个相似并且统一的平台来进行批量或实时查询。Cloudera Impala 是用来进行大数据查询的补充工具。Impala 并没有取代像Hive这样基于MapReduce的分布式处理框架。Hive和其它基于MapReduce的计算框架非常适合长时间运行的批处理作业，例如那些涉及到批量 Extract、Transform、Load ，即需要进行ETL作业。Impala 提供了：数据科学家或数据分析师已经熟知的SQL接口能够在Apache Hadoop 的大数据中进行交互式数据查询 Single system
for big data processing and analytics so customers can avoid costly modeling and ETL just for analytics七、Apache Drill简介：Apache Drill是是一个能够对大数据
进行交互分析、开源的分布式系统，且基于Google Dremel 实现，它能够运行在上千个节点的服务器集群上，且能在几秒内处理PB级或者万亿条的数据记录。Drill能够帮助企业用户快速、高效地进行Hadoop数据查询和企业级大数据分析。Drill于2012年8月份由Apache推出。从Drill官方对其架构的介绍中得知，其具有适于实时的分析和快速的应用开发、适于半结构化/嵌套数据的分析、兼容现有的SQL
环境和Apache Hive等特征。另外，Drill的核心模块是Drillbit服务，该服务模块包括远程访问子模块、SQL解析器、查询优化器、任务计划执行引擎、存储插件接口（DFS、HBase、Hive等的接口）、分布式缓存模块等几部分，如下图所示：八、Apache Tajo简介：Apache Tajo项目的目的是在HDFS之上构建一个先进的数据仓库系统。Tajo将自己标榜为一个“大数据仓库”，但是它好像和之前介绍的那些低延迟查询引擎类似。虽然它支持外部表和Hive数据集（通过HCatalog），但是它的重点是数据管理，提供低延迟的数据访问，以及为更传统的ETL提供工具。它也需要在数据节点上部署Tajo特定的工作进程。Tajo的功能包括：ANSI SQL 兼容JDBC 驱动集成Hive metastore能够访问Hive数据集一个命令行客户端一个自定义函数API九、Hive简介：hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可
以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce 统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。流式计算一、Facebook Puma简介：实时数据流分析二、Twitter Rainbird
简介：Rainbird一款基于Zookeeper, Cassandra, Scribe, Thrift的分布式实时统计系统，这些基础组件的基本功能如下： Zookeeper，Hadoop子项目中的一款分布式协调系统，用于控制分布式系统中各个组件中的一致性。Cassandra，NoSQL中一款非常出色的产品，集合了Dynamo和Bigtable 特性的分布式存储系统，用于存储需要进行统计的数据，统计数据，并且提供客户端进行统计数据的查询。（需要使用分布式Counter补丁CASSANDRA-1072） Scribe，Facebook 开源的一款分布式日志收集系统，用于在系统中将各个需要统计的数据源收集到Cassandra中。 Thrift，Facebook开源的一款跨语言C/S网络通信框架，开发人员基于这个框架可以轻易地开发C/S应用。用处Rainbird可以用于实时数据的统计：统计网站中每一个页面，域名的点击次数内部系统的运行监控（统计被监控服务器的运行状态）记录最大值和最小值三、Yahoo S4简介：S4（Simple Scalable Streaming System）最初是Yahoo!为提高搜索广告有效点击率的问题而开发的一个平台，通过统计分析用户对广告的点击率，排除
相关度低的广告，提升点击率。目前该项目刚启动不久，所以也可以理解为是他们提出的一个分布式流计算（Distributed Stream Computing）的模型。S4的设计目标是：·提供一种简单的编程接口来处理数据流·设计一个可以在普通硬件之上可扩展的高可用集群。·通过在每个处理节点使用本地内存，避免磁盘I/O瓶颈达到最小化延迟·使用一个去中心的，对等架构；所有节点提供相同的功能和职责。没有担负特殊责任的中心节点。这大大简化了部署和维护。·使用可插拔的架构，使设计尽可能的即通用又可定制化。·友好的设计理念，易于编程，具有灵活的弹性Yahoo S4官方网站>>>四、Twitter Storm简介：Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架，它原来是由BackType开发，后BackType被Twitter收购，将Storm作为Twitter的实时数据分析系统。实时数据处理的应用场景很广泛，例如商品推荐，广告投放，它能根据当前情景上下文（用户偏好，地理位置，已发生的查询和点击等）来估计用户点击的可能性并实时做出调整。storm的三大作用领域：1.信息流处理（Stream Processing）Storm可以用来实时处理新数据和更新数据库，兼具容错性和可扩展性,它可以用来处理源源不断的消息，并将处理之后的结果保存到持久化介质中。2.连续计算（Continuous Computation）Storm可以进行连续查询并把结果即时反馈给客户，比如将Twitter
上的热门话题发送到客户端。3.分布式远程过程调用（Distributed RPC）除此之外，Storm也被广泛用于以下方面：精确的广告推送实时日志的处理Twitter Storm官方网站>>>迭代计算一、Apache Hama简介：Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架，模仿了Google的Pregel。用来处理大规模的科学计算，特别是矩阵和图计算。建立在Hadoop上的分布式并行计算模型。基于 Map/Reduce 和 Bulk Synchronous 的实现框架。运行环境需要关联 Zookeeper、HBase、HDFS 组件。Hama中有2个主要的模型:–矩阵计算(Matrix package)–面向图计算(Graph package)Apache Hama官方网站>>>二、Apache Giraph 代码托管地址： GitHub简介：Apache Giraph是一个可伸缩的分布式迭代图处理系统，灵感来自BSP（bulk synchronous parallel）和Google的Pregel，与它们区别于则是是开源、基于 Hadoop 的架构等。Giraph处理平台适用于运行大规模的逻辑计算，比如页面排行、共享链接、基于个性化排行等。Giraph专注于社交图计算，被Facebook 作为其Open Graph工具的核心，几分钟内处理数万亿次用户及其行为之间的连接。三、HaLoop简介：迭代的MapReduce，HaLoop——适用于迭代计算的Hadoop 。Hadoop与HaLoop
的不同与Hadoop比较的四点改变：1.提供了一套新的编程接口，更加适用于迭代计算；HaLoop给迭代计算一个抽象的
递归公式：的master进行job内的循环控制，直到迭代计算结束； Scheduler也进行了修改，使得任务能够尽量满足data nodes对数据进行cache并index索引，索引也以文件的形式保存在本地磁盘。HaLoop官网>>>四、Twister简介：Twister，迭代式MapReduce框架，Twister是由一个印度人开发的，其架构如下：在Twister中，大文件不会自动被切割成一个一个block，因而用户需提前把文件分成一个一个小文件，以供每个task处理。在map阶段，经过map （）处理完的结果被放在分布式内存中，然后通过一个broker network（NaradaBroking系统）将数据push给各个reduce task（Twister假设内存足够大，中间数据可以全部放在内存中）；在reduce阶段，所有reduce task产生的结果通过一个combine操作进行归并，此时，用户可以进行条件判定，确定迭代是否结束。combine后的数据直接被送给map task，开始新一轮的迭代。为了提高容错性，Twister 每隔一段时间会将map task和reduce task产生的结果写到磁盘上，这样，一旦某个task失败，它可以从最近的备份中获取输入，重新计算。为了避免每次迭代重新创建task，Twister维护了一个task pool，每次需要task时直接从pool 中取。在Twister中，所有消息和数据都是通过broker network传递的，该broker network是一个独立的模块，目前支持NaradaBroking和ActiveMQ。离线计算一、Hadoop
MapReduce简介：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（归约）”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map （映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。Hadoop MapReduce官方网站>>>二、Berkeley Spark简介：Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce 的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。三、DataTorrent简介：DataTorrent基于Hadoop 构建，是一个实时的、有容错能力的数据流式处理和分析平台，它使用本地Hadoop应用程序，而这些应用程序可以与执行其它任务，如批处理，的应用程序共存。该平台的架构如下图所示：相关文章：DataTorrent 每秒处理超过10亿个实时事件DataTorrent 将数据分析速度从“实时”提升至“现在时”键值存储一、LevelDB贡献者：Google简介：Leveldb是一个google实现
的非常高效的kv数据库，目前的版本能够支持billion级别的数据量了。在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计。特别是LMS算法。LevelDB 是单进程的服务，性能非常之高，在一台4核Q6600的CPU机器上，每秒钟写数据超过40w，而随机读的性能每秒钟超过10w。此处随机读是完全命中内存的速度，如果是不命中速度大大下降。LevelDB官方网站>>>二、RocksDB贡献者：facebook简介：RocksDB虽然在代码层面上是在LevelDB原有的代码上进行开发的，但却借鉴了Apache HBase的一些好的idea。在云计算横行的年代，开口不离Hadoop，RocksDB 也开始支持HDFS，允许从HDFS读取数据。RocksDB支持一次获取多个K-V，还支持Key范围查找。LevelDB只能获取单个Key。RocksDB除了简单的Put、Delete操作，还提供了一个Merge操作，说是为了对多个Put操作进行合并。RocksDB提供一些方便的工具，这些工具包含解析sst文件中的K-V记录、解析MANIFEST文件的内容等。RocksDB支持多线程合并，而LevelDB是单线程合并的。RocksDB官方网站>>>三、HyperDex贡献者：FacebookHyperDex是一个分布式、可搜索的键值存储系统，特性如下：分布式KV存储，系统性能能够随节点数目线性扩展吞吐和延时都能秒杀现在风头正劲的MonogDB，吞吐甚至强于Redis使用了hyperspace hashing技术，使得对存储的K-V的任意属性进
行查询成为可能官网：成常用的序化框架如：Protocol Buffers、Thrift、Avro和Java Serialization。数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不
会影响系统的可用性。每个节点相互独立，互不影响。支持可插拔的数据放置策略官网：tair 分为持久化和非持久化
两种使用方式. 非持久化的 tair 可以看成是一个分布式
缓存. 持久化的 tair 将数据存放于磁盘中. 为了解决磁
盘损坏导致数据丢失, tair 可以配置数据的备份数目,
tair 自动将一份数据的不同备份放到不同的主机上, 当有
主机发生异常, 无法正常提供服务的时候, 其于的备份会
继续提供服务.tair 的总体结构tair 作为一个分布式系统, 是由一个中心控制节点和一系列的服务节点组成. 我们称
中心控制节点为config server. 服务节点是data server. config server 负责管理所有的data server, 维护data server的状态信息. data server 对外提供各种数据服务, 并以心跳的形式将自身状况汇报给config server. config server是控制点, 而且是单点, 目前采用一主一备的形式
来保证其可靠性. 所有的 data server 地位都是等价的.八、Apache AccumuloApache Accumulo 是一个可靠的、可
伸缩的、高性能的排序分布式的 Key-Value 存储解决方案，基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路，基于 Apache Hadoop、
Zookeeper 和 Thrift 构建。官网：//九、RedisRedis是一个高性能的key-value存储系统，和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）和zset（有序集合）。与memcached 一样，为了保证效率，数据都是缓存在内存中，区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了主从同步。Redis 的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端，使用很方便。官网：//表格存储一、OceanBase贡献者：阿里巴巴相关文章：26页PPT解密支撑支付宝交易的分布式数据库系统——OceanBase简介：OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如临时表，视图(view)，研发团队把有限的资源集中到关键点上，当前OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。目前OceanBase已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更
新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过，并会逐步在淘宝内部推广。OceanBase 在Github开源，开源版本为Revision:12336。官网：//二、Amazon SimpleDB贡献者：亚马逊Amazon SimpleDB是一个分散式数据库，以Erlang撰写。同与Amazon EC2和亚马逊的S3一样作为一项Web 服务，属于亚马逊网络服务的一部分。正如EC2和S3，SimpleDB的按照存储量，在互联网上的传输量和吞吐量收取费用。在2008年12月1日，亚马逊推出了新的定价策略，提供了免费1 GB的数据和25机器小时的自由层(Free Tire)。将其中的数据转移到其他亚马逊网络服务是免费的。它是一个可大规模伸缩、用 Erlang 编写的高可用数据存储。官网：//三、Vertica 贡献者：惠普简介：惠普2011年2月份起始3月21号完成收购Vertica。Vertica基于列存储。基于列存储的设计相比传统面向行存储的数据库具有巨大的优势。同时Vertica 支持MPP（massively parallel processing）等技术，查询数据时Vertica只需取得需要的列，而不是被选择行的所有数据，其平均性能可提高50x-1000x倍。（查询性能高速度快）Vertica的设计者多次表示他们的产品围绕着高性能和高可用性设计。由于对MPP技术的支持，可提供对粒度，可伸缩性和可用性的优势。每个节点完全独立运作，完全无共享架构，降低对共享资源的系统竞争。Vertica的数据库使
用标准的SQL查询，同时Vertica的架构非常适合云计算，包括虚拟化，分布式多节点运行等，并且可以和
Hadoop/MapReduce进行集成。Vertica官网：//四、Cassandra 贡献者：facebook相关文章：开源分布式NoSQL数据库系统——Cassandra Cassandra与HBase的大数据对决谁是胜者简介：Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身Facebook于2008将 Cassandra 开源，此后，由于Cassandra良好的可扩放性，被Digg、Twitter 等知名Web 网站所采纳，成为了一种流行的分布式结构化数据存储方案。Cassandra是一个混合型的非关系的数据库，类似于Google的BigTable。其主要功能比Dynamo （分布式的Key-Value存储系统）更丰富，但支持度却不如文档存储MongoDB（介于关系数据库和非关系数据库之间的开源产品，是非关系数据库当中功能最丰富，最像关系数据库的。支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型）。Cassandra最初由Facebook开发，后转变成了开源项目。它是一个网络社交云计算方面理想的数据库。以Amazon专有的完全分布式的Dynamo为基础，结合了Google BigTable基于列族（Column Family）的数据模型。P2P去中心化的存储。很多方面都可
以称之为Dynamo 。Cassandra官网：// 五、HyperTable简介：Hypertable是一个开源、高性能、可伸缩的数据库，它采用与Google的Bigtable相似的模型。在过去数年中，Google为在PC集群上运行的可伸缩计算基础设施设计建造了三个关键部分。第一个关键的基础设施是Google File System（GFS），这是一个高可用的文件系统，提供了一个全局的命名空间。它通过跨机器（和跨机架）的文件数据复制来达到高可用性，并因此免受传统文件存储系统无法避免的许多失败的影响，比如电源、内存和网络端口等失败。第二个基础设施是名为Map-Reduce的计算框架，它与GFS紧密协作，帮助处理收集到的海量数据。第三个基础设施是Bigtable，它是传统数据库的替代。Bigtable让你可以通过一些主键来组织海量数据，并实现高效的查询。Hypertable 是Bigtable的一个开源实现，并且根据我们的想法进行了一些改进。HyperTable官网：//六、FoundationDB简介：支持ACID事务处理的NoSQL数据库，提供非常好的性能、数据一致性和操作弹性。2015年1月2日，FoundationDB 已经发布了其key-value数据库的版本，主要专注于可伸缩性和性能上的改善。FoundationDB的CEO David Rosenthal 在一篇博客上宣布了新的版本，其中展示了FoundationDB 在可伸缩性方面的数据，它可以在一个32位的 EC2实例上每秒写入1440万次；这在性能上是之前版本的36倍。除了
性能和可伸缩性的改善之外，FoundationDB 还包含了对监控支持的改善。这种监控机制不仅仅是简单的机器检查，它添加了对多种潜在的硬件瓶颈的诊断，并且把那些高层级的信息整合到现有监控基础架构中。官网：七：HBase贡献者：Fay Chang 所撰写的“Bigtable简介：HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase 基于列的而不是基于行的模式。官网：//文件存储一、CouchDB简介：CouchDB是用Erlang开发的面向文档的数据库系统，最近刚刚发布了版本（2010年7月14日）。CouchDB 不是一个传统的关系数据库，而是面向文档的数据库，其数据存储方式有点类似lucene的index文件格式，CouchDB最大的意义在于它是一个面向web应用的新一代存储系统，事实上，CouchDB的口号就是：下一代的Web应用存储系统。特点：一、CouchDB是分布式的数据库，他可以把存储系统分布到n台物理的节点上面，并且很好的协调和同步节点之间的数据读写一致性。这当然也得靠Erlang无与伦比的并
发特性才能做到。对于基于web的大规模应用文档应用，分布式可以让它不必像传统的关系数据库那样分库拆表，在应用代码层进行大量的改动。二、CouchDB是面向文档的数据库，存储半结构化的数据，比较类似lucene的index结构，特别适合存储文档，因此很适合CMS，电话本，地址本等应用，在这些应用场合，文档数据库要比关系数据库更加方便，性能更好。三、CouchDB支持REST API，可以让用户使用JavaScript来操作CouchDB数据库，也可以用JavaScript 编写查询语句，我们可以想像一下，用AJAX技术结合CouchDB 开发出来的CMS系统会是多么的简单和方便。其实CouchDB 只是Erlang应用的冰山一角，在最近几年，基于Erlang的应用也得到的蓬勃的发展，特别是在基于web的大规模，分布式应用领域，几乎都是Erlang的优势项目。官网：//二、MongoDB简介：MongoDB 是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json 的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。相关文章：
MongoDB的基本特性与内部构造大数据吃香创业公司MongoDB估值达16亿美元特点它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：*面向集合存储，易存储对象类型的数据。mongodb集群参考mongodb 集群参考*模式自由。*支持动态查询。*支持完全索引，包含内部对象。*支持查询。*支持复制和故障恢复。*使用高效的二进制数据存储，包括大型对象（如视频等）。*自动处理碎片，以支持云计算层次的扩展性。*支持RUBY，PYTHON，JAVA，C++，PHP，C#等多种语言。*文件存储格式为BSON（一种JSON的扩展）。*可通过网络访问。官网：三、Tachyon贡献者：Haoyuan Li（李浩源）简介：Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC时间等。Tachyon架构Tachyon的架构是传统的Master—slave架构，这里和Hadoop类似，TachyonMaster 里WorkflowManager是 Master进程，因为是为了防止单点问题，通过Zookeeper做了HA，可以部署多台Standby Master。Slave是由Worker Daemon和Ramdisk构成。这里个人理解只有Worker Daemon是基于JVM的，Ramdisk是一
个off heap memory。Master和Worker直接的通讯协议是Thrift。下图来自Tachyon的作者Haoyuan Li：下载地址：amplab/tachyon四、KFS简介：GFS的C++开源版本，Kosmos distributed file system (KFS)是一个专门为数据密集型应用（搜索引擎，数据挖掘等）而设计的存储系统，类似于Google的GFS和Hadoop的HDFS分布式文件系统。 KFS使用C++实现，支持的客户端包括C++，Java和Python。KFS 系统由三部分组成，分别是metaserver、chunkserver和client library。官网：//五、HDFS简介：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。官网：//资源管理一、Twitter Mesos开发者：Twitter研发人员John Oskasson
简介：Apache Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架构，由于其开
关系型数据库设计范式
关系型数据库设计范式 设计关系型数据库时，为使数据库结构合理，需遵从不同规范，这些规范被称为范式。范式越高，数据库的冗余度就越低。 目前关系型数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴德斯科范式（BCNF）、第四范式(4NF)和第五范式（5NF，又称完美范式）。 关系型数据库的最低要求是满足第一范式。一般来讲，数据库满足到第三范式就行了。第一范式（1NF）无重复的列 数据库表的每一列都是不可分割的原子数据项，而不能是集合，数组，记录等非原子数据项。如果实体中的某个属性有多个值时，必须拆分为不同的属性。 在任何一个关系数据库中，第一范式（1NF）是对关系模式的设计基本要求，一般设计中都必须满足第一范式（1NF）。不过有些关系模型中突破了1NF的限制，这种称为非1NF的关系模型。换句话说，是否必须满足1NF的最低要求，主要依赖于所使用的关系模型。 第二范式（2NF）属性完全依赖于主键 第二范式（2NF）是在第一范式（1NF）的基础上建立起来的，即满足第二范式（2NF）必须先满足第一范式（1NF）。 当存在多个主键的时候，才会发生不符合第二范式的情况。比如现在有两个主键，不能存在这样的属性，它只依赖于其中一个主键，这就是不符合第二范式。 如果存在不符合第二范式的情况，那么这个属性和主关键字的这一部分应该分离出来形成一个新的实体，新实体与原实体之间是一对多的关系。 第三范式（3NF）属性不能传递依赖于主属性（属性不依赖于其它非主键属性）第三范式（3NF）是在第二范式（2NF）的基础上建立起来的，即满足第三范式（3NF）必须先满足第二范式（2NF）。 如果某一属性依赖于其他非主键属性，而其他非主键属性又依赖于主键，那么这个属性就是间接依赖于主键，这被称作传递依赖于主属性。 第一范式举例 在当前的任何关系数据库管理系统（DBMS）中，傻瓜也不可能做出不符合第一范式的数据库，因为这些DBMS不允许你把数据库表的一列再分成二列或多列。因此，你想在现有的DBMS 中设计出不符合第一范式的数据库都是不可能的。 下面举例说明。 例如在某个学生的“电话”属性中填入了“1585858588 025-********”，那么就违反了第一范式。学生电话属性违反了原子性，它还可以再分，分成手机和座机两个属性。 第二范式举例 我们把（学号、姓名、年龄、性别、电话、系别、系办地址、系办电话、课程、学分、成绩）
大数据分析平台技术要求
大数据平台技术要求 1.技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： ?采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 ?实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 ?采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一的 数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE）的 结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
数据库设计规范
1概述 1.1目的 软件研发数据库设计规范作为数据库设计的操作规范，详细描述了数据库设计过程及结果，用于指导系统设计人员正确理解和开展数据库设计。 1.2适用范围 1.3术语定义 DBMS：数据库管理系统，常用的商业DBMS有Oracle, SQL Server, DB2等。 数据库设计：数据库设计是在给定的应用场景下，构造适用的数据库模式，建立数据库及其应用系统，有效存储数据，满足用户信息要求和处理要求。 概念数据模型：概念数据模型以实体-关系 (Entity-RelationShip,简称E-R)理论为基础，并对这一理论进行了扩充。它从用户的观点出发对信息进行建模，主要用于数据库概念级别的设计，独立于机器和各DBMS产品。可以用Sybase PowerDesigner工具来建立概念数据模型（CDM）。 逻辑数据模型：将概念数据模型转换成具体的数据库产品支持的数据模型，如关系模型，形成数据库逻辑模式。可
以用Sybase PowerDesigner工具直接建立逻辑数据模型（LDM），或者通过CDM转换得到。 物理数据模型：在逻辑数据模型基础上，根据DBMS特点和处理的需要，进行物理存储安排，设计索引，形成数据库内模式。可以用Sybase PowerDesigner工具直接建立物理数据模型（PDM），或者通过CDM / LDM转换得到。 2数据库设计原则 按阶段实施并形成该阶段的成果物 一般符合3NF范式要求；兼顾规范与效率 使用公司规定的数据库设计软件工具 命名符合公司标准和项目标准 3数据库设计目标 规范性：一般符合3NF范式要求，减少冗余数据。 高效率：兼顾规范与效率，适当进行反范式化，满足应用系统的性能要求。 紧凑性：例如能用char(10)的就不要用char(20)，提高存储的利用率和系统性能，但同时也要兼顾扩展性和可移植性。 易用性：数据库设计清晰易用，用户和开发人员均能容
大数据可视化分析平台介绍
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库（人口库、法人库、宏观经济、地理库）为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态，为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基础展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL 等功能。 2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据，经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即
席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联，即：通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求：依靠集中数据集，快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配置分析优化等辅助决策功能，促进民生的发展。
大数据处理技术的总结与分析
数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如：淘宝网站交易系统、1２306网站火车票交易系统、超市ＰOＳ系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单，一般只有少数几步操作组成，比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成； 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如OＲＡＣLＥ、MＹSQL、SQＬSERVER,再加数据复制（DataGurａd、RＭAＮ、ＭｙSQＬ数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下，一般可以采用ORＡLＣＥRAC集群方式或者就是通过硬件升级（采用小型机、大型机等，如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、1230６等互联网企业中,由于数据量大、访问并发量高，必然采用分布式技术来应对,这样就带来了分布式事务处理问题，而分布式事务处理很难做到高效，因此一般采用根据业务应用特点来开发专用得系统来解决本问题。
２数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等． 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算，每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂，例如会涉及大量goｕpbｙ、子查询、嵌套查询、窗口函数、聚合函数、排序等；有些复杂统计可能需要编写ＳQＬ脚本才能实现． 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计； 传统得数据统计分析主要采用基于ＭＰP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法，把数据整理成适合统计分析得结构来实现高性能得数据统计分析，以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求，基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标，采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。
大数据分析平台的需求报告模板
大数据分析平台的需求报告 提供统一的数据导入工具，数据可视化工具、数据校验工具、数据导出工具和公共的数据查询接口服务管理工具是建立大数据分析平台的方向。 一、项目范围的界定 没有明确项目边界的项目是一个不可控的项目。基于大数据分析平台的需求，需要考虑的问题主要包括下面几个方面： （1）业务边界：有哪些业务系统的数据需要接入到大数据分析平台。 （2）数据边界：有哪些业务数据需要接入大数据分析平台，具体的包括哪些表，表结构如何，表间关系如何（区别于传统模式）。 （3）功能边界：提供哪些功能，不提供哪些功能，必须明确界定，该部分详见需求分析； 二、关键业务流程分析 业务流程主要考虑包括系统间数据交互的流程、传输模式和针对大数据平台本身涉及相关数据处理的流程两大部分。系统间的数据交互流程和模式，决定了大数据平台的架构和设计，因此必须进行专项分析。大数据平台本身需要考虑的问题包括以下几个方面： 2.1 历史数据导入流程 2.2 增量数据导入流程 2.3 数据完整性校验流程
2.4 数据批量导出流程 2.5 数据批量查询流程 三、功能性需求分析 3.1.历史数据导入3.1.1 XX系统数据3.1.1.1 数据清单 (3) 3.1.1.2 关联规则 (3) 3.1.1.3 界面 (3) 3.1.1.4 输入输出 (3) 3.1.1.5 处理逻辑 (3) 3.1.1.6 异常处理 (3) 3.2 增量数据导入3.3 数据校验 3.4 数据导出 3.5 数据查询 四、非功能性需求 4.1 性能
4.2 安全性 4.3 可用性 … 五、接口需求 5.1 数据查询接口 5.2 批量任务管理接口 5.3 数据导出接口 六、集群需求 大数据平台的技术特点，决定项目的实施必须考虑单独的开发环境和生产环境，否则在后续的项目实施过程中，必将面临测试不充分和性能无法测试的窘境，因此前期需求分析阶段，必须根据数据规模和性能需求，构建单独的开发环境和生产环境。 6.1开发环境 6.1.1 查询服务器 6.1.2 命名服务器 6.1.3 数据服务器 6.2 生产环境 6.2.1 查询服务器
工程大数据分析平台
工程大数据分析平台 随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量激增、数据类型不断扩展。相关数据涵盖车内高频CAN 数据和车外ADAS 视频非结构化数据、位置地理空间数据、车辆运营数据、用户CRM 数据、WEB 数据、APP 数据、和MES 数据等。 在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一起，并在此基础上，实现业务系统、分析系统和服务系统的一体化；怎样利用深度的驾驶员行为感知、智能的车辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术，建立面向业务服务与产品持续优化的车联网智能分析；最终利用数据来为产品研发、生产、销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。 针对这一需求，恒润科技探索出以EXCEEDDATA 大数据分析平台为核心的汽车工程大数据整体解决方案。借助EXCEEDDATA 大数据分析平台，企业可以集成、处理、分析、以及可视化海量级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能，从而改进业务流程、实现智慧决策的产业升级。 产品介绍: ●先进的技术架构 EXCEEDDATA 采用分布式架构、包含集成处理（ETL）与分析挖掘两大产品功能体系，共支持超过20 多个企业常见传统数据库和大数据源系统，超过50 多个分析处理算法、以及超过丰富的可视化智能展现库。用户可以自主的、灵活的将各种来源的原始数据与分析处
理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速高效的将大数据智能实现至业务应用中。 平台包括分布式大数据分析引擎、智能终端展示、以及API。大数据分析引擎为MPP 架构，建立在开源的Apache Hadoop 与Apache Spark 之上，可简易的scale-out 扩展。在分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可视化图形库等子模块。智能终端展示为行业通用的B/S 架构，用户通过支持跨操作系统和浏览器的HTML5/JS 界面与API 来与平台互动。
大数据分析平台技术要求
大数据平台技术要求 1. 技术构架需求 采用平台化策略，全面建立先进、安全、可靠、灵活、方便扩展、便于部署、操作简单、易于维护、互联互通、信息共享的软件。 技术构架的基本要求： 采用多层体系结构，应用软件系统具有相对的独立性，不依赖任何特定的操作系统、特定的数据库系统、特定的中间件应用服务器和特定的硬 件环境，便于系统今后的在不同的系统平台、不同的硬件环境下安装、 部署、升级移植，保证系统具有一定的可伸缩性和可扩展性。 实现B（浏览器）/A（应用服务器）/D（数据库服务器）应用模式。 采用平台化和构件化技术，实现系统能够根据需要方便地进行扩展。2. 功能指标需求 2.1基础平台 本项目的基础平台包括：元数据管理平台、数据交换平台、应用支撑平台。按照SOA的体系架构，实现对我校数据资源中心的服务化、构件化、定制化管理。 2.1.1元数据管理平台 根据我校的业务需求，制定统一的技术元数据和业务元数据标准，覆盖多种来源统计数据采集、加工、清洗、加载、多维生成、分析利用、发布、归档等各个环节，建立相应的管理维护机制，梳理并加载各种元数据。 具体实施内容包括： ●根据业务特点，制定元数据标准，要满足元数据在口径、分类等方面的 历史变化。 ●支持对元数据的管理，包括：定义、添加、删除、查询和修改等操作，
支持对派生元数据的管理，如派生指标、代码重新组合等，对元数据管 理实行权限控制。 ●通过元数据，实现对各类业务数据的统一管理和利用，包括： ?基础数据管理：建立各类业务数据与元数据的映射关系，实现统一 的数据查询、处理、报表管理。 ?ETL：通过元数据获取ETL规则的描述信息，包括字段映射、数据转 换、数据转换、数据清洗、数据加载规则以及错误处理等。 ?数据仓库：利用元数据实现对数据仓库结构的描述，包括仓库模式、 视图、维、层次结构维度描述、多维查询的描述、立方体（CUBE） 的结构等。 ●元数据版本控制及追溯、操作日志管理。 2.1.2数据交换平台 结合元数据管理模块并完成二次开发，构建统一的数据交换平台。实现统计数据从一套表采集平台，通过数据抽取、清洗和转换等操作，最终加载到数据仓库中，完成整个数据交换过程的配置、管理和监控功能。 具体要求包括： ●支持多种数据格式的数据交换，如关系型数据库：MS-SQLServer、MYSQL、 Oracle、DB2等；文件格式：DBF、Excel、Txt、Cvs等。 ●支持数据交换规则的描述，包括字段映射、数据转换、数据转换、数据 清洗、数据加载规则以及错误处理等。 ●支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执 行、人工执行、结果反馈、异常监控。 ●支持增量抽取的处理方式，增量加载的处理方式； ●支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合， 分析报表到业务系统的血缘分析关系； ●具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义 脚本和函数等具备可重用性； ●支持断点续传及异常数据审核、回滚等交换机制。
简析关系型数据库系统的设计方法
简析关系型数据库系统的设计方法 1系统总体设计 面向关系数据库的关键字查询系统主要有五部分组成，首先要分析输入的关键字，有几个关键字组成;然后调用全文索引，查看这些关键字所属，是表名、属性名还是属性值;接下来查询数据库的模式图，从而得到几种可能的元组连接树;最后将相应元组连接树转化成SQ L 语句查询关系数据库，生成查询结果，以二维表格形式显示。 2数据库设计 本系统为面向关系数据库的关键字查询系统，在实验中本文选取了M D B数据集，为了进行实验，将数据集整理为以下七个表数据结构。实验数据集(电影信息数据库):Actor(演员表),Consume(设计师),Director(导演信息),Busness股资),Edito r(编辑),Color(颜色信息),Keyw ord(关键词)。 3数据库索引设计 在关系型数据库中，例如0 racl,DB2,SQ L Server和M ySQ L等都提供了对关键字查询的扩展，可以为数据库的表属性建立全文索引，这为实现关系数据库的关键字查询提供了基础。已有多个关系数据库的关键字查询系统被开发出来，BANKS ,D ISCO VER,IR-style,SEKKER 等等。然而在已有的系统中，多数系统仅仅支持数据库中文本属性的查询，却忽略了对数据库中元数据的处理。如果用户给定的查询关键字是数据库中的元数据，则有些系统就不能够满足用户的查询需求，
或者查询结果不够精确，返回大量与查询不相关的结果。SEKKER虽然提出了支持数字属性和元数据的查询，但是却在查询语言上做了限定，只能通过给定的查询语言格式进行查询，所以系统的灵活性不高。 4数据库模式图的构建 在关系数据库中，关键字是通过主外键进行连接的，因此关系数据库采用的数据模型，即为基于模式图建模。模式图的节点对应数据库中的关系，边表示关系间的主外键约束。 模式图(Schem a Graph,GS)是将关系数据库的模式信息定义为模式图GS(V,E)，其中V表示模式图中的节点，与数据库中的关系一一对应，E表示模式图中的边，将具有主外码约束相对应的关系连接起来，关系R;和关系R中的主外键关系对应模式图一条边R -R， 本文数据库对应的数据库模式图如图 3所示。 5关键字检索设计 关键字检索技术主要是，通过分析用户输入的关键字所属类型来确定元组连接树，从而转换成相应的SQ L语句来查询关系数据库。如果用户输入的关键字都是表名，则将几个表自然连接后输出即可;若用户输入的关键字有表名、属性名，那么将属性列加到表中输出就是用户所检索的内容;若用户输入的关键字中有属性值，则将属性值对应属性与表或属性列连接，根据属性值对应元组来显示查询结果。由此可见，对于相同的关键字，如果它不止一种所属值，那么它就会对应不同的SQ L语句。
数据库设计规范
1概述 1.1 目的 软件研发数据库设计规范作为数据库设计的操作规范， 详细描述了数据库设计过程及结果，用于指导系统设计人员 正确理解和开展数据库设计。 1.2 适用范围 1.3 术语定义 DBMS：数据库管理系统，常用的商业 DBMS有 Oracle, SQL Server, DB2 等。 数据库设计：数据库设计是在给定的应用场景下，构造 适用的数据库模式，建立数据库及其应用系统，有效存储数据，满足用户信息要求和处理要求。 概念数据模型：概念数据模型以实体- 关系 (Entity-RelationShip, 简称 E-R) 理论为基础，并对这一理论进 行了扩充。它从用户的观点出发对信息进行建模，主要 用于数据库概念级别的设计，独立于机器和各DBMS产品。可以用 Sybase PowerDesigner工具来建立概念数据模型（CDM）。 逻辑数据模型：将概念数据模型转换成具体的数据库产 品支持的数据模型，如关系模型，形成数据库逻辑模式。可
以用 Sybase PowerDesigner工具直接建立逻辑数据模型 （ LDM），或者通过CDM转换得到。 物理数据模型：在逻辑数据模型基础上，根据DBMS特点和处理的需要，进行物理存储安排，设计索引，形成数据库内模式。可以用 Sybase PowerDesigner 工具直接建立物理数据模型（ PDM），或者通过 CDM / LDM 转换得到。 2数据库设计原则 按阶段实施并形成该阶段的成果物 一般符合3NF范式要求；兼顾规范与效率 使用公司规定的数据库设计软件工具 命名符合公司标准和项目标准 3数据库设计目标 规范性：一般符合3NF范式要求，减少冗余数据。 高效率：兼顾规范与效率，适当进行反范式化，满足应 用系统的性能要求。 紧凑性：例如能用 char(10) 的就不要用 char(20) ，提高存储的利用率和系统性能，但同时也要兼顾扩展性和可移植性。 易用性：数据库设计清晰易用，用户和开发人员均能容
大数据处理平台构架设计说明书
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
关系型与非关系型数据库(1)
关系型与非关系型数据库（1） 胡经国 本文作者的话 本文是根据有关文献和资料编写的《漫话云计算》系列文稿之一。以此作为云计算学习笔录，供云计算业外读者进一步学习和研究参考。希望能够得到大家的指教和喜欢！ 下面是正文 一、云计算时代对数据库技术的新需求 随着云计算时代的到来，各种类型的互联网应用层出不穷，对数据模型、分布式架构、数据存储等数据库相关技术指标提出了新的要求。虽然传统的关系型数据库已在数据存储方面占据了不可动摇的地位，但是由于其天生的限制，已经越来越无法满足云计算时代对数据扩展、读写速度、支撑容量以及建设和运营成本的要求。云计算时代对数据库技术提出了新的需求，主要表现在以下几个方面： ⑴、海量数据处理 对类似搜索引擎和电信运营商级的经营分析系统这样大型的应用而言，需要能够处理PB级的数据，同时需要应对百万级流量。 ⑵、大规模集群管理 大规模集群管理使分布式应用可以更加简单地部署、应用和管理。 ⑶、低延迟读写速度 快速的响应速度能够极大地提高用户的满意度。 ⑷、建设及运营成本 云计算应用的基本要求是希望在硬件成本、软件成本以及人力成本方面都有大幅度的降低。 链接：互联网应用 互联网应用是指搜索引擎、聊天室和讨论组以及实用软件（公用软件、共享软件、自由软件）等。宽带上网催生了一系列新的互联网应用，比较流行的如网络游戏、博客、微博、播客、互联网电视、互联网金融、流媒体（边传边播的媒体）、即时通信（如QQ）、网络电话（Voip）、电子商务等等。
链接：数据扩展 数据扩展是由一组连续的数据块构成的，是数据库逻辑存储分配单位。而数据表的数据段则是由一个或多个数据扩展构成。当一个数据段己有空间用完时，关系数据库管理系统（Oracle）自动为这个数据段分配新的数据扩展。 当用户创建数据表时，Oracle为此数据表的数据段分配一个包含若干数据块的初始数据扩展。虽然此时数据表中还没有数据，但是在此初始数据扩展中的数据块己经为插入新数据做好了准备。如果一个数据段的初始数据扩展的数据块都己装满，而且有新的数据要插入时，Oracle会自动为这个数据段分配一个增量数据扩展。 链接：集群（Cluster）技术 集群（Cluster）技术定义为：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。该单一系统为客户工作站提供高可靠性的服务。在大多数模式下，集群中所有的计算机拥有一个共同的名称，在集群内任一系统上运行的服务可以被所有的网络客户所使用。Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。一个Cluster包含多台（至少二台）拥有共享数据存储空间的服务器。任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间内。Cluster内各节点服务器通过一个内部局域网相互通信。当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。当以上的任一故障发生时，客户都将能够很快地连接到新的应用服务上。 链接：分布式应用 分布式应用（Distributed Application，DA），是指应用程序分布在不同计算机上，通过网络来共同完成一项任务的工作方式。 链接：低延迟 延迟是一个现代词语，意思是推迟到较后的时间。 低延迟的需求，很大程度上来自于证券市场上高频交易比例的迅猛增长。在证券产品可以在多家交易所进行交易的情况下，能够更快处理订单、更快反馈行情的交易所，显然更能吸引采用高频交易策略的机构投资者。例如，2010年，纳斯达克（NASDAQ）应用INET（电子交易平台技术）处理延迟小于250微秒，每秒可处理100万笔订单，是当时世界上处理速度最快的交易所。 二、关系型数据库SQL 1、关系型数据库概述 关系型数据库是建立在数据关系模型基础上的数据库。关系模型是指二维表格模型。因而，一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。在现实世界中，各种实体以及实体之间的各种联系均用关系模型来表
SQL Server数据库规范
数据库设计规范 1.简介 数据库设计是指对一个给定的应用环境，构造最优的数据库模式，建立数据库及其他应用系统，使之能有效地存储数据，满足各种用户的需求。数据库设计过程中命名规范很是重要，命名规范合理的设计能够省去开发人员很多时间去区别数据库实体。 最近也因为工作需要所以整理出了这个word文档，望大家指正。 2数据库设计 数据库规划→需求分析→数据库设计→应用程序设计→实现→测试→运行于维护 2.1数据库规划 定义数据库应用系统的主要目标，定义系统特定任务，包括工作量的估计、使用资源、和需求经费，定义系统的范围以及边界。 2.2需求分析 2.1.1需求分析步骤与成果 涉及人员：用户和分析人员 任务：对现实世界要处理的对象进行详细的调查，收集基础数据及处理方法，在用户调查的基础上通过分析，逐步明确用户对系统的需求，包括信息的要求及处理的要求。 方法与步骤：1.通过与用户的调查，对用户的信息需求进行收集。 2.在收集数据的同时，设计人员要对其进行加工和整理，以数据字典和数据流图的形式描述出来，并以设计人员的角度向用户讲述信息，根据用户的反馈加以修改并确定（该过程是反复的过程） 成果：数据流图，数据字典，各种说明性表格，统计输出表以及系统功能结构图。 2.1.2数据流图基本元素与数据流图 外部实体：存在于软件系统之外的人员或组织（正方形或立方体表示）。 加工：数据处理，表示输入数据在此进行变换，产生输出数据（圆角巨型或圆形表示）。数据流：表示流动着的数据（箭头线表示）。 数据存储：用来表示要存储的数据（开门矩形或两条平行横线表示）。 订单处理系统顶层流程图：
0层数据流图：
常见的关系型数据库管理系统
常见的关系型数据库管理系统 常见的关系型数据库管理系统产品有Oracle、SQL Server、Sybase、DB2、Access等。 1.Oracle Oracle是1983年推出的世界上第一个开放式商品化关系型数据库管理系统。它采用标准的SQL结构化查询语言，支持多种数据类型，提供面向对象存储的数据支持，具有第四代语言开发工具，支持Unix、Windows NT、OS/2、Novell等多种平台。除此之外，它还具有很好的并行处理功能。Oracle产品主要由Oracle服务器产品、Oracle开发工具、Oracle应用软件组成，也有基于微机的数据库产品。主要满足对银行、金融、保险等企业、事业开发大型数据库的需求。 2.SQL Server SQL即结构化查询语言（Structured Query Language，简称为SQL）。SQL Server最早出现在1988年，当时只能在OS/2操作系统上运行。2000年12月微软发布了SQL Server 2000，该软件可以运行于Windows NT/2000/XP等多种操作系统之上，是支持客户机/服务器结构的数据库管理系统，它可以帮助各种规模的企业管理数据。 随着用户群的不断增大，SQL Server在易用性、可靠性、可收缩性、支持数据仓库、系统集成等方面日趋完美。特别是SQL Server的数据库搜索引擎，可以在绝大多数的操作系统之上运行，并针对海量数据的查询进行了优化。目前SQL Server已经成为应用最广泛的数据库产品之一。 由于使用SQL Server不但要掌握SQL Server的操作，而且还要能熟练掌握Windows NT/2000 Server 的运行机制，以及SQL语言，所以对非专业人员的学习和使用有一定的难度。 3.Sybase 1987年推出的大型关系型数据库管理系统Sybase，能运行于OS/2、Unix、Windows NT等多种平台，它支持标准的关系型数据库语言SQL，使用客户机/服务器模式，采用开放体系结构，能实现网络环境下各节点上服务器的数据库互访操作。技术先进、性能优良，是开发大中型数据库的工具。Sybase产品主要由服务器产品Sybase SQL Server、客户产品Sybase SQL Toolset和接口软件Sybase Client/Server Interface 组成，还有著名的数据库应用开发工具PowerBuilder。 4.DB2 DB2是基于SQL的关系型数据库产品。20世纪80年代初期DB2的重点放在大型的主机平台上。到90年代初，DB2发展到中型机、小型机以及微机平台。DB2适用于各种硬件与软件平台。各种平台上的DB2有共同的应用程序接口，运行在一种平台上的程序可以很容易地移植到其他平台。DB2的用户主要分布在金融、商业、铁路、航空、医院、旅游等各个领域，以金融系统的应用最为突出。 5.Access Access是在Windows操作系统下工作的关系型数据库管理系统。它采用了Windows程序设计理念，以Windows特有的技术设计查询、用户界面、报表等数据对象，内嵌了VBA（全称为Visual Basic Application）程序设计语言，具有集成的开发环境。Access提供图形化的查询工具和屏幕、报表生成器，用户建立复杂的报表、界面无需编程和了解SQL语言，它会自动生成SQL代码。 Access被集成到Office中，具有Office系列软件的一般特点，如菜单、工具栏等。与其他数据库管理系统软件相比，更加简单易学，一个普通的计算机用户，没有程序语言基础，仍然可以快速地掌握和
教你如何快速搭建一个大数据分析平台
一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤： 1、Linux系统安装 一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。比如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。 2、分布式计算平台/组件安装 当前分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。 使用开源组件的优点：1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）；2）开源组件一般免费，学习和维护相对方便；3）开源组件一般会持续更新；4）因为代码开源，如果出现bug可自由对源码作修改维护。
常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询，Hbase 可以快速读取行。外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。Zookeeper是提供数据同步服务，Impala是对hive的一个补充，可以实现高效的SQL查询 3、数据导入 前面提到，数据导入的工具是Sqoop。它可以将数据从文件或者传统数据库导入到分布式平台。
4、数据分析 数据分析一般包括两个阶段：数据预处理和数据建模分析。 数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。这个过程可能会用到Hive SQL，Spark QL和Impala。 数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。
数据库设计规范标准
关系型数据库设计规范 目录 文档类别使用对象 4 1. 概述 5 1.1 简介 (5) 1.2 术语定义 (5) 1.3 参考资料 (5) 1.4 版本更新记录 (5) 2．数据库设计的目标7 3. 数据库的特征7 3.1完整性约束 (8) 3.1.1not null约束 (9) 3.1.2缺省值 (9) 3.1.3 unique约束 (9) 3.1.4 primary key约束 (10) 3.1.5 参照完整性约束 (10) 3.1.6 check约束 (11) 3.2 存储过程 (11) 3.3 触发器 (12) 3.4 事务处理 (13) 3.4.3 事务与一致性 (13) 3.4.4 事务和恢复 (15)
3.5 并发处理 (15) 3.5.3 死锁 (15) 3.5.4 读一致性 (16) 3.6 序号生成器 (16) 3.7 视图 (16) 3.7.3 安全性 (18) 3.7.4 逻辑数据独立性 (18) 4. 调整数据库设计以提高系统性能19 4.1 建立有用的性能标准 (19) 4.2 数据库的规范化 (19) 4.3 通过非规范化设计提高数据库的效率 (20) 4.3.3 非规范化的原因 (20) 4.3.4 非规范化技术 (20) 4.3.5 进行非规范化处理时的注意事项 (21) 4.4 表的大小 (22) 4.4.3 表是否过小 (22) 4.4.4 表是否过大 (22) 4.4.5 如何减小表的尺寸 (23) 4.5 记录的大小 (23) 4.5.3 列有最佳的位置吗 (23) 4.5.4 存在最佳的记录大小吗 (23) 4.5.5 记录是否过小 (23)
大数据分析平台系统开发
大数据分析平台系统开发 1、搭建大数据平台离不开BI。在大数据之前,BI就已经存在很久了,简单把大数据等同于BI,明显就是不恰当的。但两者又就是紧密关联的,相辅相成的。BI就是达成业务管理的应用工具,没有BI,大数据就没有了价值转化的工具,就无法把数据的价值呈现给用户,也就无法有效地支撑企业经营管理决策;大数据则就是基础,没有大数据,BI就失去了存在的基础,没有办法快速、实时、高效地处理数据,支撑应用。所以,数据的价值发挥,大数据平台的建设,必然就是囊括了大数据处理与BI应用分析建设的。 2、大数据拥有价值。来瞧瞧数据使用金字塔模型,从数据的使用角度来瞧,数据基本有以下使用方式: 自上而下,可以瞧到,对数据的要求就是不一样的: ?数据量越来越大,维度越来越多。 ?交互难度越来越大。 ?技术难度越来越大。 ?以人为主,逐步向机器为主。 ?用户专业程度逐步提升,门槛越来越高。
企业对数据、效率要求的逐步提高,也给大数据提供了展现能力的平台。企业构建大数据平台,归根到底就是构建企业的数据资产运营中心,发挥数据的价值,支撑企业的发展。 整体方案思路如下: 建设企业的基础数据中心,构建企业统一的数据存储体系,统一进行数据建模,为数据的价值呈现奠定基础。同时数据处理能力下沉,建设集中的数据处理中心,提供强大的数据处理能力;通过统一的数据管理监控体系,保障系统的稳定运行。有了数据基础,构建统一的BI应用中心,满足业务需求,体现数据价值。 提到大数据就会提到hadoop。大数据并不等同于hadoop,但hadoop的确就是最热门的大数据技术。下面以最常用的混搭架构,来瞧一下大数据平台可以怎么 通过Kafka作为统一采集平台的消息管理层,灵活的对接、适配各种数据源采集(如集成flume),提供灵活、可配置的数据采集能力。 利用spark与hadoop技术,构建大数据平台最为核心的基础数据的存储、处理能力中心,提供强大的数据处理能力,满足数据的交互需求。同时通过sparkstreaming,可以有效满足企业实时数据的要求,构建企业发展的实时指标体系。 同时为了更好的满足的数据获取需求,通过RDBMS,提供企业高度汇总的统计数据,满足企业常规的统计报表需求,降低使用门槛。对大数据明细查询需求,则通过构建HBase集群,提供大数据快速查询能力,满足对大数据的查询获取需求。 一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤:
大数据处理综合处理服务平台的设计实现分析范文
大数据处理综合处理服务平台的设计与实现 （广州城市职业学院广东广州510405） 摘要：在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。大数据综合处理服务平台支持灵活构建面向数据仓库、实现批量作业的原子化、参数化、操作简单化、流程可控化，并提供灵活、可自定义的程序接口，具有良好的可扩展性。该服务平台以SOA为基础，采用云计算的体系架构，整合多种ETL技术和不同的ETL工具，具有统一、高效、可拓展性。该系统整合金融机构的客户、合约、交易、财务、产品等主要业务数据，提供客户视图、客户关系管理、营销管理、财务分析、质量监控、风险预警、业务流程等功能模块。该研究与设计打破跨国厂商在金融软件方面的垄断地位，促进传统优势企业走新型信息化道路，充分实现了“资源共享、低投入、低消耗、低排放和高效率”，值得大力发展和推广。 关键词：面向金融，大数据，综合处理服务平台。 一、研究的意义 目前，全球IT行业讨论最多的两个议题，一个是大数据分析“Big Data”，一个是云计算“Cloud Computing”。中
国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。据IDC（国际数据公司）预测，用于云计算服务上的支出在接下来的5 年间可能会出现3 倍的增长，占据IT支出增长总量中25%的份额。目前企业的各种业务系统中数据从GB、TB到PB量级呈海量急速增长，相应的存储方式也从单机存储转变为网络存储。传统的信息处理技术和手段，如数据库技术往往只能单纯实现数据的录入、查询、统计等较低层次的功能，无法充分利用和及时更新海量数据，更难以进行综合研究，中国的金融行业也不例外。中国五大国有商业银行发展至今，积累了海量的业务数据，同时还不断的从外界收集数据。通过对不同来源，不同历史阶段的数据进行分析，银行可以甄别有价值潜力的客户群和发现未来金融市场的发展趋势，针对目标客户群的特点和金融市场的需求来研发有竞争力的理财产品。所以，银行对海量数据分析的需求是尤为迫切的。再有，在信息技术高速发展的今天，金融业面临的竞争日趋激烈，信息的高度共享和数据的安全可靠是系统建设中优先考虑的问题。随着国内银行业竞争的加剧，五大国有商业银行不断深化以客户为中心，以优质业务为核心的经营理念，这对银行自身系统的不断完善提出了更高的要求。而“云计算”技术的推出，将成为银行增强数据的安全性和加快信息共享的速度，提高服务质量、降低成本和赢得竞争优势的一大选择。