硅谷女性创业者的烦恼

尚硅谷大数据技术之ELK

第1章 Elasticsearch 概述 1.1 什么是搜索？ 百度：我们比如说想找寻任何的信息的时候，就会上百度去搜索一下，比如说找一部自己喜欢的电影，或者说找一本喜欢的书，或者找一条感兴趣的新闻（提到搜索的第一印象）。百度 != 搜索 1）互联网的搜索：电商网站，招聘网站，新闻网站，各种app 2）IT 系统的搜索：OA 软件，办公自动化软件，会议管理，日程管理，项目管理。 搜索，就是在任何场景下，找寻你想要的信息，这个时候，会输入一段你要搜索的关键字，然后就期望找到这个关键字相关的有些信息 1.2 如果用数据库做搜索会怎么样？ 如果用数据库做搜索会怎么样？ select * from products where product_name list “%牙膏%”商品id 商品名称商品描述 1高露洁牙膏2中华牙膏3 佳洁士牙膏4其他牙膏京东商城搜索框 5 …… 1万条 京东商城后台商品表逐条遍历 1）比如说“商品描述”字段的长度，有长达数千个，甚至数万个字符， 这个时候，每次都要对每条记录的所有文本进行扫描，判断包不包含我指定的这个关键词（比如说“牙膏”），效率非常低。 select * from products where product_name list “%生化机%” 2）还不能将搜索词拆分开来，尽可能去搜索更多的符合你的期望的结果， 比如输入“生化机”，就搜索不出来“生化危机”。 用数据库来实现搜索，是不太靠 谱的。通常来说，性能会很差的。 1千字的商品描述 1千字的商品描述 用数据库来实现搜索，是不太靠谱的。通常来说，性能会很差的。 1.3 什么是全文检索和Lucene ？ 1）全文检索，倒排索引 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。

当代中国创业者的产生、成长与发展历程

当代中国创业者的产生、成长与发展历程 当代中国创业者的产生与发展主要是改革开放之后的事情。在改革开放后的二十多年里，中国人历经了四个创业阶段，掀起了三次创业高潮。 （1）第一个创业阶段 十一届三中全会拉开了改革开放和中国人创业的序幕，这一批的创业者主要是从农村专业户和城乡个体工商户中的各类“大户”演变而来的。由于农村普遍实现了家庭联产承包责任制，使农村发生了巨大变化，产生了深远的影响，推动了农村社会生产与交换方式的变革，为农村创业者的产生创造了历史发展的前提。同时，为了解决大批知青回城的就业问题，国家开始开放小商品的生产与经营活动。在政策放宽的情况下，城镇个体工商户业主在国营集体经济无力顾及的空隙处（体制外）迅速的恢复和发展起来。因此，改革开放使得市场机制获得了前所未有的发展空间，并在不长的时间内为创业者的产生提供了历史前提。因此这一时期的创业者主要是两类人，一是农民，二是没有上大学的城镇居民。他们也是我国富豪的第一批代表。虽然他们的文化层次不高，而且大部分都是由于生活需要而导致的创业，但他们敢为天下先、吃苦耐劳的精神鼓励了一代又一代的创业者，为我国市场经济的发展做出了巨大的直接的贡献。 （2）第二个创业阶段 1988年4月，全国人民通过的宪法修正案增加了“国家允许私营经济在法律规定的范围内存在和发展”的内容，掀起了我国第一次创业高潮。一种难以忍受的热情使一大批有文凭、有稳定工作的人走上自我创业之路，“下海”一词成为当时的热点，就连大学校园也未逃脱这次巨大的冲击波，许多学生课下就成为“小摊主”、“小经理”。校园里的经商热成为各类媒体的聚焦对象。“打工皇帝”段永平也就是在此时自身闯荡广州，虽然他手持中国人民大学经济学研究生学历，本可以获得一个稳定的工作，但他选择了一条艰辛的“创业之路”，后来“小霸王”、“步步高”电子产品风靡全国的事实证明，他的抉择是正确的，它是这次创业浪潮的成功典范。被誉为亚洲最佳商人的柳传志、新时代“革命家”的宋朝弟、WPS之父的求伯君及声名显赫的史玉柱、姜伟、吴炳新、王遂舟等都是这一时期开始创业的。他们真可谓是时代的创业英雄。 （3）第三个创业阶段 1992年改革开放的总设计师——邓小平的南巡讲话，掀起了中国第二次创业高潮。邓小平提出“三个有利于的标准”再次为私营经济的发展敲起锣鼓。邓小平是这样提出问题的：“改革开放迈不开步了，不敢闯，说来说去就是怕资本主义的东西了，走了资本主义道路。要害是姓‘社’还是姓‘资’的问题。判断的标准，应该主要看，是否有利于发展社会主义生产力，是否有利于增强社会主义国家的综合国力，是否有利于提高人民的生活水平。”“三个有利于”的标准，是有现实针对性的。在改革开放过程中，多年来束缚人们思想的一些旧观念时时干扰着他们的工作和认识。有的人担心改革会偏离“社会主义”原则而裹足不前，

01_尚硅谷大数据之HBase简介

第1章HBase简介 1.1 什么是HBase HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE 技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBASE是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable 利用GFS作为其文件存储系统，HBASE利用Hadoop HDFS作为其文件存储系统；Google 运行MAPREDUCE来处理Bigtable中的海量数据，HBASE同样利用Hadoop MapReduce来处理HBASE中的海量数据；Google Bigtable利用Chubby作为协同服务，HBASE利用Zookeeper作为对应。 1.2 HBase中的角色 1.2.1 HMaster 功能： 1) 监控RegionServer 2) 处理RegionServer故障转移 3) 处理元数据的变更 4) 处理region的分配或移除 5) 在空闲时间进行数据的负载均衡 6) 通过Zookeeper发布自己的位置给客户端 1.2.2 RegionServer 功能： 1) 负责存储HBase的实际数据 2) 处理分配给它的Region 3) 刷新缓存到HDFS 4) 维护HLog 5) 执行压缩

6) 负责处理Region分片 1.2.3 其他组件： 1) Write-Ahead logs HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。 2) HFile 这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。 3) Store HFile存储在Store中，一个Store对应HBase表中的一个列族。 4) MemStore 顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL 中之后，RegsionServer会在内存中存储键值对。 5) Region Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。 1.3 HBase架构

中国创业人物励志故事大全

中国创业人物励志故事大全 2010年，一家家政培训公司在湖南悄然建立，7个员工，180平方米破破烂烂的商住二用楼办公室。在那时，家政行业从业门槛较低，行业规范模糊，工作发展前景也不被看好。不过就是在这种环境下， 公司在短短5年的时间从一班只有一人的培训机构发展为一个集家政 母婴服务领域新职业研发与培训、管理咨询、移动互联O2O、个性化家政服务商业模式设计等四位一体的现代家庭服务连锁商业服务平台， 成为关心中小微家政企业快速成长劲的助推器，并即将成为“中国家 政培训第一股”，创造了家政行业的奇迹。 创造“家政奇迹”的就是湖南金领伟业现代家庭服务产业联盟管 理有限公司。奇迹是如何造就的?公司的运营有什么特别吗?在众多家 政公司中，金领伟业为何如此突出?带着一系列的疑问，记者采访了湖 南金领伟业创始人兼总裁——梁云先生。 厚积薄发：困难不是失败，是积累 创业的路途从不会一帆风顺，就算是创造了奇迹的梁云也不例外。金领伟业以家政培训为主，前期的职业研发、人力资源等工作的投入 很大，并且投资周期很长。在创业的前两年，公司累计投入了700多万，却一直没有明显的收益。在这一段时间，整个团队所面对的困难 是常人难以想象的，万一创业失败怎么办?万一投资不能收回怎么办? 作为老板，梁云在这个时期面临的压力无疑是巨大的。 就在2013年，公司发展困难期，梁云借钱给员工发工资，导致 自己家里捉襟见肘，发生了让梁云一辈子都忘不了的两件事。那一年，梁云的孩子5岁，到了学习启蒙的年纪，不过以员工为先的梁云，已 经拿不出孩子上幼儿园的学费，一个月学费480元的幼儿园已经是比 较普通的幼儿园了，可是梁云还是交不起，让孩子在家呆了三个月， 没有上学。还是在这个时期，家里1280元的有线电视费梁云也拿不出来，有线电视停了半年，在别人孩子看动画片时，自己的孩子只能失 望的哭闹着。

01_尚硅谷大数据之Hive基本概念

第1章Hive基本概念 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上 1.2 Hive的优缺点 1.2.1 优点 1）操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手） 2）避免了去写MapReduce，减少开发人员的学习成本。 3）Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合； 4）Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。5）Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 1.2.2 缺点 1）Hive的HQL表达能力有限 （1）迭代式算法无法表达 （2）数据挖掘方面不擅长 2）Hive的效率比较低 （1）Hive自动生成的MapReduce作业，通常情况下不够智能化 （2）Hive调优比较困难，粒度较粗

1.3 Hive架构原理 HDFS MapReduce Meta store SQL Parser 解析器 Physical Plan 编译器Execution 执行器 Query Optimizer 优化器 Driver CLI JDBC Client Hive 架构 如图中所示，Hive通过给用户提供的一系列交互接口，接收到用户的指令(SQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。 1）用户接口：Client CLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive） 2）元数据：Metastore 元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore 3）Hadoop 使用HDFS进行存储，使用MapReduce进行计算。 4）驱动器：Driver （1）解析器（SQL Parser）：将SQL字符串转换成抽象语法树AST，这一步一般都用第三方工具库完成，比如antlr；对AST进行语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。 （2）编译器（Physical Plan）：将AST编译生成逻辑执行计划。

尚硅谷大数据技术之数仓开发规范

1.背景 为了避免底层业务变动对上层需求影响过大，屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数据，建设高内聚松耦合的数据组织，使数据从业务角度可分割，显得尤为重要。从整个集团业务条线出发，形成数据仓库总体概念框架，并对整个系统所需要的功能模块进行划分，明确各模块技术细节，建设一套完整的开发规范。 2.分层规范 ODS（原始数据层）：ODS层是数据仓库准备区，为DWD层提供基础原始数据。 DWD（明细数据层）：和ODS粒度一致的明细数据，对数据进行去重，脏数据过滤，空处理，保证数据质量。 DWS（服务数据层）：轻度汇总数据及建宽表(按主题)存放数据。 ADS（应用数据层）：存放应用类表数据。 3.表规范 3.1 命名 维表命名形式：dim_描述 事实表命名形式：fact_描述_[AB] 临时表命名形式：tmp_ 正式表名_ [C自定义序号] 宽表命名形式：dws_主题_描述_[AB] 备份表命名形式：正式表名_bak_yyyymmdd 表命名解释： 1）表名使用英文小写字母，单词之间用下划线分开，长度不超过40个字符，命名一般控制在小于等于6级。 2）其中ABC第一位"A"时间粒度：使用"c"代表当前数据，"h"代表小时数据，"d"代表天

数据，"w"代表周数据，"m"代表月数据，"q"代表季度数据， "y"代表年数据。 3）其中ABC的第二位"B"表示对象属性，用"t"表示表，用"v"表示视图。 4）其中ABC的第三位"C"自定义序号用于标识多个临时表的跑数顺序。 3.2 注释 注释要结合表的英文名，要求注释简洁明了，体现出表的业务出处、主题和用途。3.3 存储格式 所谓的存储格式就是在Hive建表的时候指定的将表中的数据按照什么样子的存储方式，如果指定了方式，那么在向表中插入数据的时候，将会使用该方式向HDFS中添加相应的数据类型。在数仓中建表默认用的都是PARQUET存储格式，相关语句如下所示：STORED AS INPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat’ OUTPUTFORMAT ‘org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat’ 3.5 字符集 Hadoop和hive 都是用utf-8编码的，在建表时可能涉及到中文乱码问题，所以导入的文件的字符编码统一为utf-8格式。 3.6 约定 理论上在数仓落地的表不应该出现null未知类型，对于可能出现null的字段，如果为字符型统一为空字符串，如果是数值则给0。 4.字段规范 4.1 命名

我对中国创业环境的认识

我对中国创业环境的认识 07年党的十七大提出，要以创业带动就业，把劳动者培养成创业者，并且要突破发展个体、微型和中小企业的体制障碍和融资瓶颈。纵观中国近年来的经济发展，我对国内创业环境的认识是：细节上有限制，整体上在进步。 先说说中国创业环境的不利因素吧。首先想到的是中国的教育差距。李开复说，中国的教育体制并非针对创业而建立。事实确实如此，我国的中小学教育中对鼓励创造性、独立自主和个人的能动性方面做的都不太好，而目前高校大多只注重数字游戏，重点抓在了“就业率”的高低上，而忽略了大学生自主创业的重要性。大学生校内“创业”最多也就是所谓的“模拟创业”的一纸空文，因此大学生的首次创业大多会面临失败的命运。 其次是政府政策有待于进一步完善。尽管政府对创业予以高度重视，并为此出台了一系列优惠政策，但毕竟中国入世较晚，经济观念较为滞后，而完善的政策只有在长期实践中才能检验出来。因此政策的制定必然需要几年至几十年的过程。目前人们普遍认同的政策弊端有二，一是政府通过直接扶持促进创业方面低于均值，对新公司的成长没有起到积极作用；二是新公司的审批成本高，对该项的评价值已经接近均值水平。对于第二点，我认为绝大多数创业者就陨落于此，严格的登记制度、繁琐的审批程序，让创业活力遭遇“制度性冷漠”。对于一个创业者，最需要的就是资金支持了，审批成本高就意味着创业门槛高。而国内创业投资、ＩＰＯ以及权益资金、债务资金和政府补贴方面都处于很低的水平，或者是有名无实。初创业者主要的资金来源还是自己、父母、亲友。 提及金融投资，即所谓融资。不得不说，这也是我们的劣势。正如上面所说，初创业者创业首先要想的不是创业部署问题，而是创业资金问题。为什么呢，因为自己没钱，而如果父母也没钱的话，那你的创业大计可能就要泡汤了。试想如果政府可以通过某种方法对创业者（尤其是初创业者）提供必要的资金支持，那么创业者就会空出这部分时间和精力来考虑具体的创业实施项目上，做起来也不再那么束手束脚了。虽然银行也有小企业贷款之类的服务，可是你一个刚毕业的大学生，银行会贷给你几十万么？仅凭你那一张毕业证书？很显然不会。我想这就是为什么那些即使在学校获得“模拟创业大赛”冠军的人，却要陨落在现实创业中的主要原因吧！ 上面这些都是客观因素，再说说主观因素。中国人大多还是相对保守的，缺少的是进取心。赚到钱了，首先想的是存到哪家银行去，而不是去想如何利用这笔钱去赚另外一笔钱。为什么呢，怕输。我先把这笔钱存起来，万一我的生意破产了，我还会有点启动资金。可是

尚硅谷大数据项目之实时项目2(日活需求)

第1章实时处理模块 1.1 模块搭建 添加scala框架 1.2 代码思路 1）消费kafka中的数据； 2）利用redis过滤当日已经计入的日活设备； 3）把每批次新增的当日日活信息保存到HBASE或ES中；

4）从ES中查询出数据，发布成数据接口，通可视化化工程调用。 1.3 代码开发1 ---消费Kafka 1.3.1 配置 1）config.properties # Kafka配置 kafka.broker.list=hadoop102:9092,hadoop103:9092,hadoop104:9092 # Redis配置 redis.host=hadoop102 rdis.port=6379 2）pom.xml com.atguigu.gmall2019.dw dw-common 1.0-SNAPSHOT org.apache.spark spark-core_2.11 org.apache.spark spark-streaming_2.11 org.apache.kafka kafka-clients 0.11.0.2 org.apache.spark spark-streaming-kafka-0-8_2.11 redis.clients jedis 2.9.0 io.searchbox

[整理版]中国十大创业人物

[整理版]中国十大创业人物 2011中国十大创业人物:李彦宏 百度公司CEO 李彦宏的创业之路:创建百度，专注于搜索，这充分说明了李彦宏对技术趋势的敏锐嗅觉。经过六年的漫长发展，百度终于迎来了互联网史上的搜索热潮。2011中国十大创业人物解读～2005年，随着Google上市后股价的不断攀升，以及搜索在网民生活中的普及应用，再加上搜索所带来新商业模式，百度成功地在今年8月在美国纳斯达克上市，一夜之间，百度股价涨幅达到354,，创造了纳斯达克新的神话。而李彦宏本人，亦因为百度的成功上市成为身价亿万的富翁，成为各界关注的焦点。 2011中国十大创业人物:赖一龙 英特尔中国总经理 赖一龙的创业之路:作为英特尔中国负责人，与业界伙伴广泛开展合作好像是赖一龙2005年的主题。而借助英特尔的扶持，国内的IT企业，尤其是硬件企业迅速成长，联想到今天更是成为了全球性的电脑厂商。不过，英特尔扶植本土企业，推动电脑普及的战略没有停止。2011中国十大创业人物解读～2005年，英特尔更是与黑龙江、湖北、山西、山东四省签署合作备忘录，开展电脑普及计划项目。虽然业界对其计划颇有质疑，称水土不服。但赖一龙仍在有条不紊地实施着他的宏伟计划。他相信，时间是最好的证明。 2011中国十大创业人物:刘军 联想全球COO 2004财年起负责集团企划系统与运作系统工作，协助CEO制定集团发展战略、推进集团运营管理，以及负责集团的采购、商务、物流、质量和生产制造等供应链

管理工作。合并IBM后，刘军领衔打造全球的全新供应链系统、区域总部拓展到五个等大规模调整动作。 刘军的创业之路:唐越作为见证中国互联网发展的卓越人士之一，成功将互联网与旅游业结合，创造出旅游业电子商务新模式，并成功融入风险投资，在美国纳斯达克上市。 2011中国十大创业人物:唐越 e龙CEO 2011中国十大创业人物解读～同样是经历了互联网兴衰和泡沫，进入2005年，e龙的旅游电子商务业务进一步长足发展。在11月公布的第三季度财报显示，e龙总收入5940万元同比增长56%。对于旅游电子商务和e龙公司的未来，唐越充满信心。作为公司董事长兼CEO，唐越曾非常自信的表示，“我创业的公司怎么可能倒闭”。 2011中国十大创业人物:周鸿祎 周鸿祎的创业之路:在中国互联网界素以敢说敢为著称。在2004年3月到2005年11月担任雅虎中国区总裁期间，为雅虎中国争取到有史以来最大的支持，完成了3721与雅虎中国的整合，“建立一支可以使公司在适当时机从整合阶段进入到发展阶段的管理团队”，2011中国十大创业人物解读～并成功创业雅虎搜索中国子品牌“一搜”。2005年11月，周鸿祎任职期满辞职，不久后怀揣6亿人民币现金加入IDG担任基金合伙人，成功实现从职业经理人到风投合伙人的转变。 2011中国十大创业人物:冯军 华旗资讯总裁 谁都未曾料到，当时的装机老板“冯五块”，短短几年内创造了一个响当当的“爱国者”数码品牌。而让“爱国者”成为国际巨人，一直是埋藏在冯军心中的伟大梦想。2005年,华旗爱国者圆满完成…神六(费俊龙聂海胜)?录音及存储任务。

中国成功创业者十大特征 - 明势

中国成功创业者十大特征－明势 经营管理 10-12 2247 明势的意思分两层，作为一个创业者，一要明势，二要明事。我们先来说明势。 势，就是趋向。做过期货的人都知道，要想赚钱关键是要做对方向，这个方向就是势。比方说，大势向空，你偏做多；或者大势利多，你偏做空，你不赔钱谁赔钱！反过来说，你就是不想赚钱都难。 势分大势、中势、小势。创业的人，一定要跟对形势，要研究政策。这是大势。很多创业者是不太注意这方面工作的，认为政策研究“假、大、虚、空”，没有意义。实则不然。对一个创业者来说，大到国家领导人的更迭，小到一个乡镇芝麻小官的去留，都会对自己有影响。在政策方面，国家鼓励发展什么，限制发展什么，对创业之成败更有莫大关系。做对了方向，顺着国家鼓励的层面努力，可能事半功倍；做反了方向，比如说，某个行业、某类型企业，国家正准备从政策层面进行限制、淘汰，你偏赶在这时懵懵懂懂一头撞了进去，一定会鸡飞蛋打。 澳瑞特健康产业集团位于山西长治，是由做过矿工的郭瑞平在一个破产的小自行车厂基础上组建，时间只有短短10来年，年产值现在已超过上亿元。郭瑞平发财的秘诀便是顺势而为。本来山西长治地区是个穷地方，一些人连饭都吃不饱，哪里有心思搞什么健身。在毫无经验的基础上，将创业定位于在本地毫无市场的健身器材，在当地许多人看来等于找死。但是郭瑞平有一个很好用的头脑，他利用了当时国家竞技体育与群众体育两手抓、两手都要硬的政策大势，将创业目标定位于“群众喜欢用群众乐用的健身器材”，避开了与国内众多专业竞技体育器材生产厂的竞争，又利用国家发行体育彩票，其中一部分收入指定用于群众健身器材投资的机会，利用一直以来精心与国家体育总局官员建立并保持的良好关系，首先将一整套“群众性体育健身器材”安装在了国家体育总局龙潭湖家属院，然后又从这个家属院走向了中国。你现在走到北京街头看一看，都是这种刷成黄色、红色、橙色的健身器，一组下来少的也有10来件，上面都标着“澳瑞特”的字样，仅这一单生意，就让郭瑞平赚了个盆满钵满。 顺势而作，就是顺水行舟。李白诗“朝辞白帝彩云间，千里江陵一日还。”那是指顺水行舟。苏东坡坐船回老家，走得和李太白是同一条路，却整整花了3个月。原因无他，太白顺水，东坡逆水。创业的道理也是一样。观察政府，研究政策，是为了明大势。 中势指的就是市场机会。市场上现在时兴什么，流行什么，人们现在喜欢什么，不喜欢什么，可能就标明了你创业的方向。俞敏洪如果不是赶上全国性的英语热和出国潮，他就是使再大的劲，洒再多的泪，流再多的汗，也不会有今天的成功。

大数据技术之MySQL高级

尚硅谷大数据技术之MySQL高级 版本V3.0 第1章MySQL简介 1.1 什么是MySQL （1）MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle 公司。 （2）Mysql是开源的，可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。 （3）MySQL使用标准的SQL数据语言形式。 （4）MySQL可以允许于多个系统上，并且支持多种语言。这些编程语言包括C、C++、Python、Java、Perl、PHP、Eiffel、Ruby和Tcl等。 （5）MySQL支持大型数据库，支持5000万条记录的数据仓库，32位系统表文件最大可支持4GB，64位系统支持最大的表文件为8TB。 1.2 在Linux上安装MySQL 1.2.1 检查当前系统是否安装过MySQL CentOS 6命令：rpm -qa|grep mysql 默认Linux在安装的时候，自带了mysql相关的组件。 先卸载系统自带的mysql，执行卸载命令rpm -e --nodeps mysql-libs 1

CentOS 7命令：rpm -qa|grep mariadb 不检查依赖卸载 检查/tmp目录的权限是否是满的 1.2.2 Mysql的安装 安装的版本是mysql 5.7，官网下载地址：https://www.wendangku.net/doc/b112427234.html,/downloads/mysql/ 1）通过Xft5文件传输工具将rpm安装包传输到opt目录下 2）执行rpm安装，必须按照下面的顺序安装 1)rpm -ivh mysql-community-common-5.7.16-1.el7.x86_64.rpm 2)rpm -ivh mysql-community-libs-5.7.16-1.el7.x86_64.rpm 3)rpm -ivh mysql-community-client-5.7.16-1.el7.x86_64.rpm 4)rpm -ivh mysql-community-server-5.7.16-1.el7.x86_64.rpm 2

07_尚硅谷大数据之HBase优化

第7章HBase优化 7.1 高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1）关闭HBase集群（如果没有开启则跳过此步） [atguigu@hadoop102 hbase]$ bin/stop-hbase.sh 2）在conf目录下创建backup-masters文件 [atguigu@hadoop102 hbase]$ touch conf/backup-masters 3）在backup-masters文件中配置高可用HMaster节点 [atguigu@hadoop102 hbase]$ echo hadoop103 > conf/backup-masters 4）将整个conf目录scp到其他节点 [atguigu@hadoop102 hbase]$ scp -r conf/ hadoop103:/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/ [atguigu@hadoop102 hbase]$ scp -r conf/ hadoop104:/opt/modules/cdh/hbase-0.98.6-cdh5.3.6/ 5）打开页面测试查看 0.98版本之前：http://hadooo102:60010 0.98版本及之后：http://hadooo102:16010 7.2 预分区 每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey 范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据索要投放的分区提前大致的规划好，以提高HBase性能。 1）手动设定预分区 hbase> create 'staff','info','partition1',SPLITS => ['1000','2000','3000','4000'] 2）生成16进制序列预分区 create 'staff2','info','partition2',{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'} 3）按照文件中设置的规则预分区 创建splits.txt文件内容如下： create 'staff3','partition3',SPLITS_FILE => 'splits.txt' 4）使用JavaAPI创建预分区

创业者在中国经商绝不能犯10种错误重点

创业者:在中国经商绝不能犯10种错误摘要：面子是：我已经这样定了，而且全世界的人都知道了; 真理是：这个方向是一条曲曲折折的弯路，而且很可能此路不通 一、哥们式合伙，仇人式散伙 在中国的股份制企业中最常见模式是—公司创办之初，几个朋友合伙以感情和义气去处理相互关系，制度和股权或者没有确定，或者有而模糊。企业做大后，制度变得重要，利益开始惹眼，于是“排座次、分金银、论荣辱”，企业不是剑拔弩张内耗不止，便是梁山英雄流云四散。（相关新闻：创业者必读:创业过程中不能犯的错误） 二、盲目崇拜社会关系 关系推动生产力，因此社会关系的建立和运用是商人必要的能力; 但关系不等于生产力，把社会关系当成解决企业发展所有问题的灵丹妙药，忘记了“打铁还须自身硬”的真理，则企业本末倒置，大患迟早降临。 三、迷信“空降兵” 都说“外来的和尚会念经”。正确的做法应该是：不可不用“空降兵”，不可乱用“空降兵”，不可全用“空降兵”。这方面中国企业的教训已经太多，可永远会有人情不自禁地做错：放弃身边的人才，迷信远方的大师。 四、企业任人唯亲 一个靠人控制人，而不是靠制度控制人的中国式组织。起源于农民打江山的传统，泛滥于信任危机加重的当代商业社会，是中国以情 感为纽带的企业走向规范治理的主要瓶颈。 五、面子问题导致一言堂

面子是：我已经这样定了，而且全世界的人都知道了; 真理是：这个方向是一条曲曲折折的弯路，而且很可能此路不通。爱面子的老板说：他妈的就这么去，谁不执行谁下课，玩也要玩到底。 六、商业迷信 罗盘神签加卦相，诚惶诚恐，测风水测人才; 香火缭绕进庙堂，顶礼膜拜，求机运求财富。商海无情，翻云覆雨，谁来保佑? 七、知人而不自知 看人头头是道，看己昏头昏脑。从来没有看清自己在行业中领先的关键因素，一段成功史，满脑糊涂账。也因此，从来没有清晰的战略规划：坚持什么，改进什么; 如何创新，如何固守。 八、习惯性信用缺失 说话不算数、合同不算数、承诺不算数，这几乎是中国商人部落最常见的景观。对内，规则计划变幻无穷，今天立，明天改，后天再改，手下无所适从; 对外，合同承诺一张废纸，视情况涂抹、打折甚至撕毁，合作者有去无回。 九、土匪式的企业文化 民营企业老板如山寨大王，生于青萍之末，长于江湖之野，走的是匪文化路线：关上山寨大门，老子天下第一; 冲出山寨掠财，碰壁拐弯，见缝就钻。图的是人生痛快，少一份使命精神; 既没有经济上的长远目标，也没有文化上的成熟主张。 十、企业进行阶级斗争化 企业内部可以搞平衡，但不可以搞斗争。“挑起群众斗群众”最后所失去的，是企业的效率和凝聚力。

创业团队

创业团队 创业团队(Entrepreneurial Team) [编辑] 什么是创业团队 创业团队是指在创业初期(包括企业成立前和成立早期)，由一群才能互补、责任共担、愿为共同的创业目标而奋斗的人所组成的特殊群体。 [编辑] 创业团队的组成[1] 一般而言，创业团队由四大要素组成: (1)目标。目标是将人们的努力凝聚起来的重要要素，从本质上来说创业团队的根本目标都在于创造新价值; (2)人员。任何计划的实施最终还是要落实到人的身上去。人作为知识的载体，所拥有的知识对创业团队的贡献程度将决定企业在市场中的命运； (3)团队成员的角色分配，即明确各人在新创企业中担任的职务和承担的责任； (4)创业计划，即制定成员在不同阶段分别要做哪些工作以及怎样做的指导计划。 [编辑] 创业团队的作用 现代企业，需要的是少走从前的弯路，而从一开始就走规范化管理道路，因此，创业者在注册公司时就应该组建创业团队。一个好的创业团队对新创科技型企业的成功起着举足轻重的作用。新型风险企业的发展潜力(以及其打破创始人的自有资源限制，从私人投资者和风险资本支持手中吸引资本的能力)与企业管理团队的素质之间有着十分紧密的联系。一个喜欢独立奋斗的创业者固然可以谋生，然而一个团队的营造者却能够创建出一个组织或一个公司，而且是一个能够创造重要价值并有收益选择权的公司。创业团队的凝聚力、合作精神、立足长远目标的敬业精神会帮助新创企业渡过危难时刻，加快成长步伐。另外，团队成员之间的互补、协调以及与创业者之间的补充和平衡，对新创科技型企业起到了降低管理风险、提高管理水平的作用。

在一项针对104家高科技企业的研究报告指出，在年销售额达到500万美元以上的高成长企业中，有83.3%是以团队形式建立的；而在另外73 家停止经营的企业中，仅有53.8%有数位创始人。这一模式在一项关于“128公路一百强”的研究中表现得更为明显：100家创立时间较短、销售额高于平均数几倍的企业中70%有多位创始人。 Arild A spelund对新创技术型公司的创业团队研究表明，创业是一个包含众多人的组织形成过程，特别是这个过程更为复杂的技术型公司要求输入更多的能力。 Arild Aspelund还研究了团队成员在创业过程的不同阶段个人经历、能力和资源控制水平对新企业死亡率的影响。认为，创业团队的素质能提高新创企业的生存状况；创业团队对技术型公司企业的生影响最大的并不是团队本身的大小，而是团队成员的经历。另外，广泛的经验问题比团队的异质性影响更大。 [编辑] 创业团队的组建[1] 一、创业团队组建的基本原则 1.目标明确合理原则。目标必需明确，这样才能使团队成员清楚的认识到共同的奋斗方向是什么。与此同时，目标也必须是合理的、切实可行的，这样才能真正达到激励的目的。 2.互补原则。创业者之所以寻求团队合作，其目的就在于弥补创业目标与自身能力间差距。只有当团队成员相互间在知识、技能、经验等方面实现互补时，才有可能通过相互协作发挥出“1+1>2”的协同效应。 3.精简高效原则。为了减少创业期的运作成本、最大比例的分享成果，创业团队人员构成应在保证企业能高效运作的前提下尽量精简。 4.动态开放原则。创业过程是一个充满了不确定性的过程，团队中可能因为能力、观念等多种原因不断有人在离开，同时也有人在要求加入。因此，在组建创业团队时，应注意保持团队的动态性和开放性，使真正完美匹配的人员能被吸纳到创业团队中来。 二、创业团队组建的主要影响因素 创业团队的组建受多种因素的影响，这些因素相互作用共同、影响着组建过程并进一步影响着团队建成后的运行效率。 1.创业者。创业者的能力和思想意识从根本上决定了是否要组建创业团队以及团队组建的时间表以及由哪些人组成团队。创业者只有在意识到组建团队可以弥补自身能力与创业目标之间存在的差距，才有可能考虑是否需要组建创业团队，以及对什么时候需要引进什么样的人员才能和自己形成互补做出准确判断。 2.商机。不同类型的商机需要创业团队的类型。创业者应根据创业者与商机间的匹配程度，决定是否要组建团队以及何时、如何组建团队。

02_尚硅谷大数据之Hive安装

第2章Hive安装 2.1 Hive安装地址 1）Hive官网地址： https://www.wendangku.net/doc/b112427234.html,/ 2）文档查看地址： https://https://www.wendangku.net/doc/b112427234.html,/confluence/display/Hive/GettingStarted 3）下载地址： https://www.wendangku.net/doc/b112427234.html,/dist/hive/ 4）github地址： https://https://www.wendangku.net/doc/b112427234.html,/apache/hive 2.2 Hive安装部署 1）Hive安装及配置 （1）把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下 （2）解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 [atguigu@hadoop102 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ （3）修改apache-hive-1.2.1-bin.tar.gz的名称为hive [atguigu@hadoop102 module]$ mv apache-hive-1.2.1-bin/ hive （4）修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh [atguigu@hadoop102 conf]$ mv hive-env.sh.template hive-env.sh （5）配置hive-env.sh文件 （a）配置HADOOP_HOME路径 export HADOOP_HOME=/opt/module/hadoop-2.7.2 （b）配置HIVE_CONF_DIR路径 export HIVE_CONF_DIR=/opt/module/hive/conf 2）Hadoop集群配置 （1）必须启动hdfs和yarn [atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh [atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

中国创业者调查报告

中国创业者调查报告2016 83.7%的创业者认为即使创业失败都是值得的，32%的创业者创业失败后仍会选择再创业，65%的创业者认为即使创业失败再去就业优势也十分明显，也可成为更有创业精神的员工…… 这些数据来源于近日“真格基金与零点公司联袂开展的千名中国创业者调查”，调研成果将在不久后的2016年全国双创周主会场深圳湾创业广场正式发布。就此次调查结果，记者独家专访了零点咨询董事长袁岳。 80后成创业主力军，创业方案更求稳 袁岳向新华网记者介绍，此次调查的1016个创业样本涵盖了创业领域所涉及的包括互联网、亚健康、新媒体、智能产品在内的.15个行业。 当下，中国已进入了“大众创业万众创新”的黄金期，不仅科技创新的支撑能力持续攀升，而且国内的创新企业数量也迅速增长，这既为就业提供了良性支撑，也为经济发展提供了“新动能”。袁岳告诉记者，与真格基金创始人徐小平发起这项调查是对各自服务的公司和项目以及创业者的状态进行一次排摸，评估样本创业者的整体状态。 就1016个调查样本统计显示，35岁以下人群占比54%，且75后、85后、95后创业者较多。创业者创业项目或计划有何明显区别?袁岳认为，75后的创业者提的创业方案通常都比较细致全面;85后则较稳妥但有时面面俱到。95后亮点多但不成系统，往往先干了再说。 为何要创业?实现理想排第一 创业动力源(%) 此次调查结果显示，创业者是社会中最富有活力与追求理想、富有挑战精神的一类群体。他们有理想、有目标，并且内心强大，积极面对压力和竞争，愿意接受挑战。 调研数据显示，56.6%的创业者为实现理想而创业，98.7%创业者有面对压力的心理准备，87.7%创业者积极面对竞争。通过创业，创业者群体会变得更有活力。创业历练“心智”，创业后创业者心态提升，能力暴增，社会关系明显改善，社会支持度明显提升(88.9%)、个人魅力大幅上涨(84.8%)、朋友数量急剧增加(90.5%)。 让调查者惊喜的是，“发现商机”排名并非第一，袁岳表示，“成功的创业一定是爱好、资源和机会三者结合，通常这个项目的靠谱度会很高。以往创业者为了商机而创业，这带有投机色彩，此次调查中这个比例下降了。” 创业对推动社会发展发挥重要作用

13_尚硅谷大数据之常见错误及解决方案

第13章常见错误及解决方案 1）SecureCRT 7.3出现乱码或者删除不掉数据，免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT 2）连接不上mysql数据库 （1）导错驱动包，应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。 （2）修改user表中的主机名称没有都修改为%，而是修改为localhost 3）hive默认的输入格式处理是CombineHiveInputFormat，会对小文件进行合并。 hive (default)> set hive.input.format; hive.input.format=https://www.wendangku.net/doc/b112427234.html,bineHiveInputFormat 可以采用HiveInputFormat就会根据分区数输出相应的文件。 hive (default)> set hive.input.format=org.apache.hadoop.hive.ql.io.HiveInputFormat; 4）不能执行mapreduce程序 可能是hadoop的yarn没开启。 5）启动mysql服务时，报MySQL server PID file could not be found! 异常。 在/var/lock/subsys/mysql路径下创建hadoop102.pid，并在文件中添加内容：4396 6）报service mysql status MySQL is not running, but lock file (/var/lock/subsys/mysql[失败])异常。 解决方案：在/var/lib/mysql 目录下创建：-rw-rw----. 1 mysql mysql 5 12月22 16:41 hadoop102.pid 文件，并修改权限为777。 附录：Sqoop常用命令及参数手册 这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。