由CSDN和《程序员》杂志联合策划组织,旨在与业界人士分享IT产品背后的技术和用户体验故事的线下活动TUP(Technology、User Experience、Product) 第四期,9月6日在Yahoo全球研发中心举办,本期活动邀请到了Yahoo公司Hadoop应用架构师——Milind Bhandarkar深入分析了Hadoop应用程序性能调优。
在讲座中,Milind Bhandarkar给与会者讲述了Hadoop一些最重要的参数的配置方法以及这些参数对系统的性能有何影响。
此外,Milind Bhandarkar还给与会者介绍了一个尚未发布的基于规则的性能异常检测框架——Hadoop Vaidya,并展示了Yahoo公司真实负载下Vaidya框架的性能结果。
Milind Bhandarkar为与会者介绍了相当多的技术热点,比如如何在Hadoop中实现map过程、如何定义InputFormat和OutputFormat等技术实践内容。
在最佳实践的建议中,Milind Bhandarkar提出了在Hadoop平台上使用高级语言进行开发、使用合成器对本地软件集成以减少文件大小等几种解决方案。
本次活动得到了CSDN大量Hadoop开发者的大力支持,50张门票在短短两天时间内便被预定一空,现场座位之紧张程度可见一斑。与会者有来自中国移动研究院、中国电信研究院、百度、搜狐、人人网、豆瓣等知名公司的资深技术人员,讨论相当深入。
据对与会人员的抽样调查,国内许多互联网公司都已经开始在生产环境使用Hadoop。云计算技术正在进入主流。
讲师介绍
Milind Bhandarkar,Yahoo!公司Hadoop应用架构师
Milind Bhandarkar自从0.1.0.版本就开始为Apache Hadoop项目做出贡献,他带领Yahoo公司网格解决方案团队专注于为Hadoop相关开发者提供培训与咨询,他们已经为数百个Hadoop相关开发团队提供了支持。Milind Bhandarkar拥有超过20年并行编程语言经验。他曾工作于Center for Development of Advanced Computing (C-DAC,专注于先进火箭模拟的研究中心),Siebel Systems公司,与Pathscale公司(被QLogic收购),于2005年加入Yahoo!公司。
关于Hadoop
Hadoop是MapReduce和GFS的开源Java实现,一种得到广泛应用的分布式计算框架。最初是搜索引擎项目Nutch的一部分,由时在Yahoo的Doug Cutting开发。目前已经成为Apache的顶级项目。
更多CSDN TUP第四期沙龙活动资讯就在http://tup.csdn.net/
关于CSDN TUP技术沙龙更新更快速的实时资讯请关注新浪搜狐“TUP技术沙龙”微博
分享到:
相关推荐
主讲议题:Hadoop应用程序性能调优案例分析 Hadoop Application Performance Tuning : A Case Study 讲师 Milind Bhandarkar,Yahoo!公司Hadoop应用架构师 活动详情见http://tup.csdn.net/
hadoop 配置项的调优,列出大部分HADOOP系统参数的定义及与系统性能之间的关系。
hadoop调优指南
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop...5、Hadoop各组件性能调优
Hadoop大数据开发与性能调优实战培训课程-Hadoop组件详解
hadoop 参数调优参考,根据经验以及源码调整参数使得Hadoop效率提升
Hadoop 10周年生日之际,CSDN主办的“Hadoop英雄会——暨Hadoop 10周年生日大趴”,Hulu高级研发工程师董西成介绍了Hadoop YARN程序设计与应用案例。
基于Hadoop的电商大数据平台性能调优.pdf
,Hadoop 技术已经在互联网领域得到了广泛的应用。...同样也得到了许多公司的青睐,如百度主要将Hadoop 应用于日志分析和网页数据库的数据 挖掘;阿里巴巴则将Hadoop 用于商业数据的排序和搜索引擎的优化等。
hadoop调优参数列表.hadoop调优参数列表.hadoop调优参数列表.
2014年大数据处理HADOOP与性能调优
Hadoop简单应用案例,包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等
学习Hadoop开发运维和调优实战考试.pdf
Hadoop大数据开发与性能调优实战培训课程.pptx
Hadoop应用开发与案例实战(慕课版)-课件PPT.rar
Hadoop大数据开发与性能调优实战培训课程(PPT-59张).ppt
Hadoop应用案例分析:雅虎、eBay、百度、Facebook
而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
基于Hadoop的电商大数据平台性能调优
hadoop作业调优参数整理及原理,并且针对部分的原理和视图详细说明