はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
At BackType, we are heavy users of Hadoop. We use it to run computations on our 30TB datastore of social data. We've even open-sourced some significant projects that are built on blems. It's sloppily implemented and requires all sorts of arcane knowledge to operate it. We would be the first to try out a replacement for Hadoop if a viable a
というわけでHadoop Conference Japanに参加しました。Hadoop Conference Japan 2011会場は豊洲の本社で、初めて来たのですが駅前の広場が楽天のある品川シーサイドと全く同じでびっくりしました。 『Hadoop on クラウド / Amazon Elastic Amazon Web Services, Jeff Barr） Introduction Twitter: @jeffbarr What is Big Data Doesn't refer EMR Overview Hadoop Hosting Framework Launch and monitor job flows: Web, CUI, REST Upload data
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
Yahoo!のブログにHadoopに関する興味深い記事が上がっていたので紹介したいと思います。かなりボリュームのある記事で翻訳するのは骨が折れました。The Next Generation of Apache Hadoop Yahoo! Hadoop Blog原題はシンプルに「次世代のApache Hadoop
この記事はClouderaのBlogの記事”Hadoop Availability | Apache Hadoop for the Enterprise | Cloudera”の私的翻訳です。Hadoopの可用性については興味のある方も多いと思いますので、読むついでに訳してみました。勢いで訳したので質に関しては責任を持てませんのでよろしくお願いします。間違いなどがありましたらご指摘いただければ助かります。(id:kkawamura)Apache Hadoopのメーリングリストでよくある質問は、可用性を保つためにどうするか？というものです。この記事では、Hadoopのコンテキストでの可用性について見ていき、進行中の開発の方向性を示します。背景Hadoopの可用性を議論するとき、人はよくNameNodeがHDFSにおいて単一故障点であるため、NameNodeから話をはじめます。そしてHadoo
2011年2月9日、Hadoopを利用した基幹業務システム向けの分散ソフトウェアフレームワーク「AsakJavaコードに変換するそうです。
MacBook Air 11インチ欲しい！、太田です。 1/27に、執筆に関わらせて頂いた「Hadoop徹底入門」という本が、翔泳社さんから出版されます。 OSS分散フレームワーク「Hadoop」の、日本語では初めてとなる書き下ろし本になります。執筆は仕事をされている、下垣さん、猿田さん、藤井さん、濱野さん、そして私になります。また、翔泳社の石川さんには非常にお世話になりました。 目次はこのブログの最後に掲載させて頂きました(詳細はこちら)。Hadoopとは何か？といった説明に始まり、Hadoopの周辺プロダクト(Hive, Pig, HBase, Thrift)も詳しくカバーされています。 Hadoopに関して現在日本語で読める大きな情報源として有名なのは、オライリーさんから出版されている「Hadoop」本になります。 本書はこの本と補完関係に有ると思ってい
uick reference of the continuously growing Hadoop tools ecosystem. HadoopThe Apache Hadoop project develops open-source software for reliable, scalable, distributed computing. hadoop.apache.org HDFSA distributed file system that provides high throughput access to application data. hadoop.apache.org/hdfs/
1. 楽天がHadoopを使う理由 Keisuke Kawamura | Development Unit Rakuten, Inc. Nikkei Computer Seminar 15th Dec. 2010 1 Tuesday, December 21, 2010 1 2. 自己紹介 河村 圭介(かわむらけいすけ) 楽天株式会社 Development Unit シニアアソフトウェアエンジニア - Webサービスの企画・開発 - 大規模データ解析の処理基盤構築 2 Tuesday, December 21, 2010 2 3. 自己紹介 課外活動 楽天で行われる各種技術イベント 企画・運営 Hadoopソースコードリーディング お手伝い 事例記事の執筆などなど Contact : keisuke.kawamura@mail.rakuten.co.jp twitter @kkawamu
Read it now on the O’Reilly learning platfith a 10-day free trial. O’Reilly members get unlimited access to books, live events, courearly 200 blishers. Discover how Apache Hadoop can unleash the power of your data. This comprehensive resource shows you how to build and maintain reliable, scalable, distributed systems with the Hadoop f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: Hadoop徹底入門: オープンソース分散処理環境の構築: 太田一樹: 本
