自己紹介と後半のアジェンダ 尾野健氏：ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。（スライドを指して）この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ
原文: https://blog.cloudera.com/blog/2019/05/small-files-big-foils-addressing-the-associated-metadata-and-application-challenges/ 著者: Shashank Naik, Bhagya Gummalla 訳注: 本稿は2019/5/9に公開されたブログ記事の翻訳です。 「スモール・ファイル」はApache Hadoopの世界では一般的な課題であり、注意して扱わないと、いくつかの複雑な問題を引き起こす可能性があります。Apache Hadoop分散ファイルシステム（HDFS）は、テラバイトからペタバイトの範囲にわたる、大きなデータセットを格納して処理するために開発されました。しかしHDFSはスモール・ファイルを効率的に格納しないため、スモール・ファイルによってNameNo
HiveQL 弱者が Hive における WITH 句の実装を知らずに利用したら痛い目に遭いそうになったので、メモを遺しておきます。 はじめに ITH 句で同じようなサブクエリをひと纏めにし、あたかもテンポラリテーブルのように扱ってクエリの見通しを良くしたり、(RDBMS にもよりますが) あわよくばクエリのパフォーマンス改善も狙う、なんてのはよくあることだと思います。 さて HiveQL では WITH 句をサポートしているのか？ というと、HIVE-1180 を参照するに、Hive 0.13.0 より対応しているようです。利用方法は こちら にあるとおりで、ITH 句と大差ないことがわかります。 ただ、Hive における CTE の実装を理解し
メタストアの役割 まず、Hadoopはデータベースではありません。HiveはHadoop（Hadoop分散ファイルシステム）にあるデータを処理するために、HiveQLにより開始される円周率を計算するような
Hive Hacksあれこれ。内容はほぼO’REILLY Hadoop Hacksからの引用そのまんま。ただの個人メモなのだが、ずうずうしく公開させてもらいます。いろんなところに記録しておいてもすぐに「あれ、あのメモどこやったっけ」となるのでここに書くのが一番なんだよね。書いたからって理解できるわけでもないんだが… （初めに書いておくと、この投稿長いです） 基本原則的なこと。 ●UPDATEは回避する 処理速度が遅延するため、UPDATEを多数含むような
The Apache Hive wiki has moved to Confluence! If you're looking for a particular page name, try this list. (There's also a generated HTML version of the Confluence content. Please keep this link here so that search engine cit; they're blocked from the live Confluence content by a robots.txt file, and we want them to find the HTML anyway to reduce load on Confluence.)
This page describes the different clients supported by Hive. The command line client currently only supports an embedded server. The JDBC and thrift-java clients support both embedded and standalone servers. Clients in other languages only support standalone servers. For details about the standalone server see HiveServer. Command line Operates in embedded mode only, i.e., it needs to have access
前回、JavaScriptでエンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずに本的に
Hadoop＋Hive検証環境を構築してみる：Hive――本稿ではこのHiveの使い方とレビューを行っていきます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
