はてなブックマーク

(これはHTAPデータベース アドカレ2024 の1日目の記事です。) HTAPとは HTAPとは、 『Hybrid Transactional and Analytical Processing』 の略語であり、オンライントランザクション処理（OLTP）と分析処理（OLAP）を同時に実行すべく考えられた方式や、それを実装したデータベースを指します。 現在のデータベース利用においても、技術的理由やコスト・リソース面など様々な点に課題があり、2つのワークロードを同時に捌くことは容易ではありません。そのため、OLTP用データベースとOLAP用データベースは分割されることが多くなっています。 そもそも、用途別にデータベースを使い分けようという考え方を掲げるクラウドもあります。 では、HTAPとはそうした課題をクリアした「なんでもこなせる夢のデータベース」なのでしょうか。 本日の投稿の趣旨としては

2024年8月6日、翔泳社さんより「マルチクラウドデータベースの教科書 クラウドロックインを乗り越えるデータベースの構築ノウハウ」が発売になりました。 ぜひ、皆さんに手に取って欲しい本ではありますが、、、購入をためらう人が居たとしても気持ちは分かります。 「マルチクラウドとか全然イメージできないし。」 「うちはAWS（Azure/Google Cloud）って決まってるから、マルチクラウドじゃないし」 「そもそもデータベース、そんなに得意じゃないし。」 ですよね、でもそんな方々にも伝えられることがあるんじゃないかと思って、 そもそもマルチクラウドなデータベースとは、どんな構成を指すのか そのマルチクラウドなデータベースは、利用者にどんな価値を提供するのか （※あとがきより一部抜粋） という所を基礎から説明できるように、共著者3人で頭を悩ませながら執筆を続けてきました。 ということで、今回は

最近、分散データベースとかNewSQLとかサーバレスなデータベースとか色々聞きますよね。 でも、専門ではない人たちにとって、「何が違うの？」「自分たちに必要なDBはどれなの？」という点が分かりづらいと思います。 私も良く聞かれます。 AuroraはNewSQLですか？ NewSQLってサーバレスなんですか？ スケールできないDBとか聞きますけど、リードレプリカ増やせますよね？ などなど。この辺に基本的なところから答えられるように、順を追って解説していきましょう。 「コンピュートとストレージは別であれ」 と神が言うと、コンピュートとストレージは分離された。 と言うのは冗談ですが、まずはここからスタートしましょう。 クラウド以前のデータベースを使っていた人にはお馴染みのように、それまでデータベースは大きな1つの箱でした。 過去に私は下図でデータベース（厳密にはRDBMS）のコンポーネントを解説

夏も終わりに近づいた時期ですが、エンジニア必読のストレージ入門が発売されました[1]。 基礎からの新しいストレージ入門 基本技術から設計・運用管理の実践まで こちらはゼットラボやSNIAで最新ストレージの情報発信をして下さっている坂下さんの待望の新刊技術書です。 クラウド時代にも陳腐化しないストレージ技術について、基礎からわかりやすく説明してくれています。 （私が考える）対象となる読者 アプリケーション開発をしている方からストレージ以外のインフラエンジニアまで、「ストレージなんもわからん」と感じている人々に、ぜひおすすめしたい入門書です。 特にクラウドからシステム開発に入って、 EBSとかEFSとか雰囲気で使ってる とりあえずS3、他は難しくて分からない ファイルストレージ？ファイルシステム？マウント？なんのこと？？ という方は、最初から最後まで本書を通して読んでもらえれば、会社に1人は居

この記事は私個人の2021年の活動を振り返るものです。 2020年に蒔いた種が今年は芽吹き、パブリックなメディアに登場する機会をいくつか頂くことが出来ました。その結果、皆さんにお伝えしている以上に多くのデータベース関係者とお話をする機会があり、とても楽しかったです。 詳説 データベース 2020年から仕込んでいたDatabase Internalsの翻訳版 「詳説 データベース」 が、満を持して7月に発売されました。 Amazonで★1つをもらったり、誤訳を指摘されて凹んだりしていましたが、「挑戦したものだけが失敗できる」 の精神のもと、気持ちは前に進んでいます。 2020年の12月は監訳作業にとても苦しんでいた時期で、それに比べれば2021年末は穏やかに過ごしています。しかし、「喉元過ぎれば熱さを忘れる」とは良く言ったもので、もう一冊ぐらい翻訳に関わってみたいなぁなんて思い始めています。

発売のお知らせ 昨年から輪読会を行っていたDatabase Internalsの翻訳版『詳説 データベース』が、明日7/6に発売となりました。一部書店では既に店頭に並んでいるようです。 こちらはAmazonやその他ブックストアのサイトで紙版の本を入手可能です。 電子版については、出版元のオライリージャパンのEbook Storeで、PDFおよびEPUB形式（もちろん紙版も）の購入が7/6から可能となりました。 紹介にかえて -監訳者まえがきより- データベースに関わる方々にとって、これからのスタンダードになるであろう"Database Internals"の全訳をお届けできることを、大変うれしく思います。 「データベース」をタイトルに含む書籍は多く見られますが、それらの大半はコンピュータサイエンスを学ぶ人向けの教科書であったり、または特定のDBMSを使う人向けの実務書であったりします。 こ

今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ

この記事は自作DBMS Advent Calendar 2020の23日目です。このアドカレは全国100万人のDB自作勢がノウハウを共有してくれるものですが、当記事では「将来的に自分もDBを開発したい！」という方向けに（？）役立ちそうな書籍を紹介します。 Database Internalsとはどんな本か？ タイトル通り、データベースの内部構造に関する本です（2020年の年末時点では翻訳版は未発売）。 著者の書籍紹介ページにあるように、データベースの基本的な概念を解説することに焦点が当てられており、DBMSの開発者や知識欲が旺盛なDBエンジニアを対象読者としています。 This book’s main intention is to introduce you to the cornerstone concepts and help you understand how databases

PostgreSQLのプラットフォームについて解説してきました 2020/11/13に行われたJPUGの年次カンファレンス「PostgreSQL Conference Japan 2020」で登壇してきました。 当日のスライドはこちら。 何を話したか？ クラウド上でPostgreSQLを使う際に、どの稼働環境で動かすことが良いのか気になりますよね？ マネージドサービスが良いのか、EC2でインスタンス立てて、そこにPostgreSQLをインストールするのが良いのか。これは社内外で良く聞かれることなので、一度きちんとまとめてみようと思いました。 そもそも、RDSやAuroraはどんな用途で使うと良いのか？この話はAWSのイベント等でも話題になっており、クラスメソッドさんのブログにも素晴らしいまとめがあります。 普段の私のセッションはどうしてもDB on Kubernetesがメインテーマで、そ

Building An Elastic Query Engine on Disaggregated Storage 突然始まった、論文紹介シリーズである。 データベースに関連する目に付いた論文をざっくりと解説していく。個人的な興味は分散DB、トランザクション、ストレージエンジン等なので、その辺りに偏ることはご容赦頂きたい。 初回は「Building An Elastic Query Engine on Disaggregated Storage」（日本語訳：分散ストレージ上での弾力性の高いクエリエンジンの構築）、Snowflakeのアーキテクチャを解説した論文を読んでいく。 ※早速お詫びとなるが、Zennのタイトルで文字数制限があり、正式な論文名を当記事に冠することが出来ない。誤解を招くタイトルだったら申し訳ない。 と思ったら こちらに論文の翻訳が発表されていた。英語は苦手だが全文読んで理