Bluemo's Brain

Search

Search IconIcon to open search

NoSQL

Last updated Dec 16, 2022 Edit Source

    情報科学の達人.icon [データベース]

    NoSQL

    [データベース]の講義 定義が広い/曖昧? 1998: RDBMSからを除外したを指す用語として定義された 2009: [リレーショナルデータベース]]以外の[[データベース]を指す用語として定義された のための新しい世代の を持つ 強み データ容量が大きい（大量のデータを扱える） ...

    1/3/2023

    の講義

    • 定義が広い/曖昧?

      • 1998: RDBMSからSQLを除外したデータモデル

        データモデル

        の講義 問い 実世界のデータをどのように計算機上で表現するか? 同じモデルでも複数の設計がある中で、適切な設計とは? (entity relationship) entity(実体)とrelationship(実体間の関連)でデータモデルを表現する 表。 ...

        1/3/2023

        を指す用語として定義された
      • 2009: リレーショナルデータベース以外の [データベース]を指す用語として定義された

    • ビックデータ処理のための新しい世代のDMBS

    • BASE特性

      BASE特性

      の場合などに適用される で、AとPを保持している状態 のの反対? (ネーミングが天才) システムの一部が落ちても、全体が動き続ける システムのデータが常に変化する ) 最終的にが保証されればOK (ゆるい) 強いが求められる場合（とか)は、 = writeをされた瞬間以降のreadは絶対更新されている Eventual Consisencyだと、そうはならない ...

      1/3/2023

      を持つ

    • 強み

    • 弱み (大体は歴史の浅さが原因)

    • NoSQLのアーキテクチャ: 分散データベース

      分散データベース

      の講義 複数のを利用する と複数のDBMSから構成される クラウドのDB(, とか)もこれ の（他の分散DBもこれなのかな?） : データ等を分割して、複数サーバーに割り振る : 各データに対して複数のコピーを作成し、複数サーバーに配置 ...

      1/3/2023

    • データモデル

      データモデル

      の講義 問い 実世界のデータをどのように計算機上で表現するか? 同じモデルでも複数の設計がある中で、適切な設計とは? (entity relationship) entity(実体)とrelationship(実体間の関連)でデータモデルを表現する 表。 ...

      1/3/2023

      • スキーマレス
      • データ構造の最小単位: Aggregate (タプル的な一対一のデータ)
      • 様々なデータモデルが存在する（「NoSQL」はSQLでないというだけの言葉なので）
      • 例
      • image
        • KVS (Key Value Store)
          • 向いているユースケース
            • Keyのみで情報が一意に特定できる場合
              • ex: ユーザ情報, 商品情報などの参照, 更新
          • 向いてないユースケース
            • 複数のaggregate(key-value pair)の集合演算をしたい場合
            • valueから検索したい場合
        • ドキュメントデータベース
          • json, xmlなど
          • スキーマレスな半構造データ
          • kvsの、valueに対して別のaggregateを置けるようにした物
            • ネストさせている
          • 向いているユースケース
            • スキーマが固定されていないデータの場合
              • ex: イベントロギング, ブログ記事, eコマース
          • 向いてないユースケース
            • 複数のaggregateの集合演算をしたい場合
            • データ構造が定期的に変わる場合 (blu3mo.iconなぜ?)
        • カラムストア
          • ドキュメントデータベースとリレーショナルデータベースの中間的な
          • rowの中にcolumnがある
          • 向いているユースケース
            • スキーマが多くの場合同じだけど、たまに異なることもある場合
              • ex: イベントロギング, コンテンツ管理システム, ブログ管理システム
          • 向いていないユースケース
            • ACID特性

              ACID特性

              の講義 Atomicity 、中途半端にならない これがないと、多様なエラーケースが存在するから大変 Consistency は処理後も保持されている Isolation 、並列実行は直列実行と同じ結果(等価)を保証 ...

              1/3/2023

              が求められる場合
            • 問合せ処理結果の集約演算が必要な場合
            • プロトタイプ（クエリパターンが変わりやすい）の場合
        • グラフデータベース
          • データをグラフ

            グラフ

            プロットするグラフと、のグラフの二つの意味がある このscrapboxでは、のグラフを指す 使用頻度/リンクされる価値はこっちの方が高いかなーと プロットするグラフは、とかの言葉を使う https://ja.wikipedia.org/wiki/グラフ理論 種類 密vs疎 ...

            1/3/2023

            として管理
          • エンティティ間の関連性を保存する
          • プロパティグラフ: グラフのノードと[[辺]]がプロパティ(ラベル、名前とか)を持つ
          • グラフ理論のアルゴリズムを応用できる
          • 向いていないユースケース
            • 大規模なバッチ処理が必要な場合
            • 巨大なグラフデータを扱う場合
              • スケーラビリティ確保が難しい
              • なぜなら、NoSQLでよくやる手段（データを分割して分散させる）がやりにくいから

    Backlinks

    • スケーラビリティ

      スケーラビリティ

      ... （） ex: [NoSQL]] メリット ...

      1/3/2023

    • データベースの使用用途による分類

      データベースの使用用途による分類

      の講義 : Online Transaction Processing データの参照/管理等の機能を提供 時々刻々と更新されていく : Online Analytical Processing 静止したデータの世界 ,集計など : Realtime Analytic Processing 処理のための新しいアーキテクチャ なデータ収集とデータ処理 (的) リアルタイムな問合せ処理, 集計処理 (的) が使われがち?...

      1/3/2023

    • データモデル

      データモデル

      の講義 問い 実世界のデータをどのように計算機上で表現するか? 同じモデルでも複数の設計がある中で、適切な設計とは? (entity relationship) entity(実体)とrelationship(実体間の関連)でデータモデルを表現する 表。 メリット: 見やすい 正規化: を排除するためにテーブル分解をする ちゃんと(情報欠損なく)テーブルを分解するには 第一~第五正規化がある 導入する従属性によってタイプ分け メリット: データ更新時に一箇所で済む、正確性と高速さに繋がる デメリット: データ参照時に複数のテーブルを結合する必要がある場合、大変（コスト大） クエリ処理の主たる命題: 結合操作をいかに高速に実行するか スキーマ設計の命題: 更新コストと参照コストの合計?を最小化する 基本トレードオフの関係 正規化=更新コストを下げて参照コスト上げる 別講義だったのでリンク先に書いてある...

      1/3/2023

    • ビックデータ

      ビックデータ

      の講義 まあ 性質 (4V) Volume: データ量が的に増加 Variety: 様々なデータ型,を持つ Velocity: 常に新しいデータが生まれる Veracity: データが性や、誤差を持つことが多い これらの性質には、が向いていると言える?...

      1/3/2023

    • 分散データベース

      分散データベース

      の講義 複数のを利用する と複数のDBMSから構成される クラウドのDB(, とか)もこれ の（他の分散DBもこれなのかな?） : データ等を分割して、複数サーバーに割り振る : 各データに対して複数のコピーを作成し、複数サーバーに配置 replication factor (どれくらいコピー範囲を重複させるかのしひょう) 耐障害性と使用ストレージのトレードオフ type: master-slave型, peer-to-peer型 ""があるかどうかが違い 実際は上記二つを組み合わせることが多い...

      1/3/2023

    • BASE特性

      BASE特性

      の場合などに適用される で、AとPを保持している状態 のの反対? (ネーミングが天才) システムの一部が落ちても、全体が動き続ける システムのデータが常に変化する ) 最終的にが保証されればOK (ゆるい) 強いが求められる場合（とか)は、 = writeをされた瞬間以降のreadは絶対更新されている Eventual Consisencyだと、そうはならない writeのあとにreadの値が更新されるまでにラグがあってもOK "": 等で、で処理の整合性を保つ技術 Write-Write[競合]や、Read-Write競合(間違ったデータが読まれる)を回避したい 複数のを同時にread/writeしてあげれば、安全になりやすい 具体的には Write-Write競合回避: w > n/2 Read-Write競合回避: r> n-2 (n: 全体のレプリカ数, w:同時にwriteするレプリカ数, r: 同時にreadするレプリカ数) などの条件がある...

      1/3/2023

    • CAP定理

      CAP定理

      [データベース]の講義 CAP特性 C: Consistency A: Availability P: Partition Tolerance CAP定理: 「システムはCAP特性のうち二つしか保証できない」 例 C,Aを保証している --> : 場合による AとPを保証している時 --> を持つ...

      1/3/2023

    • Scrapboxとアーキテクチャ

      Scrapboxとアーキテクチャ

      Scrapboxでページのフォーマットを考えたり、どうページ分けしたりするか考えるのは、ソフトウェアとかデータベースの考えるのに似てる とか DBのとか 類似点 scrapbox: 一つのファイルに全部の文章を集めても外部からの参照がむずい、だけど分けすぎても複雑になる ソフトウェアのコードをどこまで分けるかみたいなのと同じ 細かく分けるのは、データベースの正規化とも似てる 「情報が分割されてて、情報同士が依存関係を持っていて、それらを人間の頭で管理したい」というのはコードもScrapboxも同じ と 相違点 scrapboxは、基本全部人の手が直接操作する物、データベースは違うこともある のFirebase Realtime DBとかで、正規化をしないようにしようみたいな考え方がある これはscrapboxじゃnonsence?...

      1/3/2023

    Interactive Graph

    NoSQLデータベース/SQLデータモデル/リレーショナルデータベース/ビックデータ処理/DMBSBASE特性/分散システムスケーラビリティ/スケールアウト/スキーマレス/リレーション/発展途上OSS標準化分散データベース/シャーディング/レプリケーション/Aggregate/タプル/KVSグラフ/ドキュメントデータベース/json/xml/kvs/カラムストアACID特性/グラフデータベース/ノード/辺/グラフ理論/アルゴリズム/DBMS/Oracle/MySQLクエリ処理トランザクション処理CAP定理Superception Lab Cover LetterデータソースとしてのScrapboxデータベースの使用用途による分類データ独立性ビックデータ/ERモデル/冗長性/結果整合性/一貫性/Quorum/競合/レプリカ分散/スケールアップ/垂直スケーリング/ムーアの法則/水平スケーリング/障害耐性IoTSwiftyDrawGKADCiOSで手書き文字をデバイス間同期する方法やりたいなーと思ってることWWDC_PlaygroundBook頭の中の知識と、外界にある知識/サーバー/統括サーバ/2層コミット/BigQuery/DynamoDB/アーキテクチャ/単一障害点/関数グラフ/統計グラフBDDKinetoの弾性同期アルゴリズムScrapboxのグラフ時系列表示Scrapboxは言語が持つ構造に沿って情報を管理できるグラフの性質検査グラフ型ToDoアプリ凝集型クラスタリング性質検査組み合わせ的相関検定関数型言語離散アルゴリズム離散構造ScrapboxでApple Pencil使う用iPadアプリ/原子性/独立性/悲観的並行性制御/楽観的並行性制御/git/gitと一般的DMBSの比較ポーカーチップ管理LINE BotCards理論計算機科学Domain Specific ArchitecturePvsNP問題scikit-learnエネルギーインフラを活用したサービスの調査ニューラルネットワークボゴコンピューター競技プログラミング