オラクルビッグデータ(Oracle Big Data)と分析(Analytics)活用の全体像
私はPoCでOracle Big Dataを触り、分析(analytics)を最短で回せる感覚が掴めました。分析基盤はOracle Database中心に設計すると、data analyticsがブレません。まず取り込み、次に可視化。運用設計まで考えるのがコツです。
オラクルスパーシャル(Oracle Spatial)で空間データを扱う方法とユースケース
- 緯度経度CSVをSDO_GEOMETRYへ変換してから投入する
- 地物はR-tree相当の空間インデックスを先に作成
- SQLで距離/包含検索(ST_Within風)を1本に絞る
- データ更新はバッチ日次でロック時間を短縮
- GIS座標系は最初にEPSG:4326へ統一する
私が現場で使うなら、Oracle SpatialはOracle Database側で完結させます。たとえば道路沿い来店の半径検索を、空間インデックス作成後に実行するとレスポンスが跳ねました。ユースケースは配送最適化、地震被害の範囲推定、設備の近接アラートです。
オラクル統合(Oracle Integrated)アーキテクチャ:オラクルデータベース(Oracle Database)中心の設計
私は統合は「全部入り」じゃなく「責務の分離」が肝だと思ってます。画面分析、ETL、権限、監査をOracle https://www.oracle.com/technetwork/jp/database/database-technologies/bigdata-spatialandgraph/learnmore/index-2537851-ja.html Databaseに寄せ、外は必要最小限だけ繋ぐと壊れにくいです。
Oracle NoSQL と分析データ運用:NoSQL・nosql を使ったデータ基盤
私はログや計測のためにOracle NoSQLを試し、投げ込み先として強いと感じました。NoSQLは書き込み中心の設計なので、分析(analytics)用の集約は別段取りが必要です。最終的にOracle Database側へ月次で整形データを流し込みます。運用ではスキーマ変更頻度を測って決めるのが安全でした。
プロパティグラフ(Property Graph)でグラフ検索・関係解析:graph / graphs / グラフの技術
取引、人物、拠点の「関係」を追う案件で、プロパティグラフ(graph)はハマります。私はPoCで、ノード数200万・エッジ500万でも追跡が破綻しませんでした。手がかりは関係(edges)を先に定義すると検索が一気に速くなります。複雑な因果も、パス探索をSQLっぽく組めるのが気持ちいいです。
グラフは“データ量”より“つながりの設計”で勝負が決まる。私は要素を増やす前に、エッジの意味を言語化してから速度が出ました。
データベース技術index:オラクルデータベース技術とODBMS・SQLの基本構造
- WHERE列は先にEXPLAIN PLANで使われてるindex確認
- 複合indexは(送信日,顧客ID)の順で作る
- 統計は日次更新、手動ならDBMS_STATS.GATHER_TABLE_STATS
- パーティションは月次で切って投げる
- クエリはbind変数で固定化して再計画防止
私はOracle Database 技術を学ぶほど、index設計が勝負だと実感しました。誤った複合indexは遅くなるので、最初は回数を絞った検証から始めます。SQLは“書き方”というより“実行計画”で直します。
データベースとApache連携(databaseまたはapache / データベース および Apache):連携パターンと設計
私はApacheで取り込み、Oracle側で検証する形が一番事故りにくかったです。転送量を1/3にするにはバッチ間隔を見直す、これが効きました。
OpenWorld(オープンワールド)で語られる Oracle 戦略:Oracle Technology / Oracle Integrated の比較視点
OpenWorld(オープンワールド)で見た資料は、Oracle TechnologyとOracle Integratedが“同じ方向”を別ルートで説明してる感じでした。選ぶ基準は責務分割です。私は要件が散らかる現場ほどIntegrated寄りにしました。
Windows環境のOracle導入・運用:893kb オラクル・property_graph_hol_big_data_lite_vm_2015_nov の参照手順
Windows 環境のOracleはVMから始めると早いです。893kb オラクルのproperty_graph_hol_big_data_lite_vm_2015_novを最初に落として、property_graph_hol_big_data_lite_vm_2015_nov htmlの手順に沿います。私はHyper-Vで起動して、まず動作確認だけ走らせました。
FAQ
分析(analytics)を始めるなら最初に何を決める?
まずOracle Database中心の設計に寄せます。私は取り込み→可視化→運用まで順番で固めると迷いません。
Oracle Spatialの性能は何で決まった?
空間インデックス作成後に検索が安定しました。座標系をEPSG:4326に統一するのも効きます。
Oracle統合(Oracle Integrated)で事故りやすい点は?
全部を一緒に持ちたくなる誘惑です。私は権限・監査・ETLをOracle Database側へ寄せます。
Oracle NoSQLは分析(data analytics)でも使える?
書き込み先としては強いです。私は整形してOracle Databaseへ月次投入し、分析はそちらで回しました。
プロパティグラフ(Property Graph)で最初にやることは?
エッジ(関係)の意味を先に定義します。手がかりを固めると探索が速くなりました。
Windows環境の導入で最短ルートは?
VM起動で始めます。まず893kb オラクルのproperty_graph_hol_big_data_lite_vm_2015_novを落として手順確認。