位置情報ビッグデータ、特にGPSログや人流データを扱うプロジェクトにおいて、「汚れたデータ」との戦いを強いられる場面は少なくありません。
「海の上を車が走っている」「ビルの壁を突き抜けて移動している」といった物理的にあり得ないノイズデータはよく見られます。さらに、エリアによってデータの密度が全く異なるという問題も存在します。例えば、新宿のような過密エリアと、山間部の過疎エリアでは、データの集まり方が大きく異なります。
これまで、多くのデータサイエンティストやエンジニアが、この問題に対してDBSCAN（Density-Based Spatial Clustering of Applications with Noise）を用いてきました。しかし、そこで課題となるのが「epsilon（距離閾値）」というパラメータ調整です。
「都心に合わせると地方のクラスタが消え、地方に合わせると都心が巨大な一つの塊になってしまう」といった状況に直面することがあります。
この記事では、DBSCANの限界を突破する手法として、HDBSCAN（Hierarchical DBSCAN）の実装と活用について、Webシステムエンジニアの視点から実践的な解法を提示します。
数式による理論証明よりも、現場で実用的に活用できることに主眼を置き、Pythonコードを用いた比較実験を通じて、その有効性を論理的に解説いたします。
空間データ分析を阻む「ノイズ」と「密度差」の壁
なぜ、教科書通りのクラスタリング手法が、現実の空間データ分析では通用しないのでしょうか。まずは、直面している課題の本質を整理します。これは、適切なアルゴリズムを選定するための重要な第一歩となります。
なぜK-meansは地図データに使えないのか
機械学習の初学者がまず手に取るK-means法ですが、空間データ分析、特に道路網や地形に依存するデータにおいては、ほとんどの場合不適切と言えます。
K-meansは、クラスタが「球状」であり、かつ「同じようなサイズ」であることを前提としています。しかし、地図上の人流や店舗の分布は、道路に沿って細長く伸びたり、河川で分断されたりと、形状が極めて複雑です。無理にK-meansを適用すると、本来つながっている商店街を分断したり、全く関係のない対岸のエリアを同じクラスタとして誤認したりする可能性があります。
DBSCANの限界：都心と地方の密度差問題
DBSCANは、密度ベースのアプローチをとることで、任意の形状のクラスタを抽出でき、かつノイズを除去できるため、空間データ分析の標準とされてきました。しかし、DBSCANには「データセット全体に対して、単一の密度基準（epsilon）しか適用できない」という課題があります。
例えば、全国規模の店舗データを分析すると仮定します。
- 都心部: 半径50m以内に店が密集している。
- 郊外: 半径500m以内に店が点在している。
この両方を同時にクラスタリングしようとすると、DBSCANでは破綻する可能性があります。
- epsilonを小さく（例: 50m）設定すると、郊外の店舗はすべて「ノイズ」として捨てられます。
- epsilonを大きく（例: 500m）設定すると、都心の店舗はすべて連結され、巨大で無意味なクラスタになってしまいます。
現実のGPSデータに含まれる異常値の正体
さらに、GPSデータ特有の「マルチパス誤差」やデバイスの不具合による異常値も問題となります。これらは単なるランダムなノイズではなく、時に局所的に密集して「偽のクラスタ」を形成することがあります。
ビジネスの現場、例えば「出店候補地の選定」や「配送ルートの最適化」において、これらのノイズを含んだまま分析を進めることは、誤った意思決定に繋がる可能性があります。高精度な商圏分析を行うためには、「密度の変化に柔軟に対応しつつ、確信度の高いデータのみを抽出する」技術が求められます。
HDBSCANのメカニズム：階層構造がノイズを分離する
ここで登場するのがHDBSCANです。名前の通り、DBSCANに「Hierarchical（階層的）」なアプローチを取り入れた手法です。なぜこれが密度差問題の解決策になるのか、そのメカニズムをエンジニアリングの視点で紐解いていきます。
「階層的」であることの数学的利点
HDBSCANは、単一の距離閾値で一律に切り分けるのではなく、「距離閾値を徐々に変化させながら、クラスタがどう結合・分離していくか」を計算します。
イメージとして、海面（密度レベル）を徐々に下げていく過程を想像してください。最初は高い山頂（高密度の都心）だけが島として現れます。さらに海面を下げると、低い山（郊外の集落）も島として現れ、やがてそれらが陸続きになっていきます。
HDBSCANは、この過程全体を「Condensed Tree（凝縮された木）」として記録します。そして、それぞれのクラスタが「どれくらいの期間（距離の変化幅）、独立した存在として生き残ったか」を評価し、最も安定した（寿命の長い）クラスタを自動的に選択します。
これにより、「都心は高密度な状態で、郊外は低密度な状態で」それぞれ最適なクラスタとして抽出することが可能になります。
最小クラスタサイズ（min_cluster_size）だけで制御できる理由
DBSCANではepsilonとmin_samplesの2つのパラメータ調整が必須であり、特にepsilonの決定は困難を伴いました。一方、HDBSCANで必須となる主要パラメータは実質1つ、min_cluster_sizeのみです。
「最低何個のデータが集まっていれば、ひとつのクラスタ（商圏やスポット）とみなすか？」
これはビジネス要件として非常に定義しやすい数値です。「5人が滞在していればスポットとみなす」なら5、「50店舗あれば商店街とみなす」なら50と設定できます。アルゴリズムの内部挙動を深く知らなくても設定できるため、エンジニアとビジネスサイドの合意形成もスムーズに進行します。
ソフトクラスタリングによる所属確率の活用
もう一つの大きな特徴が「ソフトクラスタリング」です。各データポイントに対して、「クラスタAに属する・属さない」の0/1判定だけでなく、「クラスタAに属する確率は80%、ノイズである確率は20%」といった確率値（Probability）を出力できます。
これは、境界線上の曖昧なデータを扱う際に非常に役立ちます。詳しくは後述のベストプラクティスで解説しますが、この機能により「確度の高いデータだけで分析する」ことが容易になります。
【検証】Pythonによる実装と比較実験：DBSCAN vs HDBSCAN
理論の説明はここまでとし、実際に手を動かして検証してみましょう。Pythonのhdbscanライブラリを使用し、ノイズを含んだ空間データに対してDBSCANとHDBSCANがどのような結果の違いを見せるか実証します。
実験環境と使用データセット
今回は、密度差のあるクラスタとノイズを模した合成データセットを使用します。都心部のような高密度クラスタ、郊外のような低密度クラスタ、そして全体に散らばるランダムノイズを配置します。
import numpy as np
import matplotlib.pyplot as plt
import hdbscan
from sklearn.cluster import DBSCAN
from sklearn.datasets import make_blobs
# データ生成
# 3つの異なる密度のクラスタ + ノイズ
blobs, labels = make_blobs(n_samples=2000, centers=[(0, 0), (5, 5), (-5, 5)], cluster_std=[0.5, 1.5, 1.0])
noise = np.random.uniform(low=-10, high=10, size=(200, 2))
data = np.vstack([blobs, noise])
# 可視化関数
def plot_clusters(data, labels, title):
plt.scatter(data[:, 0], data[:, 1], c=labels, cmap='Spectral', s=10, alpha=0.6)
plt.title(title)
plt.show()
scikit-learn互換APIでの実装コード例
まず、従来のDBSCANを適用してみます。パラメータepsの調整に苦労する様子を再現します。
# DBSCANの実装
# eps=0.5だと高密度クラスタは拾えるが、低密度クラスタはバラバラになる
dbscan = DBSCAN(eps=0.5, min_samples=10).fit(data)
plot_clusters(data, dbscan.labels_, "DBSCAN (eps=0.5): Over-segmentation")
# eps=1.5だと低密度クラスタは拾えるが、高密度クラスタとノイズが融合してしまう
dbscan_loose = DBSCAN(eps=1.5, min_samples=10).fit(data)
plot_clusters(data, dbscan_loose.labels_, "DBSCAN (eps=1.5): Under-segmentation")
次に、HDBSCANの実装です。hdbscanライブラリはscikit-learnと互換性があるため、同じインターフェースで使用できます。
# HDBSCANの実装
# min_cluster_sizeのみを指定
clusterer = hdbscan.HDBSCAN(min_cluster_size=30, gen_min_span_tree=True)
clusterer.fit(data)
plot_clusters(data, clusterer.labels_, "HDBSCAN: Adaptive Density")
結果比較：ノイズ除去率とクラスタ純度の数値評価
実行結果を比較すると、その差は明確に表れます。
- DBSCAN:
epsを小さくすると、広がりのあるクラスタ（郊外）が細かく砕かれ、大量のノイズ（ラベル -1）として誤検知されました。逆にepsを大きくすると、異なるクラスタ同士が結合し、間のノイズまでクラスタの一部として取り込まれてしまいました。 - HDBSCAN: 密度の高いクラスタ（都心）も、広がりのあるクラスタ（郊外）も、それぞれの密度に合わせて適切に分離されています。さらに、背景にあるランダムノイズだけが正確に除外（ラベル -1）されています。
ベストプラクティス①：パラメータチューニングの黄金律
HDBSCANはパラメータ調整が容易ですが、実務で最大のパフォーマンスを引き出すためには、各パラメータの意味を深く理解し、適切に設定する必要があります。ここでは、チューニングのポイントを解説します。
min_cluster_sizeの設定基準：ビジネス要件からの逆算
最も重要なパラメータはmin_cluster_sizeです。これはアルゴリズム的な最適値を探すというより、ビジネス的な定義から逆算して決定すべきです。
- 商圏分析: 「最低でも50人の顧客がいなければ商圏とは呼ばない」 ->
min_cluster_size = 50 - 滞在点分析: 「GPSログが10点以上集まれば滞在とみなす」 ->
min_cluster_size = 10
設定に迷った場合は、想定よりも少し小さめの値を設定し、後処理で小さなクラスタをマージする方が、大きなクラスタを見逃すよりも安全なアプローチとなります。
min_samplesによる平滑化と外れ値感度の調整
もう一つ、調整可能なパラメータとしてmin_samplesがあります。デフォルトではmin_cluster_sizeと同じ値が使われますが、これを個別に設定することでクラスタリングの挙動を微調整できます。
- min_samplesを大きくする: クラスタの判定がより保守的になります。密度が低い周辺部分はノイズとして切り捨てられ、コアとなる高密度部分だけが残ります。「確実なコア」を見つけたい場合に有効です。
- min_samplesを小さくする: クラスタの形状が複雑でも追随しやすくなりますが、ノイズを拾うリスクも上昇します。
距離メトリクス（Haversine距離）の正しい選択
空間データ（緯度・経度）を扱う際、忘れてはならないのが距離メトリクスの選択です。デフォルトのユークリッド距離（Euclidean）は、地球の丸みを考慮していません。狭い範囲なら誤差で済みますが、広域データでは問題が生じる可能性があります。
必ずmetric='haversine'を指定し、入力データをラジアン（radians）に変換してから渡すようにしてください。
from math import radians
# 緯度経度をラジアンに変換
coords = np.radians(df[['lat', 'lon']].values)
# 地球の半径(km)を掛けて実距離で解釈できるようにする等の工夫も可能だが
# 基本はHaversine距離でクラスタリングを行う
clusterer = hdbscan.HDBSCAN(min_cluster_size=20, metric='haversine')
clusterer.fit(coords)
この手順を省略すると、北海道と沖縄で距離の尺度が歪み、分析結果の信頼性が損なわれる可能性があります。
ベストプラクティス②：ソフトクラスタリングによる境界判定の高度化
HDBSCANの真価は、クラスタリング結果が出た「その後」にあります。probabilities_属性を活用することで、単純なグルーピングを超えた高度な分析が可能になります。
確率値（probabilities_）を用いたフィルタリング
clusterer.probabilities_には、各データポイントがそのクラスタに属する確信度（0.0〜1.0）が格納されています。これを利用すれば、クラスタリング結果をさらに洗練させることができます。
例えば、マーケティング施策において「確実にそのエリアの居住者である」と判定できるユーザーにのみクーポンを配信したい場合、以下のようにフィルタリングを行います。
# 確信度が90%以上のデータのみを抽出
high_confidence_mask = clusterer.probabilities_ > 0.9
high_quality_clusters = clusterer.labels_[high_confidence_mask]
これにより、クラスタの境界付近にいる「曖昧な」ユーザーを除外し、ROI（投資対効果）の高い施策を実行することが可能になります。
曖昧な境界線上のデータをどう扱うか
逆に、境界線上のデータ（確率が0.3〜0.5程度）は、「流動的な層」として別のアプローチをとることも可能です。例えば、A商圏とB商圏のどちらにも属する可能性がある顧客は、両方の店舗を利用する「回遊顧客」である可能性が高いと考えられます。
このように、0か1かのデジタルな判定ではなく、アナログなグラデーションとしてデータを捉えることで、よりリッチなインサイトを導き出すことができます。
異常検知としての活用：所属確率0のデータ群
HDBSCANによって「ノイズ（ラベル -1）」と判定され、かつ所属確率が極めて低いデータ群。これらは単なる不要なデータでしょうか。
セキュリティや設備保全の文脈では、これこそが「重要な発見」になることがあります。通常のパターン（クラスタ）から外れた特異点、つまり「異常発生」のシグナルかもしれないからです。
実際の物流分野の分析事例では、通常の配送ルート（クラスタ）から外れた位置で長時間滞留している車両（ノイズ判定）を検知することで、事故や車両トラブルの早期発見システムを構築したケースが存在します。HDBSCANは優秀なクラスタリング手法であると同時に、優れた異常検知アルゴリズムとしても機能します。
大規模データへの適用とパフォーマンス最適化
数万件程度のデータなら数秒で処理が完了しますが、数百万、数千万件のGPSログを扱うとなると、計算リソースと時間の問題に直面します。Webシステムエンジニアとして、スケーラビリティを確保するためのポイントを解説します。
計算コストとメモリ使用量の現実
HDBSCANの計算量は、素朴な実装では $O(n^2)$ ですが、適切なアルゴリズムを選択することで $O(n \log n)$ 程度まで抑えられます。しかし、メモリ使用量はデータ量に比例して増大します。
Pythonのhdbscanライブラリは、内部でKD-treeやBall-treeを使用して高速化を図っていますが、高次元データや超大規模データではメモリオーバーフローのリスクが伴います。
近似最近傍探索（Approximate Nearest Neighbors）の活用
完全な精度を求めず、計算速度を優先する場合は、近似アルゴリズムの活用を検討すべきです。hdbscanライブラリでは、パラメータ設定でアルゴリズムを切り替えることができますが、さらに大規模な場合は、RAPIDS cuML（GPU活用）などのライブラリへの移行も視野に入ります。
また、データ全体を一度にクラスタリングするのではなく、地理的なグリッド（GeoHashなど）でデータを分割し、並列処理でローカルにクラスタリングを行った後、境界部分をマージするという分散処理アプローチも有効です。これはまさに、Webシステム開発やAPI連携におけるスケーラビリティ設計の知見が活きる場面と言えます。
運用に向けたチェックリスト
本番環境へHDBSCANを組み込む際は、以下の項目を必ず確認してください。
- データの前処理: 異常値の事前フィルタリングは完了しているか。（HDBSCANはノイズに強いですが、データ量を減らすことで処理速度が向上します）
- 座標変換: 緯度経度はラジアンに変換されているか。
- リソース制限: メモリ使用量の上限を設定し、OOM Killer（Out Of Memory）によるプロセス停止を防ぐ設計になっているか。
- キャッシュ戦略: 同じデータに対する再計算を防ぐため、計算結果（Condensed Tree）をキャッシュする仕組みがあるか。
まとめ：次世代の空間分析基盤を構築するために
HDBSCANは、従来のDBSCANが抱えていた「密度差への弱さ」と「パラメータ調整の難しさ」を克服し、現実の複雑な空間データを正確に捉えるための強力なツールです。
- ノイズ耐性: 異常値に惑わされず、本質的な構造のみを抽出できる。
- 密度適応: 都心も地方も、単一のモデルで同時に分析できる。
- 実装容易性:
min_cluster_sizeという直感的なパラメータで制御できる。
しかし、ツールはあくまで手段に過ぎません。真に価値ある分析結果を得るためには、自社のビジネス課題に合わせて「何をクラスタ（意味ある塊）とするか」を明確に定義し、適切なパラメータ設定と運用設計を行う必要があります。
データのノイズを適切に処理し、ビジネスの解像度を高めるためのシステム構築を進めていきましょう。
コメント