Pythonで挑むスキーママッピング自動化：数千カラムの名寄せ地獄から脱出する「半自動」ロジック構築術

膨大なExcelシートとにらめっこしながら、customer_id と cust_no を手動で紐付ける作業に、時間を費やしていませんか？

システム移行やM&Aに伴うデータ統合プロジェクトにおいて、地味でありながらプロジェクトの成否を握るのが「スキーママッピング」です。数千、時には数万に及ぶカラム定義を突き合わせる作業は、精神力を削るだけでなく、ヒューマンエラーの温床となります。

「AIで自動化できないの？」

誰もがそう思いますが、いきなり高価な商用ETLツールやブラックボックスなAI製品を導入するのはリスクが高いと感じる方も多いでしょう。まずは手元のPythonで、ロジックを理解しながら「半自動化」の仕組みを作ってみませんか。

データ統合の現場では、全自動ツールよりも、エンジニアが挙動を理解し、制御できる「賢いスクリプト」の方が、最終的な品質を担保しやすいと考えられます。既存の業務フローに無理なく組み込める現実的な解決策として、今回は、文字列類似度とデータの中身（統計量）を組み合わせた、実用的なスキーママッピングエンジンを構築する手順を分かりやすく解説します。

1. なぜ「手動マッピング」は破綻するのか？自動化のロジックを理解する

まず、なぜこの問題にコードで挑む必要があるのか、その背景にある「手動の限界」と「単純なルールの脆さ」を整理しておきましょう。

「user_id」と「u_id」の壁：異種DB間のセマンティックギャップ

移行元データベースの first_name と移行先データベースの fname。これらが同じ意味であることは、人間なら直感的に分かります。しかし、システムにとっては単なる異なる文字列です。

さらに厄介なのが、以下のようなケースです。

• 省略形: description vs desc
• 同義語: price vs cost
• 構造の違い: address (全住所) vs addr_state (州のみ)
• ドメイン知識: kbn (区分) vs type

これらをExcel上で一行ずつ確認し、線を引いていく作業は、カラム数が数百を超えたあたりで限界を迎えます。人間は集中力が切れると、似ている文字列を安易に紐付けたり、逆に明白な関係を見落としたりしがちです。

ルールベースの限界と機械学習アプローチの必要性

「正規表現で置換すればいいのでは？」と考えるかもしれません。確かに user_id を uid に変換するようなルールは書けます。しかし、すべてのパターンを条件分岐や正規表現で網羅しようとすると、コードは複雑化し、メンテナンスが困難になります。

そこで有効なのが、「曖昧さ」を許容し、スコア（確信度）で判断するアプローチです。

1. Schema-level（メタデータ）: カラム名の文字列としての類似度を見る。
2. Instance-level（実データ）: 格納されているデータの中身や分布を見る。

この2つを組み合わせることで、「名前は似ていないが、中身は明らかに同じ（例：sex と gender）」といったケースも拾えるようになります。

今回実装する「ハイブリッド方式（名前×データ特徴）」の概要

今回作成するエンジンの全体像は以下の通りです。

1. 入力: マッピングしたい2つのデータセット（DataFrame）。
2. 特徴抽出:
   • カラム名の文字列特徴（N-gram, 編集距離）
   • データの統計的特徴（数値の分布、ユニーク値の割合、文字種など）
3. 類似度計算: 総当たりでペアごとのスコアを算出。
4. 統合スコアリング: 名前スコアと中身スコアを重み付けして合算。
5. 出力: スコアが高い候補ペアと、その確信度。

このプロセスをPythonの軽量ライブラリだけで実装します。中身が分からないブラックボックスな処理はありません。

2. 実装準備：Pythonによるマッチングエンジンの環境構築

まずは環境構築と、テスト用のダミーデータ生成です。

必要なライブラリの選定（pandas, textdistance, scikit-learn）

以下のライブラリを使用します。

• pandas: データ操作の基本ツールです。
• textdistance: 文字列類似度計算に特化したライブラリです（標準ライブラリよりも多機能で高速です）。
• scikit-learn: 必要に応じて数値データの正規化などに使用します。

pip install pandas textdistance scikit-learn numpy

実験用ダミーデータの生成：顧客マスタ（DB_A）と会員リスト（DB_B）

意図的に「カラム名が異なり」「データ形式も微妙に違う」2つのデータセットを作成します。

import pandas as pd
import numpy as np
import random

# シード固定
np.random.seed(42)

# データセットA（移行元：レガシーな命名規則）
def create_legacy_data(n=100):
    data = {
        'c_id': range(1, n + 1),
        'c_name': [f'User_{i}' for i in range(n)],
        'c_mail': [f'user_{i}@example.com' for i in range(n)],
        'reg_date': pd.date_range(start='2020-01-01', periods=n),
        'age_val': np.random.randint(20, 60, n),
        'sex_kbn': np.random.choice(['M', 'F'], n), # 'M', 'F' 表記
        'del_flg': np.random.choice([0, 1], n, p=[0.9, 0.1])
    }
    return pd.DataFrame(data)

# データセットB（移行先：モダンな命名規則）
def create_modern_data(n=100):
    data = {
        'user_id': range(1, n + 1),
        'full_name': [f'User_{i}' for i in range(n)],
        'email_address': [f'user_{i}@example.com' for i in range(n)],
        'created_at': pd.date_range(start='2020-01-01', periods=n),
        'age': np.random.randint(20, 60, n),
        'gender': np.random.choice(['Male', 'Female'], n), # 'Male', 'Female' 表記
        'is_active': np.random.choice([True, False], n, p=[0.9, 0.1])
    }
    return pd.DataFrame(data)

df_source = create_legacy_data()
df_target = create_modern_data()

print("Source Columns:", df_source.columns.tolist())
print("Target Columns:", df_target.columns.tolist())

この2つのDataFrameのカラムを、自動的に紐付けることがゴールです。
c_id ↔ user_id
sex_kbn ↔ gender
といったマッピングを目指します。

データプロファイリングの前処理

比較を行う前に、最低限の型変換や欠損値処理を行う必要があります。ここではシンプルに、すべてのカラムを一度文字列として扱える準備と、数値型の抽出を行います。

# 型ごとのカラム抽出（後で使用）
def get_column_types(df):
    numerics = df.select_dtypes(include=[np.number]).columns.tolist()
    objects = df.select_dtypes(exclude=[np.number]).columns.tolist()
    return numerics, objects

src_nums, src_objs = get_column_types(df_source)
tgt_nums, tgt_objs = get_column_types(df_target)

3. レベル1：文字列類似度による「名前ベース」のマッチング実装

まずは基本となる「カラム名」の比較です。単純な一致ではなく、文字列としての近さを数値化します。

編集距離（Levenshtein）とJaro-Winkler距離の使い分け

文字列の類似度を測る指標はいくつかありますが、カラム名マッチングでは以下の2つが有効です。

• Levenshtein距離: 1文字の挿入・削除・置換が何回必要かを表す、一般的な類似度です。
• Jaro-Winkler距離: 先頭の文字が一致している場合にスコアが高くなります。接頭辞（user_id, user_nameなど）が多いデータベースのカラム名に適していることが多いです。

今回は textdistance ライブラリのJaro-Winklerを使用します。

コード実装：カラム名ペアの類似度行列（Similarity Matrix）を作成する

import textdistance

def calculate_name_similarity(cols_a, cols_b):
    results = []
    for col_a in cols_a:
        for col_b in cols_b:
            # Jaro-Winkler距離 (0.0 〜 1.0)
            # 正規化して扱いやすくする
            sim = textdistance.jaro_winkler(col_a, col_b)
            
            # 部分一致ボーナス（'id' が両方に含まれる場合など）
            if (col_a in col_b) or (col_b in col_a):
                sim = min(1.0, sim + 0.1)
                
            results.append({
                'source': col_a,
                'target': col_b,
                'name_score': sim
            })
    return pd.DataFrame(results)

# 名前ベースのスコア計算
name_scores = calculate_name_similarity(df_source.columns, df_target.columns)
print(name_scores.sort_values('name_score', ascending=False).head(5))

これを実行すると、c_id と user_id のスコアなどが算出されます。しかし、sex_kbn と gender のように、文字列としての共通点が少ないペアは、この段階では低いスコアしか出ません。

4. レベル2：データ分布比較による「コンテンツベース」の検証機能

ここからが、より実践的なアプローチです。名前が似ていなくても、中身の統計的特徴が似ていれば「同じデータである可能性が高い」と推論させます。

名前が全く違うが中身は同じ？（「gender」と「sex」など）

例えば、性別カラムは通常、ユニークな値が2〜3個（M/F/Unknownなど）しかありません。年齢カラムは20〜100程度の数値範囲を持ちます。この「データの指紋」とも言える特徴を比較します。

基本統計量による数値カラムの指紋照合

数値データの場合、平均値、標準偏差、最小値、最大値の比率を見ます。

def calculate_numeric_similarity(series_a, series_b):
    # 簡易的な統計量比較
    stats_a = series_a.describe()
    stats_b = series_b.describe()
    
    # 平均値の近さ (1 - 相対誤差)
    if stats_a['mean'] == 0 and stats_b['mean'] == 0:
        mean_sim = 1.0
    else:
        denom = max(abs(stats_a['mean']), abs(stats_b['mean']))
        mean_sim = 1 - abs(stats_a['mean'] - stats_b['mean']) / denom if denom > 0 else 0
    
    # 範囲の重複度などを考慮しても良いが、ここではシンプルに平均と標準偏差で
    return max(0, mean_sim)

Jaccard係数を用いたカテゴリカルデータの一致度判定

文字列やカテゴリデータの場合、そのカラムに含まれる値の集合がどれくらい重複しているかを見ます。これをJaccard係数と呼びます。

def calculate_content_similarity(df_a, df_b, candidate_pairs):
    scores = []
    for idx, row in candidate_pairs.iterrows():
        col_a = row['source']
        col_b = row['target']
        
        # データ型が大きく異なる場合はスキップ（例: 数値と日付）
        # ここでは簡易的に、両方数値か、両方非数値かで判定
        is_num_a = pd.api.types.is_numeric_dtype(df_a[col_a])
        is_num_b = pd.api.types.is_numeric_dtype(df_b[col_b])
        
        content_score = 0.0
        
        if is_num_a and is_num_b:
            content_score = calculate_numeric_similarity(df_a[col_a], df_b[col_b])
        elif not is_num_a and not is_num_b:
            # Jaccard係数: (A ∩ B) / (A ∪ B)
            set_a = set(df_a[col_a].dropna().unique())
            set_b = set(df_b[col_b].dropna().unique())
            
            intersection = len(set_a.intersection(set_b))
            union = len(set_a.union(set_b))
            
            if union > 0:
                content_score = intersection / union
            
            # 特例: 性別のように値の表現が違う場合（M/F vs Male/Female）
            # ユニーク数が近く、かつ少ない場合はボーナスを与えるロジックを追加可能
            if len(set_a) < 5 and len(set_b) < 5 and abs(len(set_a) - len(set_b)) <= 1:
                content_score = max(content_score, 0.5) # 弱い紐付けとして救済
        
        scores.append(content_score)
    
    return scores

※実際のプロジェクトでは、MとMaleを同一視するための辞書を用いたり、値の分布ヒストグラム同士の距離を計算したりしますが、まずはこのシンプルなロジックで十分な効果が得られます。

5. 統合と判定：重み付けスコアリングによるマッピング候補の出力

最後に、名前ベースのスコアとコンテンツベースのスコアを統合し、人間が判断しやすいリストを出力します。

名前スコアと中身スコアの統合ロジック

# 全ペアに対してコンテンツスコアを計算
name_scores['content_score'] = calculate_content_similarity(df_source, df_target, name_scores)

# 統合スコア計算 (重み付けは調整可能)
# 名前の一致を重視しつつ、中身の一致で補強するイメージ
W_NAME = 0.6
W_CONTENT = 0.4

name_scores['final_score'] = (
    name_scores['name_score'] * W_NAME + 
    name_scores['content_score'] * W_CONTENT
)

# スコア順にソート
result_df = name_scores.sort_values('final_score', ascending=False)

「Human-in-the-loop」：確信度付きマッピングリストの生成

AIにすべてを決定させるのはリスクが伴います。スコアが高いものを「推奨」として提示し、最終的に人間が確認して判断できる形式にするのが、実務において安全で確実な方法です。

# 最もスコアが高いターゲットのみを抽出（1対1マッピングの前提）
best_matches = result_df.loc[result_df.groupby('source')['final_score'].idxmax()]

# 確信度によるフィルタリング
threshold = 0.5
print(f"--- Mapping Candidates (Threshold: {threshold}) ---")
for idx, row in best_matches.iterrows():
    if row['final_score'] >= threshold:
        print(f"[CONFIDENT] {row['source']} -> {row['target']} (Score: {row['final_score']:.2f})")
    else:
        print(f"[UNCERTAIN] {row['source']} -> ??? (Best: {row['target']}, Score: {row['final_score']:.2f})")

出力結果（例）:

• [CONFIDENT] c_id -> user_id (Score: 0.85)
• [CONFIDENT] c_mail -> email_address (Score: 0.78)
• [CONFIDENT] age_val -> age (Score: 0.92)
• [CONFIDENT] sex_kbn -> gender (Score: 0.65) ← 名前は似ていないが、中身（ユニーク数等）で救済された！

最終出力：変換用JSON/YAML設定ファイルの自動生成

この結果をCSVやJSONで出力し、エンジニアが手修正を加えたものを、実際のデータ処理パイプラインの設定ファイルとして読み込ませれば、マッピング作業は完了です。

# マッピング設定ファイルのひな形を出力
mapping_config = {}
for idx, row in best_matches[best_matches['final_score'] >= threshold].iterrows():
    mapping_config[row['source']] = row['target']

import json
print(json.dumps(mapping_config, indent=2))

まとめ：自作ツールの限界と、次のステップへの道筋

今回作成したスクリプトは、数千カラムの手動マッピングという過酷な作業から抜け出すための有効な手段となります。Pythonの基本的なライブラリだけで、ここまでロジックを透明化した状態で自動化を進めることが可能です。

しかし、実運用においては以下の点に注意が必要です。

• ドメイン知識の壁: status が 1 の意味が、移行元システムでは「有効」、移行先システムでは「削除済み」といった意味論的な違いまでは、このロジックでは検出できません。
• スケーラビリティ: カラム数が数万を超えると、総当たり計算のコストが無視できなくなります。その場合は、計算対象を絞り込む技術や最適化が必要になります。

自作スクリプトで効率化できるのは、あくまで「単純作業」の部分です。自動化によって浮いた時間を、データの意味を解釈したり、ビジネスロジックを検証したりする「人間にしかできない高度な判断」に活用することが、プロジェクト成功の鍵となります。

もし、さらに複雑なデータ統合や、非構造化データを含む高度なパイプライン構築が必要な場合は、より専門的なソリューションの導入を検討する時期かもしれません。多くの企業での導入事例を参考に、こうした自動化技術をどのように実務へ落とし込んでいるのか、確認してみることをおすすめします。