データクレンジングとは？名寄せとの違い、自動化の手法をご紹介！

企業で扱うデータが増えるに伴い、管理におけるエラーの確率が高まっていきます。 そこで必要になるのが「データクレンジング」です。

データクレンジングとは、正確な集計や分析ができるよう、データの品質を高めることです。蓄積したデータを経営判断やマーケティングなどに活かすには、データクレンジングが不可欠です。

今回は、データクレンジングと名寄せの違い、データクレンジングの進め方、そのためのツールなどについて解説し、後半ではデータクレンジングでマーケティングの成果が向上したシャノンの事例もご紹介します。

データクレンジングとは？名寄せとの違い

データクレンジングがなぜ必要か、具体的な方法、データクレンジングと名寄せの違いなどについて解説します。

データクレンジングとは

データクレンジングとは、データの不備や重複を修正して、データの品質を向上させることです。

現場で蓄積されたデータには、
・誤記、空欄がある
・最新のデータがどれかわからない
・1人の顧客が重複して登録されている
・フィールドが一致していない
・不要なデータが登録されている
といった不備があります。

データクレンジングとは、このようなデータの不備・間違いを検出し、修正・削除・統合することです。
データクリーニング、データスクラビングも同義です。

データクレンジングの修正すべきポイント

顧客データには、以下の表のようにいろいろな表記が混ざっていることがあります。

データクレンジングでは、以下のような点をチェックして修正します。

空欄や誤記のチェック

項目の一部が空欄や誤記となっている場合に修正します。また、データの前後に不要なスペースが入っている場合は削除します 。

全角・半角の統一

数字やアルファベットが全角、半角で登録されているデータを統一表記に変更します。全角と半角で入力された複数のデータが実は同一データという場合があります。

表記ゆれの修正

「株式会社」「㈱」や、「ABC」「エービーシー」のように、実際は同じデータに表記の違いがあることを表記ゆれと言います。これらも同じ表記に統一する必要があります。

最新情報で更新

データの形が見た目で整備されるだけでなく、最新であることも重要です。会社の住所移転や社名変更などが反映されているかについてもチェックします。

重複するデータの削除（名寄せ）

表記ゆれなどを修正・統一していくと、重複しているデータが明らかになるので、重複分を削除します。

データクレンジングと名寄せとの違い

データクレンジングと同じように、データを整備する作業として「名寄せ」があります。
名寄せは、同一データが複数登録されているとき、１つに統合することです。

顧客データの場合、展示会で受け取った名刺から入力したデータと、資料お問い合わせフォームから入力された見込み客データが重複してしまう例があります。

完全に同じ表記で入力されていればすぐに重複が見つかりますが、表記ゆれや全角・半角の違いなどにより異なるデータとして登録されていることが多いです。こうしたデータは、適切なデータクレンジングによって名寄せが可能になります。

「データクレンジング」と「名寄せ」を別の工程とするとらえ方もありますが、本記事では名寄せをデータクレンジングの一工程に含めて解説を進めていきます。

企業がかかえるデータ活用の課題

データにまつわる課題が多くの企業で生じています。顧客データの場合、たとえば以下があります。

各部門に別々にデータが蓄積されている

現在のように「データの一元管理」が重視される以前、マーケティング部門、営業部門、総務部門などで顧客や取引相手の情報が別々に管理され、いわゆる「データサイロ」状態になっていました。これらのデータは統合する必要があります。

データのメンテナンスができていない
顧客データのように日々更新されるデータの場合、定期的にデータクレンジングを実施するメンテナンス体制が必要です。メンテナンスが追いつかないと、過去の古い顧客データが残り続けるというようにデータの質が落ちてしまいます。

データを十分に活用できていない
最新のマーケティング施策や営業活動を推進していくために顧客データ分析が不可欠です。しかし、データに重複や欠損があると正しい分析結果が得られません。
また、SFAやCRMへの入力や運用で精いっぱいで、機能を十分に活用しきれていないという例もあるようです。

データクレンジングのメリット

顧客データを適切にデータクレンジングすることにより、以下のようなメリットがあります。

機会損失をなくす
先ほど例に挙げたような名寄せができていないデータの場合、正しい顧客情報を理解することができません。たとえば、取引実績が高く追加購入の意欲も高い顧客のデータが見つけられず、アップセルの機会を損失してしまうといった事例が考えられます。データクレンジングにより機会損失を減らすことができます。

顧客ロイヤリティーを高める
もしある顧客にメールマガジンが重複して届いていたら、受け取った相手は会社のデータマネジメントに不備があるかもしれないと感じてしまうでしょう。一方、顧客がメルマガで案内されたウェビナーに申し込みをしたとき、直後にカスタマーサクセスから連絡があったとしたら、会社の信頼度はアップします。データクレンジングにより可能となる適切なフォローで顧客ロイヤリティーを高めることができます。

生産性の向上
問い合わせメールの相手は既存顧客か新規か、顧客の取引履歴はどうなっているかなどについて、手間なくスピーディーに情報を取得するためには、データが整備されている必要があります。

正確な分析ができる
次期の予算、顧客のペルソナ、今後営業部門がターゲットとすべき業種や企業規模などを決定するために顧客分析が重要です。正確な結果を得るためにはデータクレンジングが欠かせません。

DX推進と経営判断への貢献
経営者が将来予測や新規事業の意思決定などをするために、各種の調査や分析を行います。顧客データ分析もその一つであり、適切なデータクレンジングが経営判断を助けます。DXの推進にもデータクレンジングとデータの活用が欠かせません。

参考：DX(デジタルトランスフォーメーション)とは？意味やメリット 、最新事情を解説

以上のように、データクレンジングには多くのメリットがあります。これらと反対に、データクレンジングが不十分だったときのデメリットは、機会損失、正確な分析結果が得られない、生産性の低下などが挙げられます。

マーケティングや営業・販売の現場が今後ますますデータドリブンになっていくことは確実で、データクレンジングはきわめて重要な作業です。

参考：データドリブンとは？用語やメリット、マーケティング方法を事例付き で解説！

データクレンジングの進め方と自動化できるツール

企業の現場でデータクレンジングをどのように進めていくか、自動化ツールで何ができるのかなどを紹介します。

データ品質の尺度　「精度、鮮度、粒度」を理解しよう

質が高いデータとはどんなデータでしょうか。「精度・鮮度・粒度」という３つの指標が役に立ちます。

• 精度…データの正確さ
• 鮮度…データの新しさ
• 粒度…データの細かさが同じくらいか

精度と鮮度はわかりやすいですが、粒度とはどんなことでしょうか。粒度とはデータの細かさがそろっているかの指標です。たとえば企業の業種データで、X社は「製造業」、Y社は「食品製造業」となっていたとしたら、X社のデータのほうがY社より粗く、粒度がそろっていないということになります。

データの品質を上げることは、データ活用のために欠かせません。
データの精度、鮮度、粒度を上げるためには、データクレンジングのほか、データ入力ルールや項目の統一、古いデータの定期的な更新なども必要です。

このような作業によりデータの品質を保つことを、データマネジメントといいます。

データクレンジングの手順

データクレンジングは以下のような手順で実施します。

1. 問題があるデータのパターンの抽出
   サンプル調査により、データのなかにどんな不備があるかを抽出します。同じパターンの不備があればリストアップします。
   たとえば、「電話番号の空欄がいくつかある」「数字の全角と半角の表記ゆれがある」「合併前の市区町村表記のため名寄せができていない」などです。
2. 修正ルールの決定
   表記ゆれの統一、電話番号や郵便番号は企業データベースで調べて補完、などの修正ルールを決定します。
3. データの修正
   ルールに基づき、データを修正します。修正の段階ではルールにないパターンの間違いも見つかるので、合わせて修正します。
4. 重複データの統合（名寄せ）、不要なデータの削除
   重複しているデータは名寄せして統合します。一方、「人物名だけ」のようなデータは不要とみなし、削除します。

以上がデータクレンジングの大まかな流れです。

細かい工程を重ねるので、目視や手入力で実施すると相当な作業になってしまいます。そこで、デジタルツールによる自動化が有効です。デジタルツールを活用すれば、一定のルールに従ったデータクレンジングを自動化でき、入力ミスも減らせます。

データクレンジングのためのツール

データクレンジングを効率よく行うためには、デジタルツールを活用します。以下のような選択肢があります。

Excel

Excelの置換機能、VLOOKUP、CONCATENATEなどの関数を活用してデータクレンジングを行うことができます。Excelでは正確に細かく修正ができますが手間がかかり、かつ担当者にはExcelのスキルも必要です。

CRM/SFA

顧客管理のためにCRM、SFAを導入している企業は、同ツールのデータクレンジング機能を活用できます。

専用ツール

データクレンジングに特化したツールもあります。「FORCAS.」、「uSonar」などが代表例です。

マーケティングオートメーション（MA）

MAにもデータクレンジング機能が搭載されています。BtoBのマーケティング活動では見込み客を長期にわたってフォローする必要があり、さまざまな施策を行う前提として見込み客のデータ品質を保つことが不可欠です。

マーケティングチームでデータを管理する場合、自動クレンジング機能に加え、顧客管理から分析まで一気通貫が可能なMAツールを導入することがおすすめです。

シャノンMAの例でみるデータクレンジングの自動化

シャノンのMA「SHANON MARKETING PLATFORM」では、データクレンジングに必要な工程の大部分を自動化できます。

実施にあたり以下のようなルールを設定します。

• 法人格（株式会社、㈱など）の表記統一
• 半角/全角、カタカナ/アルファベットの表記統一

さらに自社独自のカスタムルールを追加することもできます。
設定された表記ルールにしたがって、日々追加されるリード情報を自動で統一します。

このほか、「役職ランク付与」「職種付与」のように、マーケティング施策に活用したい情報をデータに付与できます。

シャノンMAのクレンジング機能について、くわしくは機能紹介 ページをご覧ください。

自動化しても、人によるチェックと修正が必要

ツールによる自動化でデータを整える作業がかなり効率化されますが、人によるチェックがゼロになるわけではありません。

文字変換の間違いや文字化けなどの単純な入力ミス、入力もれなどルール外の不備を人の目でチェックして修正する必要があります。

また、社名変更や企業の部署移転などがあれば、随時追加します。自動で修正された名寄せなどの履歴も人が確認します。

データのチェックは早めの対応が望ましいです。入力もれなどに早く気づけば営業担当者などに確認がとれますが、時間が経ってしまうと正しい情報が得られなくなってしまう可能性があります。

自動化が可能な部分はツールで効率化し、さらに人によるデータの定期的なメンテナンスを行うことにより、データの品質を保つことができます。

データクレンジングで実現できることと、シャノンの実践例

最後に、データクレンジングによりマーケティングの成果が向上したシャノンの事例をご紹介します。

名寄せにより、マーケティングの成果が向上

MAにおいて「自動名寄せ」はとても重要です。適切な名寄せがされないと、マーケティング活動の成果が上がらないだけでなく、機会損失をもたらします。

ホットリードを正しく抽出
Webの資料請求からから登録されたリードと名刺データで獲得したリードが別のリードデータになっていた場合、名寄せされてはじめて「資料請求をして、その後展示会場で名刺交換をした」というホットなリードを抽出することができます。

重複メール配信をなくす
ひとりの顧客にメールマガジンが複数届いていたら、配信停止率が上がってしまうでしょう。
会社名の表記ゆれのほか、渡辺様と渡邊様、など複数の宛名で配信されるのも避けたい事態です。One to Oneマーケティングが重視されているのに、基本的な「顧客理解」ができていない企業とみなされてしまいます。

これはマーケティング部門の例ですが、新規にデータを入力する可能性が高い営業部門においてもデータクレンジングが重要です。名寄せが不十分だと、ある営業担当者が商談を進めている顧客のデータがもうひとつ存在し、他の営業担当者がまだアプローチしていない対象だと誤認識してメールを出してしまうといったケースが考えられます。

営業名刺とマーケティングデータを集約して成果を上げる

データクレンジングにより営業部門の名刺とマーケティング部門のリードが正しく集約できていれば、さらに細かい施策が可能になります。

以下の図②で、「担当営業が訪問したことがある・ない」という軸と、「商材AのWebページに訪問したことがある・ない」という軸を使って4つのセグメントに分類しています。

たとえば、担当営業が訪問したことがあり、Webサイトを閲覧したことがある「セグメント02」の顧客には、「事例訴求をしてからスペック訴求のメッセージを送信する」というように、顧客の状態に沿った施策が可能です。

社内のデータを一元化して、DXを推進

企業には長年の顧客データをはじめとする多くのデータが蓄積され、企業に固有の知的財産として保存されています。しかし保存するだけでなく、最大限に活用することが求められています。

各部門の現場でデータドリブンを実現
マーケティングや営業だけでなく管理部門もデータドリブンへと急速に変革が進んでいます。

マーケティングと営業など、部門間の連携
マーケティング部門と営業部門、カスタマーサクセス部門などの部門間において、正確でスピーディーなデータ連携が売上拡大をもたらします。

データの一元化により、高度な分析が可能
企業内のデータを統合し一元管理することにより各種の高度なデータ分析が可能になります。企業経営にとって重要な情報です。

以上のようなデータの高度活用は、企業のDX推進にも欠かせません。適切なデータクレンジングは今後ますます欠かせないものとなるでしょう。

まとめ

本稿のポイントは以下の3点です。

1. データクレンジングとは、データの不備を修正して、データの品質を向上させることです。同じ人が複数登録されているのを1つに統合する「名寄せ」も重要です。
2. MAやCRM、専用ツールのデータクレンジング自動化機能により、データクレンジングの業務を効率化できます。ただし人のチェックも必要です。
3. データクレンジングはマーケティング・営業の成果向上や部門間連携に欠かせません。企業DXにとっても重要です。

シャノンは、リードの獲得から買う気の引き上げまで実施できるマーケティングオートメーションを提供しています。
本日でご紹介した「データクレンジング」以外にも多くの機能を揃えておりますので、情報収集されているかたはぜひ資料をダウンロードください。