企業ではビッグデータの有効活用が重要視されています。そこで「データクレンジング」という課題に直面する企業が少なくありません。
データクレンジングとは、正確な集計や分析ができるよう、データの品質を高めることです。蓄積したデータを経営判断やマーケティングなどの活動に活かすには、データクレンジングが不可欠です。
今回は、主に顧客データを例にとりながら、データクレンジングの進め方、そこで何を実現できるのか、などについて解説し、MAツールにおけるデータクレンジングの具体例もご紹介します。
データクレンジングとは？ 解決すべき課題は何か
データクレンジングがなぜ必要か、どう進めていけばいいのかについて解説します。
データクレンジングとは
「データクレンジング」とは何でしょうか。
顧客データの例で考えればわかるように、現場で蓄積されたデータには
- 一つの顧客が複数の顧客として登録されている
- 最新のデータがどれかわからない
- フィールドが一致していない
- 不要なデータが登録されている
といった不備があります。
データクレンジングとは、このようなデータの不備・間違いを検出し、修正・削除・統合することです。
データクリーニング、データスクラビングも同義です。
また、「名寄せ」は、同一データが複数登録されているとき、１つに統合することです。
たとえば以下のように、株式会社と㈱などの表記ゆれがあった場合、名寄せ前はすべて別々の顧客となっているのを１つに統合します。
データクレンジングと「名寄せ」を別の工程とするとらえ方もありますが、本記事ではデータクレンジングの一工程として名寄せを含むこととします。
企業がかかえるデータ活用の課題
データにまつわる課題が多くの企業で生じています。顧客データの場合、たとえば以下があります。
各部門に別々にデータが蓄積されている
現在のように「データの一元管理」が重視される以前、マーケティング部門、営業部門、総務部門などで顧客や取引相手の情報が別々に管理されたいわゆる「データサイロ」状態になっていました。
しかし今は、企業内の顧客データを集約させて一元管理することがデータ活用の前提です。
しかしデータの統合が必要ということはわかっていても、技術やリソースの不足により思うように進まないという企業も少なくありません。
データのメンテナンスができていない
顧客データのように日々更新されるデータの場合、定期的にデータクレンジングを実施するメンテナンス体制が必要です。
リソース不足などによりメンテナンスが追いつかないと、データの質が落ちてしまいます。
データを十分に活用できていない
最新のマーケティング施策や営業活動を推進していくために顧客データ分析が不可欠です。
しかし、データに重複や欠損があると正しい分析結果が得られません。「顧客データの40％は活用できる状態になっていない 」という指摘もあります。
また、SFAやCRMへの入力や運用で精いっぱいで、機能を十分に活用しきれていないという例もあるようです。
データクレンジングのメリット
顧客データを適切にデータクレンジングすることにより、以下のようなメリットがあります。
1. 機会損失をなくす
先ほど例に挙げたような名寄せができていないデータの場合、正しく顧客を理解することができません。
たとえば、取引実績が高く追加購入の意欲も高い顧客のデータが見つけられず、アップセルの機会を損失してしまうといった事例が考えられます。
データクレンジングにより機会損失を減らすことができます。
2. 顧客ロイヤリティーを高める
もしある顧客にメールマガジンが重複して届いていたら、受け取った相手は会社のデータマネジメントに不備があるかもしれないと感じてしまうでしょう。
一方、メルマガで案内されたウェビナーへの申し込みをしたら、直後に営業担当者あるいはカスタマーサクセスから連絡があったとしたら、会社の信頼度はアップします。
データクレンジングにより可能となる適切なフォローで顧客ロイヤリティーを高めることができます。
3. 生産性の向上
問い合わせメールの相手は既存顧客か新規か、クレームの入電があった相手の取引履歴はどうなっているかなどについて、手間なくスピーディーに情報を取得するためには、データが整備されている必要があります。
4. 正確な分析ができる
次期の予算、顧客のペルソナ、今後営業部門がターゲットとすべき業種や企業規模などを決定するために、顧客分析が重要です。正確な結果を得るためにはデータクレンジングが欠かせません。
5. 経営判断への貢献
経営者が将来予測や新規事業の意思決定などをするために、各種の調査や分析を行います。顧客データ分析もその一つであり、適切なデータクレンジングが経営判断を助けます。
データクレンジングには多くのメリットがあり、逆に考えればデータクレンジングが不十分だと機会損失、正確な分析結果が得られない、生産性の低下などのデメリットが発生します。
マーケティングや営業の現場は今後ますますデータドリブンになっていくことは確実で、データクレンジングはきわめて重要な作業です。
データクレンジングの進め方と自動化できるツール
企業の現場でデータクレンジングをどのように進めていくか、自動化ツールで何ができるのかなどを紹介します。
質の高いデータとは？
質が高いデータとはどんなデータでしょうか。「精度・鮮度・粒度」という３つの指標が役に立ちます。
- 精度…データの正確さ
- 鮮度…データの新しさ
- 粒度…データの細かさが同じくらいか
精度と鮮度はわかりやすいですが、粒度とはどんなことでしょうか。
粒度とはデータの細かさがそろっているかの指標です。
たとえば企業の業種データで、X社は「製造業」、Y社は「食品製造業」となっていたとしたら、粒度がそろっていないということになります。
データクレンジングは、データの質として欠かせない「精度」を上げる作業となります。
データクレンジングの手順
データクレンジングは以下のような手順で実施します。
1. 問題があるデータのパターンの抽出
サンプル調査により、データのなかにどんな不備があるかを抽出します。
同じパターンの不備があればリストアップします。
たとえば、「電話番号の空欄がいくつかある」「数字の全角と半角の表記ゆれがある」「合併前の市区町村表記のため名寄せができていない」などです。
2. 修正ルールの決定
表記のゆれは何に統一するか、電話番号や郵便番号は企業データベースで調べて補完する、などの修正ルールを決定します。
3. データの修正
ルールに基づき、データを修正します。修正の段階ではルールにないパターンの間違いも見つかるので、合わせて修正します。
4. 重複データの統合（名寄せ）、不要なデータの削除
重複しているデータは名寄せして統合します。一方、「人物名だけ」のようなデータは不要とみなし、削除します。
以上がデータクレンジングの大まかな流れです。
目視や手入力で実施すると相当な作業になってしまいます。そこで、デジタルツールによる自動化が有効です。
デジタルツールを活用すれば、一定のルールに従ったデータクレンジングを自動化でき、入力スも減らせます。
MAの例でみるデータクレンジングの自動化
デジタルツールにより、データクレンジングの大部分を自動化できます。
たとえば、シャノンのMA「シャノンマーケティングプラットフォーム」の場合、冒頭で紹介したような「法人格の統一」「半角/全角の統一」などが自動化され、さらに自社独自のカスタムルールを追加できます。
「役職ランク付与」「職種付与」はマーケティング施策に活用できます。
また、入力を制御する機能も備えています。
データ入力時、必須入力項目の未入力があったり、E-mailアドレスや郵便番号の書式が違っているとき、登録ができないよう設定できます。
以下は設定の一例です。
| 項目名 | 必須入力項目 | エラー種別 |
| E-mailアドレス | 必須 | E-mailアドレスのみ |
| 氏名 | 必須 | |
| 会社名 | 必須 | |
| 郵便番号 | 必須 | 半角数字のみ |
他のMA、SFAやCRMでもデータクレンジング自動化機能を備えているか、拡張機能として追加できるようになっています。
ただし、基本機能に含まれているかいないか、どこまで詳細にクレンジングできるかはツールによって違うので確認が必要です。
ほかに、データクレンジングだけを行う専用ツールも提供されています。
自動化しても、人によるチェックと修正が必要
ツールによる自動化でデータを整える作業がかなり効率化されますが、人によるチェックがゼロになるわけではありません。
文字変換の間違いや文字化けなどの単純な入力ミス、入力もれなどルール外の不備を人の目でチェックして修正する必要があります。
また、社名変更や企業の部署移転などがあれば、随時追加します。さらに、自動で修正された名寄せなどの履歴も人が確認します。
データのチェックは早めの対応が望ましいです。入力もれなどに早く気づけば営業担当者などに確認がとれますが、時間が経ってしまうと正しい情報が得られなくなってしまう可能性があります。
データの品質を保つため、人によるデータの定期的なメンテナンスが必要です。
データクレンジングで実現できることと、シャノンの実践例
最後に、データクレンジングで何が実現できるのかについて考えます。
名寄せにより、マーケティングの成果が向上
MAにおいて「自動名寄せ」はとても重要です。適切な名寄せがされないと、マーケティング活動の成果が上がらないだけでなく、機会損失をもたらします。
ホットリードを正しく抽出
Webの資料請求からから登録されたリードと名刺データで獲得したリードが別のリードデータになっていた場合、名寄せされてはじめて「資料請求をして、その後展示会場で名刺交換をした」というホットなリードを抽出することができます。
重複メール配信をなくす
ひとりの顧客にメールマガジンが複数届いていたら、よい印象にはなりません。
会社名の表記ゆれのほか、渡辺様と渡邊様、など複数の宛先で配信されるのも避けたい事態です。
1to1マーケティングが重視されているのに、基本的な「顧客理解」ができていない企業とみなされてしまいます。
これはマーケティング部門の例ですが、新規にデータを入力する可能性が高い営業部門においてもデータクレンジングが重要です。
名寄せが不十分だと、ある営業担当者が商談を進めている顧客のデータがもうひとつ存在し、他の営業担当者がまだアプローチしていない対象だと誤認識してメールを出してしまうといったケースが考えられます。
社内のデータを一元化して、DXを推進
企業には長年の顧客データをはじめとする多くのデータが蓄積され、企業に固有の知的財産として保存されています。しかし保存するだけでなく、十分に活用することが求められています。
各部門の現場でデータドリブンを実現
マーケティングや営業だけでなく管理部門もデータドリブンへと急速に変革が進んでいます。
マーケティングと営業など、部門間の連携
マーケティング部門と営業部門、カスタマーサクセス部門などの部門間において、正確でスピーディーなデータ連携が売上拡大をもたらします。
データの一元化により、高度な分析が可能
企業内のデータを統合し一元管理することにより各種の高度なデータ分析が可能になります。企業経営にとって重要な情報です。
以上のようなデータの高度活用は、企業のDX推進に欠かせません。適切なデータクレンジングは今後ますます欠かせないものとなるでしょう。
まとめ
本稿のポイントは以下の3点です。
1. データクレンジングとは、データの不備を修正して整えることです。同じ人が複数登録されていまっているのを統合する「名寄せ」も重要です。
2. MA/SFA/CRMや専用ツールのデータクレンジング自動化機能により、データクレンジングの業務を効率化できます。ただし人のチェックも必要です。
3. データクレンジングはマーケティング・営業の成果向上や部門間連携に欠かせません。企業DXにとっても重要です。
