整合性・一貫性に拘る（データ・クレンジングの基礎）

（読了時間＝約 2 分）

世の中というのは個別事情がいろいろあるのでなかなか一様にいかないけれども、エクセルで分析したりシミュレーションしたりしようとする場合には、可能な限り規則的なデータセットを作ることが望ましい。

規則的というのはつまり、一貫性があり、整合性があるデータのこと！

例えば、ある会社の損益分析やシミュレーションを行う場合、基本的にはデータは事業部×決算期×科目の3つの軸で構成される。この時に、3軸のどの方向でも数字を集計・分解することができて、また、ある数値について経年変化や横比較が容易にできると、検討効率がぐんと上がる。

ところが、元データが最初からそうなっていることはほとんどない。このため多くの場合、元データの固有性をひきずったままとりあえずエクセルシートを作成し、そこから分析しましょうという話になりがちだ。でも、これだと検討が効果的に進まないことが多い。

初期段階で重要なのは、その後の検討のためのしっかりとした基盤を作ることだ。そのためには必要な作業の手間を惜しむべきではない。

1. データの統合

1-1. 欠如データの保管

例えば、ある事業部では2006年からデータがあるのに、別の事業部では2007年からしかデータがない。
データが完全に揃う期間のみで分析を行うことでも問題なければそうすればいいが、どうしても2006年からのデータで分析する必要があるのであれば、何らかの前提を置いて足りない数値を算出しておく。

いくつかの明細だけがわかっているというのもよくあるケースだが、その場合には必ず「その他」を算出しておく。部分集合の総和が全体集合になるような形を徹底して維持するのがポイントだ。

1-2. データ区分の統一

例えば、年度ごとに科目が異なるとか、組織変更があって事業部が統合されたり、など。
最大公約数的な区分や科目で問題ないならば、その単位で集計してデータセットを作成する。もし、細かいデータがどうしても必要なのであれば、足りないところを概算したり、ある前提を置いて数値算出する。

1-3. データ間の矛盾の解決

複数のデータソースを使う場合には、データの重複や不整合がよく起こるのでその解決を行う。
重複したデータは一方を削除する。区分が計上基準にズレがある場合には、何らかの基準に統一し、それに合っていないものは換算する。また、複数のデータの間で矛盾が生じている場合には、別途調査をしてどちらが正しいか（あるいは本検討の中でどちらを信じるか）を判断する。

精度と一貫性のバランスが大事

いろいろ前提を置いて数値を換算したりすれば検討の精度は落ちるが、一方でデータの一貫性・整合性が担保されるメリットもある。

この両者のバランスをどこで取るかということが、初期段階の作業における悩みどころだ。

しっかり考えて、精度と一貫性を高度にバランスさせることを目指したい。