「データ整備ってなに？」－マニュアルを使ってデータ整備に挑戦してみた－

2022年07月13日 15時00分更新

※新型コロナウイルスに関係する内容の可能性がある記事です。

　新型コロナウイルス感染症については、必ず1次情報として厚生労働省や首相官邸のウェブサイトなど公的機関で発表されている発生状況やQ&A、相談窓口の情報もご確認ください。またコロナワクチンに関する情報は首相官邸のウェブサイトをご確認ください。※非常時のため、すべての関連記事に本注意書きを一時的に出しています。

　東京都デジタルサービス局デジタルサービス推進部です。（旧次世代通信推進課note）。デジタルサービス局は、デジタルの力を活用した行政を総合的に推進し、都政のQOSを飛躍的に向上させるため、新たに設置した組織です。その中で、ネットワーク推進課は、東京の成長戦略やICT利活用の更なる推進のため、2019年（平成31年）4月に新たに設置された組織です。その中で、次世代通信推進課は、TOKYO Data Highwayの構築を推進し、いつでも、誰でも、どこでも「つながる東京」の実現に向け、取り組んでいます。　

　都民の皆様がどこにいてもサクサクつながる環境を構築するため、全国初となる5Gアンテナ基地局を搭載するスマートポールの試行設置や通信事業者が5Gアンテナ基地局を設置しやすいように、行政財産を開放するなど様々な取組みを展開しています。こうした日々の取組みを都民の皆様に情報発信していきます。

■前回の紹介記事はこちら

次世代ウェルネスソリューション構築支援事業についてご紹介します

※過去の連載記事はこちら：東京都デジタルサービス局デジタルサービス推進部ネットワーク推進室（旧次世代通信推進課note）連動企画

　みなさんこんにちは！都では、デジタルの力で東京のポテンシャルを引き出し、都民が質の高い生活を送ることができる「スマート東京」を実現するため、行政や民間の持つデータの集約・連携を可能にする東京データプラットフォーム（TDPF）構築に向けた取組を進めています。

　本記事では、プラットフォームに流れる、機械判読性の高い「利活用しやすいデータ」を、持続的に供給するためのデータ整備手法を検討し、モデル化する「データ整備事業」をご紹介します。

1. 解決したい課題

　昨年度、都内62区市町村が保有するデータの整備状況についてアンケート調査をしました。

　アンケートの結果、データ整備の重要性は理解しているけれど実際どのようにして整備するのかわからない、どんなデータに需要があるか感じにくいなどの意見が多くあり、なかなか着手が進まない状況が浮かび上がりました。

　そこで、具体的に何をすればいいか分からず消極的になってしまう問題を少しでも解決していくために「利活用しやすいデータ」にするための整備マニュアルの作成に取り組んでいます。

　まずは、このマニュアルを使ってみなさんにデータ整備について理解を深めてもらうことが目標です。

2. マニュアルを使ってデータ整備に挑戦してみた。

　実際にデータ整備するときの手順がわからないという声に応えるためにTDPFチームでは「利活用しやすいデータ」を作成、変換する作業プロセスを踏まえた整備手順をマニュアル化しました。

・データ整備マニュアル(A4カラー119ページ、32MB)

　このマニュアルでは、データが業務システム等で生成されてから活用するまでの流れを表にまとめ、それ以外のデータは形式別に説明することで、データ変換の実作業をわかりやすく図解しました。作業環境は一般的に利用されているMicrosoft Excelを想定しています。またデータとして取り込めない紙媒体やPDFに対応できるようにOCR（光学的文字認識）というスキャナやデジタルカメラによって読み取り、デジタルの文字コードに変換する技術を使った手順も紹介しています。

　下の図は、整備する上での基本ルールです。

　まずは”エクセルの乱れは心の乱れ”のつもりで身近なところから

行政データを使いやすく綺麗にする取り組み。産官学でデータ流通させやすいようにしたい。まずは”エクセルの乱れは心の乱れ”のつもりで身近なところからも。データ整備マニュアルは他自治体の皆さんの参考になる内容もあると思うので関係者のかたどうぞ。https://t.co/oU4PJXLdA9 https://t.co/vB4hzlkNCE pic.twitter.com/pY1NL56zGB
— 宮坂 / miyasaka (@miyasaka) March 31, 2022

　実際に、データ整備未経験の職員がExcelのPower Query（※）を使いデータ整備に挑戦してみました。

※Power Queryとは、Microsoft Excel の2016年以降のバージョンに搭載されている機能です。簡単に外部データとの連携や、連携してからのデータの加工（列の追加や抽出等）を自動化してくれます。

　今回は試しに新宿区がオープンデータ化している人口統計を使用しました。
（参照：https://www.city.shinjuku.lg.jp/kusei/file02_00025.html）

　データの読み込みはスムーズにできましたが、次にどうすればいいか迷ってしまいました。その時点でマニュアルにあった事前準備というのが必要なのかと思い至りました。作業以前に、最終的にどんな内容のデータにしたいのか、どの情報が欲しいのか作業する側が分かってないといけないと思いました。実際にデータ整備を始める前には、マニュアルの「データを準備する前に準備する」を参照してください。

　初手で行き詰ったので単純にPower Queryでどんなことができるのかにフォーカスしました。

　ダウンロードしたデータは、列が3つに折り返しているため、一列に並び変えてみます。町丁名を最初に並べてみようとしましたが数字が取り残されてしまって実数がバラバラになってしまいました。

　一旦元に戻してから再度マニュアルの該当しそうな作業項目を確認しながら繰り返し試しました。いろいろ試して気が付きましたが間違えても簡単に元に戻せて、元データに直接反映されないので気兼ねなく試せました。

　最終的にマニュアル内で記載されたところどころの作業を抜粋しながら行なった結果、「町丁名」から「計」までの4項目を選択して統合を3回繰り返し、ピポットテーブルの削除、不要な項目の削除など参照してなんとかきれいに一列に並びました。

　マニュアルが図式で作業内容が記載されているので自分のやりたい作業内容に近い部分を探しやすかったです。初挑戦でやりたい内容と沿っているか実際に変換してみないとわからない部分に手間取りましたが、図式通りに進めればひとつひとつの作業自体はスムーズにできました。使い慣れれば列の入れ替えや文字変換が簡単にできるので日常業務に取り入れられたらかなり便利だと思います。

　難しそうに見えるマニュアルですが、そこで諦めずデータ整備に触るところから始めてみて欲しいです。最初の一歩を踏み出す助けとしてぜひマニュアルを活用して頂けたら嬉しいです！

　今回の経験を踏まえてより実用的にわかりやすくなるように今後もマニュアルの改訂を続けていきます。マニュアルに対して疑問点や改善点などお気づきの点がありましたらデジタルサービス局へご連絡をお願い致します。

　データ整備マニュアルを含む昨年度のデータ整備事業の成果はこちらでご　確認いただけます。

・成果報告会　～行政データ、キレイにしてみました～
https://www.digitalservice.metro.tokyo.lg.jp/society5.0/data_maintenance.html