はじめに こんにちは!レバレジーズのテクノロジー戦略室でデータエンジニアをしている鈴木です。 普段、データエンジニアリング業務に勤しんでいる私ですが、先日、同じ部署のR&Dチームから、フリーテキストを構造化したいという相談を受け、Airflow, BigQueryML, Dataformを使ったアーキテクチャでいい感じのものができたので、紹介したいと思います。 概要 今回のお題をもう少し具体化すると、 フリーテキストに含まれているスキルを正規化したいというものでした。 例えば、以下のような案件情報があったとします。 データがこのままだと、検索や機械学習など二次利用するには、ちょっと使いにくいで…