データ基盤エンジニア is なに？

この記事は広島大学ITエンジニア Advent Calendar 2020 18日目です。

福岡でデータ基盤エンジニアをしております。

githubに草を生やさない日はあってもBigQueryにクエリに投げない日はないです。

データ基盤エンジニアというお仕事をしています。どんなお仕事か紹介してみようかと思います。

データ基盤エンジニアはなにをしているの?

データ分析とデータ可視化のために、自社サイトや社内システム、SNSも含めデータを収集しDWHと呼ばれる分析用データベースに保存、活用しやすいようにデータを整形するというお仕事です。このへんでお気づきの方はめざといと思いますが地味です。

楽しいの？

楽しいです。楽しい理由を書いていきます。

SQLが楽しい

僕はデータ基盤の中でもデータを加工する部分のお仕事をすることが多いです。データ加工はSQLで行います。SQLは楽しいです。最初はforもifも使えないしなんじゃこれ！って思っていましたが、集合指向でデータを操作する感覚が掴めてくるとなんか楽しくなってきます(2回目)。

SQLに興味を持った方はこちらから。将来的にデータサイエンティストやデータアナリストなどのデータ分析をやりたい方もデータ加工のスキルはあればあるだけ得だと思うので、SQLはいくらあっても損のないスキルだと思っています。SQLになれるとPythonのpandasもシンプルに書けるようになる気がします。

様々な技術に挑戦できる

上記にあげたSQLはもちろんのこと、日々他のシステムからDWHにデータを移すバッチ処理を行うサーバーをAWSなどで建てたり管理したりするお仕事もデータ基盤エンジニアのお仕事です。また、データアナリストと議論することも多いのでデータ分析の知見なども知ることができ、技術的に刺激的な日々を送ることができます。

幅広い業務を知れる

自分はデータアナリスト越しになることが多いですが、マーケティングチームが使うことの多いデータを扱うときは、マーケターがよく使う用語であったり指標であったりを知ることができます。(LTVとかCRMとかって聞いたことありますか？)

物流チームがよく扱うデータのときは特有の泥臭さを感じることもできます。

このように日々ITエンジニアをしているだけでは知れない業務領域をチラ見できて楽しいです。

 まとめ

自分がデータ基盤エンジニアという比較的めずらしいお仕事をしているので少しまとめてみました。web以外にもこんなITエンジニアもいるんだよーということで知っていただけたら幸いです。

最後に自分が去年初めたアドベントカレンダーが続いていて嬉しいかったです。ありがとうございます。