データエンジニアの使命は綺麗なパイプラインを作ること
鈴木 翔太 R&D Software Engineer
データの流れと質を管理し、
トレジャーデータの基盤を担う
OSSの魅力に惹かれ転職。ビックデータの基盤を担う、データエンジニアの仕事
――これまでの経歴を教えてください。
私はトレジャーデータで2社目になります。新卒から3年半勤めた前職では、自社サイトのビックデータ基盤まわりの開発や運用に関わっていました。基盤の立ち上げ当初から関わり、基盤の価値をアピールしていくために自分たちでデータ利活用のためのアプリケーションを開発したり、OSS（オープンソースソフトウェア）を積極的に導入を行っていいところを組み合わせながら運用していましたね。そのため、前職でもDigdagをはじめトレジャーデータが提供しているOSSを使わせてもらっていて、自分が気になったところにPR（プルリクエスト）を送ったりしていくうちに、自然とトレジャーデータに興味をもつようになりました。トレジャーデータはビックデータ事業のインフラになるものを作っていることに魅力を感じましたし、OSSはオープンソースだから誰もが自分たちで改善していける。そうした文化にも惹かれました。
――現在の業務内容について、お伺いできますか？
データチームで、データエンジニアとして仕事をしています。具体的には、データパイプラインの運用や改善ですね。ただし、既存の運用だけではなく、新しいパイプラインを構築するためにOSSを使ってワークフローの設計をしたりしています。最近で印象に残っているのは社内向けのデータパイプラインとして新たにDigdagを導入できたことです。データチームの特徴として社内にいながらにして、トレジャーデータのいち利用者であることがあげられますね。だからプロダクトにもフィードバックもしやすいと思います。
――そもそもデータエンジニアとはどのようなお仕事なのでしょうか。
データエンジニアの使命は綺麗なパイプラインを作ることだと考えています。「このデータは使われてなさそうだから消していいかな？」と思ったときに、そのデータのあらゆる行動を一から調べなければいけないのは良いパイプラインではありません。あるデータがどこからきて、どこに流れているのかを正確に把握できるようにすることが大切。以前と比較してデータの量が莫大に増えたからこそ生まれた職種だと思います。
データの正しさを担保するのもデータエンジニアの仕事だと考えています。アプリケーションを作るエンジニアは必ずしもデータの質を意識せずに、アプリケーションやソフトウェアそのものの改善にフォーカスすればいい。将来的には各チームに一人データエンジニアを配置して、データの質を監督できる体制が理想ですね。
チャレンジングかつ愚直に目の前の課題を改善していく
――やりがいを感じるのはどんな瞬間ですか？
データエンジニアの仕事は扱うデータの量がとにかく膨大です。たくさんのデータをどう扱うかを考えることはチャレンジングだし、やりがいがあります。また、トレジャーデータに入社してから、今まで触れてこなかったPython製のワークフローエンジンや分析ツール（Pandasなど）のデータ解析のツールを使い始めたのですが、そうした新しいことに挑戦しているときにもワクワクしますね。
――自身が仕事をする上で、一番大事にしているポリシーは何ですか？
一番大事にしているのは、改善する心を忘れないことです。目の前の課題を愚直に少しずつでも解いていくことで、改善のアイデアや次の課題も見えてくる。もうひとつ、私のバイブルに『UNIXという考え方』という本があるのですが、そのなかに「できるだけ早く試作する」という言葉があります。その本に感銘を受けて以来、いかに早く作業するかも心がけていますね。
データが好きで、向上心がある人と働きたい！
――今後の課題はなんでしょうか。
まだまだ属人化してしまっているシステムがあるので、しっかりと仕組み化していきたいですね。「この人しか知らない」という案件や、「過去に在籍していた人が作ったシステムだからコードを読まない分からない」といったことをゼロにしていきたいです。データチームは今年できた新しいチームで、現在は私を含めて2人しかおらず、人手が足りていません。一緒に取り組んでくれる人を募集しています。
――どんな人と一緒に働きたいですか？
向上心がある人と働きたいです。データが好きで、綺麗なパイプラインやデータの質を保つためのコアな部分を一緒に考えられる人だと嬉しいです。特にデータエンジニアはトレジャーデータを使いながら仕事をするので、DigdagやEmbulkといったトレジャーデータのプロダクトが好きな人も大歓迎！ なにより私がそうで、一番好きなOSSはDigdagです。学習コストも低いうえに、コードでワークフローを定義できるので、属人的にもなりにくいのがメリットです。ロゴがかわいいところも気に入っています（笑）。
――すごいDigdag愛ですね！ 最後に自分らしい時間や趣味を教えてください。
趣味はあらゆるものをスマート化することです。家電のリモコン機能や家の鍵など、全ての動作をスマートフォンやスマートスピーカーで完結できるようにすることにハマっています。