【データエンジニア】クラウド基盤担当／新基盤のストレージの開発・運用／フルリモート可／※ミドル～ハイクラス求人

自社クラウドサービスの『cybozu.com』では、OSSや自社製ミドルウェアを利用して、ペタバイトスケールのユーザーデータを扱っています。 近年では、ユーザー数の増加やユーザーの利用方法の多様化によって、データ容量が増大し必要な性能も向上。 それらの要求を満たすためには、より管理コストが低く、スケーラビリティがあり、性能が高いストレージが必要です。 そのため、新基盤のストレージの開発・運用および社内の利用者への教育を行うメンバーを募集しています。

＜具体的な仕事内容＞
■ストレージチーム
・Ceph／Rookによるストレージインフラの開発／運用
『TopoLVM』
https://github.com/topolvm/topolvm/

・自社製Kubernetes CSI pluginの開発
『TopoLVM』

・既存インフラからの移行の設計／サポート

■DBREチーム
・『cybozu.com』のサービスで利用されているデータベースクラスタの運用
・データベースクラスタに対するモニタリングとSLOの設計／開発
・大量のデータベースインスタンスを管理／運用するためのデプロイパイプラインの開発
・大量のデータベースインスタンスに『cybozu.com』のデータを分散配置するのに使われるマイクロサービスの開発
・MySQLのバージョンアップや新機能の検証／導入

■ログ基盤チーム
・データ活用を支えるためのログ収集基盤／分析基盤の運用
・Ansibleを用いたログ収集基盤の構成管理

【仕事の特色】
＜配属予定チーム＞
データストアチームでは主に扱っているミドルウェアに応じて、3つのサブチームに分かれて活動しています。

■ストレージチーム
ストレージチームは、オンプレミスのKubernetesクラスタ上に、Rook・Cephおよび自社開発OSSのCSI pluginなどを用いてストレージを構築。利用しているOSSに関しては、単なる利用だけではなく、積極的にIssue登録やPull requestを行い、また、Cephを利用した『cybozu.com』アプリケーションが利用するバックエンドストレージサービスの開発も行っています。今後はアプリケーションチームと協力し、既存のストレージインフラから新基盤へ移行を進めていかれる予定です。

■DBREチーム
DBREチームでは『cybozu.com』を支える大規模なデータベースクラスタの運用と、データベースの活用を支えるさまざまな周辺コンポーネントの開発・運用に取り組んでいます。今後はデータベースの新基盤への移行にも取り組んでいかれる予定です。新基盤では、自社開発したKubernetes用MySQLオペレータ『MOCO』を活用してMySQLクラスタを構築し、自動運用を行っていきます。

■ログ基盤チーム
自社クラウドサービスは独自のデータセンターで稼働しているため、Webアプリケーションの状態から物理機材まで、多種多様なログの管理が必要です。VM物理機材を合わせると数千を超えるホストがサービスを提供しており、ログの量は日々増加していきます。これらのログを活用するために、全てのホストからログを収集、保存、そして解析するデータプラットフォームを運用。また、データソースや、データ分析に関する機能を拡充していくことで、より効果的にログが活用できるデータプラットフォームを目指しています。

※各チームの活動内容については、こちらも参考にしてください
■ストレージチーム
・「Storage」カテゴリの記事一覧 | Cybozu inside Out
https://blog.cybozu.io/archive/category/Storage

・Capacity-aware Dynamic Volume Provisioning For LVM Local Storage - Kazuhito Matsuda & Satoru Takeuchi, Cybozu | KubeCon + CloudNativeCon Europe 2020
https://kccnceu20.sched.com/event/ZerD

・Optimizing Storage Assignment via Pod Scheduling Under Disturbance Factors - Kenji Morimoto, Cybozu, Inc. | KubeCon + CloudNativeCon North America 2020
https://kccncna20.sched.com/event/ekFB

・Rook: Intro and Ceph Deep Dive - Travis Nielsen, Sebastien Han & Blaine Gardner, Red Hat; Satoru Takeuchi, Cybozu, Inc | KubeCon + CloudNative North America 2021
https://kccncna2021.sched.com/event/lV6w

・Kubernetes実践トラブルシューティング | Speaker Deck
https://speakerdeck.com/sat/kubernetesshi-jian-toraburusiyuteingu

■DBREチーム
・MySQL 8.0 への移行が完了しました ～さようなら全ての MySQL 5.7～ | Cybozu inside Out
https://blog.cybozu.io/entry/2021/05/24/175000

・MySQLのレプリケーションから10年間逃げてきた我々が学んだこと8選 | Cybozu inside Out
https://blog.cybozu.io/entry/2020/10/26/173000

・MySQLのクラッシュからの復旧を ちょっとだけ速くする裏技/Techniques to make mysql crash recovery a bit faster | Speaker Deck
https://speakerdeck.com/cybozuinsideout/techniques-to-make-mysql-crash-recovery-a-bit-faster

・MOCOで始めるMySQL on Kubernetes | Speaker Deck
https://speakerdeck.com/sft8192/moco-deshi-meru-mysql-on-kubernetes/

■ログ基盤チーム
・サイボウズのログ基盤 2018年版 | Cybozu Inside Out
https://blog.cybozu.io/entry/2018/03/19/080000

・Cloudera Sessions Japan | Cloudera
https://jp.cloudera.com/about/news-and-blogs/events/cloudera-sessions-japan.html

＜開発環境＞
■ストレージチーム
・Go言語
・Python
・C++
■DBRE チーム
・Go言語
・Python
■ログ基盤チーム
・Go言語
・Python
・Java

【仕事内容（変更の範囲）】
会社の定める業務 ※本人の希望を聞かずに異動・転勤させることはありません。