株式会社スーパーソフトウエア

【データ基盤エンジニア】大規模データ処理最適化/Databricks×Azure/リモート併用

  • 土日祝日休み
  • 年間休日120日以上
  • 残業少なめ
  • 服装自由
  • フレックス制
  • BtoC向け
年収
700~1,000万円
働き方
一部リモート
最寄り駅
恵比寿駅 (東京都)
職種
データサイエンティスト
言語
Java PHP Python SQL C# Scala TypeScript
DB
SQL Server
クラウド
AWS Windows Azure

仕事内容について

■仕事内容
トラック製造販売メーカー向け
商用車ロジスティクス可視化基盤のデータ処理最適化プロジェクトにて、
Databricksを中心としたデータ処理基盤のパフォーマンス改善をご担当いただきます。

車両から発信される膨大なGPSログをリアルタイムに近い形で可視化するため、
既存の大規模データ処理基盤に対するチューニング・改善実装が主なミッションとなります。

既存メンバーとチームを組み、技術検討・実装・改善提案を行いながらプロジェクトを推進していただく想定です。

― 既存データ処理基盤の調査・分析
― Databricks(PySpark/Scala)を用いた処理の最適化
― 大規模データ処理ロジックの実装・改修
― Azureデータ基盤全体のパフォーマンス改善
― リファクタリング、保守・構成管理

【仕事の特色】
■プロジェクト例
商用車(トラック)の輸送状況をリアルタイムに可視化することで、
物流の効率化・業務改善を支える社会的意義の高いデータ基盤の構築・改善に携わっていただきます。

■主な使用技術
・Databricks(PySpark、Scala)
・Apache Spark
・Azure
(Data Factory、SQL Server、SQL Database、Databricks、Functions、Azure DevOps など)

社内では他にも
Java、C#、PHP(Laravel)、TypeScript、AWS など幅広い技術を利用しており、
データ基盤以外の技術に触れる機会もあります。
新しい技術を学びながらスキルの幅を広げられる環境です。

■仕事を進める上で重要となるスキル
大量データを前提とした処理設計や、
「なぜ遅いのか」「どこを改善すべきか」を技術的に考え、
最適な解決策を導き出す力を身につけていくことを重視しています。

すべてを最初から完璧に求めるわけではなく、
プロジェクトを通してスキルを高めていける環境です。

■目指せるキャリアパス(5年後、10年後のキャリア)
① データ基盤スペシャリスト/アーキテクト
 大規模データ処理・クラウドデータ基盤の設計・最適化を担う技術スペシャリストとして活躍できます。

② テックリード/技術責任者
 プロジェクト全体の技術方針策定やレビューを担い、技術面からチームを牽引するポジションを目指せます。

③ PM/PMO
 データ基盤案件の進行管理や品質管理、技術とビジネスの橋渡し役としてプロジェクトマネジメントに関わるキャリアも選択可能です。

【仕事内容(変更の範囲)】
当社業務全般

必須条件

技術スキル
•Databricks上でのPySparkを用いた開発・運用の実務経験(データ加工、バッチ処理、ジョブ実装・運用 等)
•Sparkを用いた大規模データ処理の実務経験(数千万行規模以上のデータを扱った経験)
•Azureでのデータ基盤に関わった経験(設計、開発、運用のいずれか)

実務遂行能
•既存のデータ処理ロジックやジョブを理解し、改善・修正できること
•チーム内でのレビューや情報共有を通じて開発を進めた経験

・技術力の高い仲間たちと働きたい方
・チームの雰囲気を大切にし、メンバーと一緒に成果を出せる方
・新しい技術・業務領域にも積極的に挑戦したい方
・現場で手を動かしながらリーダーシップを発揮したい方
・“人に親切であること”を大切にできる方
・会社を大きくしていきたいという熱い気持ちがある方

歓迎要件

※すべてを満たす必要はありません。いずれかのご経験をお持ちの方を歓迎します。

Spark/Databricks領域
•Spark/Databricksを用いたデータ処理の設計・実装・改善経験(PySpark、Scala、クラスタ構造理解、パフォーマンスチューニング、数億行規模データ処理 等)
•Sparkジョブの実行特性を踏まえた処理最適化の経験(Partition設計、Shuffle削減、Join戦略、キャッシュ活用 等)

クラウド/Azureデータ基盤
•Azure上でのデータ基盤サービス利用経験(Data Factory、Databricks、SQL Server、SQL Database、Functions 等)
•Azureデータ基盤の構築・運用・改善に携わった経験

インフラ・基盤理解
•Azureインフラに関する基礎的な知識(VNet、Private Endpoint、Private Link、Load Balancer 等)
•クラウド環境におけるセキュリティやネットワーク分離への理解

データベース/クエリ最適化
•T-SQLを用いたクエリチューニング経験(複雑なロジック実装、SQL文・テーブル設計の最適化)
•大規模データを前提としたデータモデリング・性能設計の経験

開発・運用スキル
•Python、PowerShell 等を用いたスクリプティング経験
•GitHub等を用いたソースコード管理・チーム開発経験
•CI/CDやDevOpsの考え方を取り入れた開発・運用経験

想定年収

700~1,000万円 (給与形態:月給)

■賞与・昇給
賞与:有り
※基本的に単価連動制です。
昇給:有り

■募集職種の年収例

※経験・能力を考慮のうえ、決定します

無料

直接質問しづらいことお任せください!

※企業に問い合わせ内容が伝わることはありません。

知りたい内容をお選びください(複数選択可)

募集要項

募集職・職位
  • データサイエンティスト
業界
  • IT・通信
  • ソフトウェア/スマートフォンアプリ
  • サービス
  • 人材・教育
雇用形態

正社員

予定勤務地
東京オフィス(東京都)、客先常駐(都内23区,都内近郊)※選考の過程で配属地についてご相談をさせていただく予定です。
予定勤務地
(変更の範囲)
会社の定める場所
就業時間
10:00~19:00  フレックスタイム制 コアタイム12:00~15:00
平均残業時間
10時間未満
年間休日
127日
服装
私服
リモート
ワーク

一部リモート

現在は8割リモート併用

フレックス
あり
福利厚生

■保険制度
健康保険 / 厚生年金 / 雇用保険 / 労災保険 / 年末年始 / 夏季休暇 / 有給休暇

■制度
・書籍購入補助(技術書、ビジネス書など)
・ランクごとに定められたクライテリアによる評価制度
※7つの各ランクごとに定量・定性的に設定された目標に対し評価。3か月に一度、直属である技術部の上司と評価面談を行います。計4回分の評価内容を元に昇給・昇格が確定します。

試用期間
3ヶ月
休日休暇

■休日制度
・完全週休2日制(土日休み)
・祝日
・夏季
・年末年始
・特別休暇
・設立記念日((6/1) 他
・産休、育休取得:100%

■休暇備考
・長期連休に有給を組み合わせるのもOK!

手当

・資格手当制度(該当の資格取得で最大4万円の手当を毎月永続的に付与)

選考場所

オンライン

検査・試験

実施される可能性がございます

提出書類

履歴書、職務経歴書

さらに表示する

株式会社スーパーソフトウエアが募集している求人・転職・採用情報

さらに表示する

株式会社スーパーソフトウエアについて

設立年月日
1983年06月01日
代表者
代表取締役社長 船木 雅文
資本金
9,000万円
従業員情報
150名
事業内容
・ITプロのサブスク
・AWS導入支援・構築サービス
・新規事業開発支援サービス
・人工知能(AI)データ分析
・システムエンジニアリング

スーパーソフトウエアの企業情報を見る

他の求人と比較してみる

300万円〜400万円 2096件
400万円〜500万円 3564件
500万円〜600万円 1887件
600万円〜700万円 981件
700万円〜800万円 358件
800万円〜900万円 188件
900万円〜1000万円 22件
1000万円〜 48件

Javaの求人数

この求人は赤色の分布帯です。

出典:レバテックキャリアが保有する対象求人を下限年収で算出(2024年9月地点)

300万円〜400万円 1021件
400万円〜500万円 2369件
500万円〜600万円 1587件
600万円〜700万円 940件
700万円〜800万円 385件
800万円〜900万円 204件
900万円〜1000万円 34件
1000万円〜 52件

Pythonの求人数

この求人は赤色の分布帯です。

出典:レバテックキャリアが保有する対象求人を下限年収で算出(2024年9月地点)

300万円〜400万円 1478件
400万円〜500万円 2199件
500万円〜600万円 1257件
600万円〜700万円 573件
700万円〜800万円 256件
800万円〜900万円 130件
900万円〜1000万円 13件
1000万円〜 19件

PHPの求人数

この求人は赤色の分布帯です。

出典:レバテックキャリアが保有する対象求人を下限年収で算出(2024年9月地点)

同じ職種の似ている求人で探す

関連する職種から探す

関連言語・スキルから求人を探す

同じ職種のリモートの求人を探す

同じ職種の未経験の求人を探す

エリアから探す

ITエンジニア専用ページへ戻る

レバテックキャリアTOPへ戻る

  • ※1 2020年8月~2021年9月の実績

ITエンジニア転職ならレバテックキャリア

レバテックサービス

認知度 No.1

登録率 No.1

※ITエンジニア向け仕事探し支援サービスの認知度と登録率がNo.1(調査委託先:GMOリサーチ&AI株式会社/調査方法:インターネットリサーチ/調査対象:一都三県居住・20-49歳・男女・IT専門職/回答者数:4172名/調査期間:2024年12月5日~13日)

年収アップをご希望の方へ

簡単!年収診断

現在の市場価値や
年収UPの実現方法がわかる!

無料診断 START