ストックマーク株式会社

【MLOpsエンジニア】Webクローラー全般の開発・運用/MLアプリのプロトタイプ開発/フルリモート可

年収
700~1,250万円
雇用形態
正社員
最寄り駅
乃木坂駅 (東京都)

仕事内容について

主に、MLを活用したプロダクトでWeb上にある世界中のビジネスデータを提供できるようデータ化するために必要となる、モデル開発以外の全てのエンジニアリングを担当いただきます。

<具体的な業務内容>
・数万オーダーのWebサイトから汎用的に新着情報を収集、抽出するWebクローラー全般の開発と運用
・HTMLやPDFからコンテンツを抽出するMLアプリケーションのプロトタイプ開発
・FaaS/CaaSによる分散処理のパフォーマンスチューニングと監視設計
・MLワークフローとデータプラットフォームの設計/運用

【仕事の特色】
<企業の魅力>
同社が目指しているのは、Web上のあらゆるビジネス情報を再整理し、ビジネスシーンでのデータ活用業務を自然言語処理AIで総置換することです。そのために、世界中のニュース、企業情報、論文、特許などをWebから収集、抽出、加工して顧客に提供し、企業の製品化・事業化を加速させられるような「オープンデータリサーチサービス」を開発しています。

■現状の課題
顧客である日本の大手企業が、本当の意味で得たい情報が得られているとはいえない状態です。そこで、業界特有のニッチな情報を含む「見たい情報」が得られ、エンタメ情報など「不要な情報」をできる限り取り除いた状態を実現し、「本当に欲しい情報を効率的に摂取できるプロダクト」を目指したいと同社は考えています。
これらを実現させるため、これまでプロダクトごとに最適化を図ってきましたが、プロダクト連携した機能の企画開発や、最先端の自然言語処理技術を素早くプロダクト共通で活用するために記事データをプロダクト共通化する必要性が発生。今回全プロダクト共通の記事データプラットフォームの開発をスタートさせました。

■関連資料
・CEO林 インタビュー動画
https://youtu.be/nNAG1uByRbY

・CTO有馬 インタビュー動画
https://youtu.be/yFsB0GfwaFU

・個別最適でプロダクトを作り続けたスタートアップがデータ専任部隊を作ることにした話
https://tech.stockmark.co.jp/blog/stockmark_data_team_evolution/

・ビジネスに必要な情報を世界中から集めるクローリングの仕組みと今後の課題
https://note.com/stockmark/n/n6470851a3f2c

・Rust+WASMでWebクローラーのXMLパースを高速化
https://zenn.dev/ryuichit/articles/2bd369c597ece8

・AIで高速なキュレーションを実現するストックマークのアーキテクチャ【 Startup Architecture Of The Year 2019 ファイナリストによる寄稿シリーズ 】
https://zenn.dev/ryuichit/articles/2bd369c597ece8

<開発環境>
・開発言語:JavaScript(Node.js)、Python、Rust
・コンテナ技術:Docker
・IaC:Terraform
・AWS:Lambda、SQS、Step Functions、Fargate、S3、Aurora、DynamoDB、OpenSearch
・GCP:GCE、BigQuery

<ポジションの魅力>
・顧客利用データ分析ではなく、実世界に存在するビジネスコンテンツを素材として、汎用的なデータ収集と構造化(Web2text)による価値創出に共に挑戦することができる
・これから本格開発するデータプラットフォーム構築に初期から携わることができる
・FaaSによる大規模データ収集分散処理、機械学習パイプラインの開発/運用を経験できる
・プロダクトチームやカスタマーサクセスと連携し、データで価値を創造するための企画/開発を行うことができる
・Webコンテンツ抽出エンジンの検証を通したリサーチ業務に携わることができる

■ポジションに期待する役割
同社がプロダクト共通の記事データプラットフォームの開発を進めていくなかで、大きく2つの課題がでてきました。1つ目は、Webデータの収集・抽出システムがサイト側の構造変化に影響を受けやすいという点、2つ目は数万オーダーのサイトを対象とした分散処理を構築しており精度劣化が生じる点です。これらを解決するため、現在社内に少ないMLOpsの知見者を新たに採用し、監視と自動復旧のシステムである新規汎用化アルゴリズムのプロトタイプ開発や、ワークフローの短時間化により記事配信の鮮度を高める、本格的なMLOpsの仕組みづくりなどを行なっていただきたいと同社は考えています。

必須条件

■以下①~③すべての経験
①下記いずれかに該当する方
・コンピューターサイエンスの学士号
・上記に相当する知識と経験(実プロダクトの分散処理開発運用経験など)をお持ちの方

②下記のうち1つ以上のプログラミング言語でのソフトウェア開発経験をお持ちの方
・JavaScript
・Python
・Rust

③下記項目を1つ以上満たす方
・Webスクレイピングなどのweb情報収集システムの開発実務経験
・Apache Hadoop、Sparkなどの分散データ処理の開発実務経験
・機械学習など大規模データを扱うバッチ処理、ワークフローの開発/運用経験
・MLOpsの企画/設計/開発/運用経験
 

■仕事に対する姿勢
・コンピュータサイエンス、分散処理が好きな方
・最新の理論や事例をフォロー、検証するのが好きな方
・与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せる方
・ビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられる方
・前向きなチャレンジ精神がある方
 

この仕事で取り扱う技術

フレームワーク

Node.js

Spark

クラウド

Amazon S3

Amazon SQS

開発ツール

Docker

Hadoop

BigQuery

この求人を転職相談

キャリアアドバイザーのおすすめポイント

募集要項

業界
  • IT・通信
  • インターネット/ソフトウェア
歓迎要件

■経験
・顧客向け自社開発サービスのデータ基盤の開発、運用経験がある方
・サーバーレスまたはMLOpsに対する幅広い知見と業務経験をお持ちの方
・コンピュータサイエンスに関連する技術分野の修士号または博士号をお持ちの方
・リーダーなどの立場で事業背景を理解し自ら短期施策を立案/実行した経験がある方
・OpenSearchの利用/運用経験がある方
 

雇用形態

正社員

想定年収

700~1,250万円 (給与形態:年俸制)

■賞与・昇給
賞与:業績賞与
昇給:

■給与・評価等備考
・給与:前職をベースに決定いたします。

■手当
通勤手当、残業手当

予定勤務地
東京都港区
就業時間
10:00~19:00 
平均残業時間
30時間以上
年間休日
123日
服装
私服
リモート
ワーク

フルリモート

・リモートワーク可 ※時間にも場所にも縛られずに柔軟な働き方を実践しております!

福利厚生

健康保険 / 厚生年金 / 雇用保険 / 労災保険 / 通勤手当 / 残業手当 / 有給休暇

ストックマーク株式会社の事業内容

SaaS
テキストマイニング×AI技術を活用したビジネスにおける意思決定をサポートするサービスを開発・運営しています。toB向けのニュースプラットフォーム『A news』を始め、『A strategy』『A sales』など、SaaS型のWebアプリケーションを提供しています

ストックマークの企業情報を見る

ストックマーク株式会社が募集している求人・転職・採用情報

正社員もフリーランスも!正社員だけでなくフリーランスも選べる転職エージェントはレバテックキャリアだけ!今すぐ登録する

転職個別相談会開催中!プロのアドバイザーがあなたのお悩みや疑問にお答えいたします 詳細を見る

人気の求人特集

サイトでは公開していない、レバテック独自の求人情報をお伝えします

ご要望に合わせてプロが求人情報をご紹介します

あなたにおすすめの求人ストックマーク株式会社の求人・転職・採用情報に関連した求人

あなたにおすすめの企業ストックマーク株式会社の求人・転職・採用情報に関連した企業