【】ストックマーク株式会社の求人/転職/採用情報(ITエンジニア) #20728

主に、MLを活用したプロダクトでWeb上にある世界中のビジネスデータを提供できるようデータ化するために必要となる、モデル開発以外の全てのエンジニアリングを担当いただきます。

＜具体的な業務内容＞
・数万オーダーのWebサイトから汎用的に新着情報を収集、抽出するWebクローラー全般の開発と運用
・HTMLやPDFからコンテンツを抽出するMLアプリケーションのプロトタイプ開発
・FaaS/CaaSによる分散処理のパフォーマンスチューニングと監視設計
・MLワークフローとデータプラットフォームの設計/運用

【仕事の特色】
＜企業の魅力＞
同社が目指しているのは、Web上のあらゆるビジネス情報を再整理し、ビジネスシーンでのデータ活用業務を自然言語処理AIで総置換することです。そのために、世界中のニュース、企業情報、論文、特許などをWebから収集、抽出、加工して顧客に提供し、企業の製品化・事業化を加速させられるような「オープンデータリサーチサービス」を開発しています。

■現状の課題
顧客である日本の大手企業が、本当の意味で得たい情報が得られているとはいえない状態です。そこで、業界特有のニッチな情報を含む「見たい情報」が得られ、エンタメ情報など「不要な情報」をできる限り取り除いた状態を実現し、「本当に欲しい情報を効率的に摂取できるプロダクト」を目指したいと同社は考えています。
これらを実現させるため、これまでプロダクトごとに最適化を図ってきましたが、プロダクト連携した機能の企画開発や、最先端の自然言語処理技術を素早くプロダクト共通で活用するために記事データをプロダクト共通化する必要性が発生。今回全プロダクト共通の記事データプラットフォームの開発をスタートさせました。

■関連資料
・CEO林 インタビュー動画
https://youtu.be/nNAG1uByRbY

・CTO有馬 インタビュー動画
https://youtu.be/yFsB0GfwaFU

・個別最適でプロダクトを作り続けたスタートアップがデータ専任部隊を作ることにした話
https://tech.stockmark.co.jp/blog/stockmark_data_team_evolution/

・ビジネスに必要な情報を世界中から集めるクローリングの仕組みと今後の課題
https://note.com/stockmark/n/n6470851a3f2c

・Rust+WASMでWebクローラーのXMLパースを高速化
https://zenn.dev/ryuichit/articles/2bd369c597ece8

・AIで高速なキュレーションを実現するストックマークのアーキテクチャ【 Startup Architecture Of The Year 2019 ファイナリストによる寄稿シリーズ 】
https://zenn.dev/ryuichit/articles/2bd369c597ece8

＜開発環境＞
・開発言語：JavaScript（Node.js）、Python、Rust
・コンテナ技術：Docker
・IaC：Terraform
・AWS：Lambda、SQS、Step Functions、Fargate、S3、Aurora、DynamoDB、OpenSearch
・GCP：GCE、BigQuery

＜ポジションの魅力＞
・顧客利用データ分析ではなく、実世界に存在するビジネスコンテンツを素材として、汎用的なデータ収集と構造化（Web2text）による価値創出に共に挑戦することができる
・これから本格開発するデータプラットフォーム構築に初期から携わることができる
・FaaSによる大規模データ収集分散処理、機械学習パイプラインの開発/運用を経験できる
・プロダクトチームやカスタマーサクセスと連携し、データで価値を創造するための企画/開発を行うことができる
・Webコンテンツ抽出エンジンの検証を通したリサーチ業務に携わることができる

■ポジションに期待する役割
同社がプロダクト共通の記事データプラットフォームの開発を進めていくなかで、大きく2つの課題がでてきました。1つ目は、Webデータの収集・抽出システムがサイト側の構造変化に影響を受けやすいという点、2つ目は数万オーダーのサイトを対象とした分散処理を構築しており精度劣化が生じる点です。これらを解決するため、現在社内に少ないMLOpsの知見者を新たに採用し、監視と自動復旧のシステムである新規汎用化アルゴリズムのプロトタイプ開発や、ワークフローの短時間化により記事配信の鮮度を高める、本格的なMLOpsの仕組みづくりなどを行なっていただきたいと同社は考えています。