【大手インターネットサービス】ビッグデータ開発基盤エンジニア

勤務形態
正社員
給与
年収:400万円 - 700万円(経験に基づく)
日本語レベル
流暢
英語レベル
基礎レベル(TOEIC 350)
開始日
ASAP
勤務地
東京

職務内容

巨大な会員数を誇るインターネットサービス企業で運営する、各サービスの行動ログ等を集約するビッグデータ基盤および、そのデータを利用するアプリケーションの設計・開発・運用をご担当いただくエンジニアを募集しています。

 

新規プロジェクトではインフラストラクチャの構築や開発技術の選定など上流から携われるチャンスがあります。

 

▼プロジェクト例

‐ Golang, Docker, Presto, RabbitMQを用いたSegmentAPIの新規開発

‐ Node.js, RabbitMQを用いたwebトラッキングシステムの改修

‐ DigdagによるETL基盤の刷新

 

【このポジションの魅力】

‐ サービスの設計、ミドル選定などは、一任されているので、自由な開発ができる

‐ 新プロダクトの開発の際は、積極的に新技術を採用しており、その経験ができる。

‐ オンプレミスの大規模Hadoopクラスタの運用を経験できます。

‐ AWSなどのパブリッククラウドとオンプレミスのハイブリッド化も検討しており、設計段階から携われる

‐ 勉強会、トレーニングへの参加が奨励されており、現在導入している技術のスキルアップや、今後を導入検討している技術のトレーニングなど、会社負担で参加する事が可能です。

必須スキル

‐ Linux環境の構築、運用経験

‐ Hive, Presto等のSQL on Hadoopを利用した集計処理の開発経験

‐ Java, Ruby, Python等を用いた、Webアプリケーションの開発および運用経験


【開発環境/ツール】

▼環境

‐ Mac、Windows お好きなマシンを選択可能

‐ デュアルディスプレイ支給


▼開発技術

ビッグデータ関連

‐ Hadoop/Hive/Spark/YARN/Hue/Sqoop(CDH)

‐ Presto

‐ Redash/Apache Zeppelin

その他OS/MW等

‐ CentOS(6系,7系)

‐ Docker(compose, swarm, consul)

‐ Nginx、Ansible、Jenkins、MariaDB / PostgreSQL、RabbitMQ


▼使用言語

‐ Golang(Echo, gorm)

‐ Scala(Akka HTTP, Slick)

‐ Node.js

‐ Python

‐ Bash


▼ツール

‐ Bitbucket(GitHub Enterpriseへ移行も検討中)

‐ Atlassian(Confluence, Jira)

‐ Slack

優遇されるスキル・経験

‐ Hadoopクラスタの構築、運用経験(オンプレ、クラウド問わず)

‐ Hadoopディストリビューション(CDH または HDP)の構築、運用経験

‐ Hiveのクエリチューニングの経験

‐ リアルタイムストリーミング処理(Kafka, Storm等)に関する知識、運用経験

‐ 大規模トラフィックを扱うシステムの開発、運用経験

‐ Docker等のコンテナ技術を用いた開発、運用経験

‐ プロジェクト・マネージメント もしくはリーダ経験


【求める人物像】

‐ メールマーケティングのご経験がある方、または興味関心をお持ちの方

‐ エンジニア発信の技術とアイデアをマーケティングに活かしてみたい方

‐ プロダクトの価値向上を意識し、様々なご提案をして頂ける方

‐ コミュニケーションしながら仕組を改善していくプロセスが好きな方