【急成長中Fintech企業】データエンジニア

勤務形態
正社員
給与
8,000,000 JPY - 13,000,000 JPY per year
日本語レベル
なし
英語レベル
なし
開始日
ASAP
勤務地
東京

職務内容

A leading Fintech company is looking for a Data Engineer to work on their payment system to deliver the best payment experience for their customers.

The ideal candidate is a problem solver and a learner at heart. You should have a very high degree of comfort in a programming language of your choice. They offer a flexible work schedule and you get your choice of tools (both hardware and software) and most importantly, the opportunity to work on tough problems with the brightest minds around you.

【Responsibilities】
- Work directly with Data Analysts and Platform Engineering Team to create reusable experimental and production data pipelines
- Understand, tune, and master the processing engines (like Spark, Hive, Cascading, etc) used day-to-day
- Keep the data whole, safe, and flowing with expertise on high volume data ingest and streaming platforms (like Spark Streaming, Kafka, etc)
- Sheppard and shape the data by developing efficient structures and schema for the data in storage and transit
- Explore as many new technology options for data processing, storage, and share them with the team
- Develop tools and contribute to open source wherever possible

 
大手フィンテック企業にて、データエンジニア を募集しています。日本のエンドユーザーに最高の支払い体験を提供するために、最高のプラットフォームを一緒に創っていきませんか。

【主な業務内容】
- データアナリストおよびプラットフォームエンジニアリングチームと直接連携して、再利用可能な実験データと実稼働データのパイプラインを作成する
- 日常的に使用される処理エンジン(Spark、Hive、Cascadingなど)を理解し、調整し、習得する
- 大量のデータの取り込みとストリーミングプラットフォーム(Spark Streaming、Kafkaなど)に関する専門知識を使用して、データを安全かつ流動的な状態に保つ
- 保管および転送中のデータの効率的な構造とスキーマを開発することにより、データをシェパードおよびシェーピング
- データ処理、保存のための多くの新しいテクノロジーオプションを探索し、チームと共有する
- ツールを開発し、可能な限りオープンソースに貢献する
 

【会社概要 | Company Details】
QRコードとバーコードベースの支払いシステムを提供している成長中のFintech企業です。フレックス制度やツールの選択(ハードウェアとソフトウェアの両方)ができるなど、柔軟なオフィス環境です。日本語と英語が飛び交う環境で、優秀な同僚と共にチャレンジングな仕事に取り組めます。
Growing fintech company provides QR code and bar code based payment system. The company offers a flexible work schedule and you get your choice of tools (both hardware and software) and most importantly, the opportunity to work on tough problems with the brightest minds around you. Speaking English OR Japanese, but corporate language is the language you can program in.

【就業時間 | Working Hours】
スーパーフレックス
Super Flextime available

【休日休暇 | Holidays】
完全週休2日制(土日祝休み)、年末年始、年次有給休暇、産前産後休暇、子の看護休暇、介護休暇、介護休業、育児休業、その他特別休暇など
Saturday, Sunday, and National Holidays, Year-end and New Year Holidays, Paid Holidays, Other Special Holidays

【待遇・福利厚生 | Services / Benefits】
各種社会保険完備(厚生年金保険、健康保険、労災保険、雇用保険)、屋内原則禁煙(屋外に喫煙所あり)、通勤交通費支給等、確定拠出年金制度、各種研修制度
Social insurance, Transportation Fee, Defined contribution pension system, training programs, no smoking indoors allowed (Designated smoking area), etc.

 

必須スキル

 - Worked on building data pipelines ingesting and transforming large number of events per minute and terabytes of data per day
- Worked with Spark and Kafka before and have experimented or heard about Flink/Druid/Ignite/Presto/Athena and understand when to use one over the other. Preferably, you have worked with cloud based big data processing platform such as AWS EMR, Google Cloud DataProc
- Passionate about producing clean, maintainable and testable code part of real-time data pipeline
- Understand how micro services work
- Connect different services and processes together even if you have not worked with them before and follow the flow of data through various pipelines to debug data issues
- Understand issues with ingesting data from applications in multiple data centres across geographies, on-premise and cloud and will find a way to solve them
- Proficient in Java/Scala/Python/Spark

- 1分毎大量のイベントと1日のテラバイトのデータを取り込んで変換するデータパイプラインの構築に取り組んだご経験
- SparkとKafkaの使用経験、Flink / Druid / Ignite / Presto / Athenaについて実験や知識
- AWS EMR、Google Cloud DataProcなどのクラウドベースのビッグデータ処理プラットフォームを使用した経験
- リアルタイムデータパイプラインのクリーンでメンテナンス可能でテスト可能なコード部分の作成
- マイクロサービスの仕組みへの理解
- さまざまなサービスやプロセスをこれまでに使用したことがない場合でも一緒に接続し、さまざまなパイプラインを介してデータのフローに従ってデータの問題をデバッグ
- さまざまな地域、オンプレミス、クラウドの複数のデータセンターにあるアプリケーションからデータを取り込む際の問題を理解し、それらを解決する方法を見つける
- Java / Scala / Python / Sparkに習熟していること

優遇されるスキル・経験

- Software development experience in one or more general purpose programming languages, preferably
- Experience with implementing platform components such as RESTful APIs, Pub/Sub Systems, and Database Clients
- Experience with AWS services
- Contribution to open source projects
- Knowledge regarding the Japanese payment industry

- 1つ以上の汎用プログラミング言語でのソフトウェア開発経験
- RESTful API、Pub / Subシステム、データベースクライアントなどのプラットフォームコンポーネントの実装経験
- AWSサービスの経験
- オープンソースプロジェクトの経験
- 日本の決済業界に関する知識