8,000,000 JPY - 13,000,000 JPY per year


A leading Fintech company is looking for a Data Engineer to work on their payment system to deliver the best payment experience for their customers.

The ideal candidate is a problem solver and a learner at heart. You should have a very high degree of comfort in a programming language of your choice. They offer a flexible work schedule and you get your choice of tools (both hardware and software) and most importantly, the opportunity to work on tough problems with the brightest minds around you.

- Work directly with Data Analysts and Platform Engineering Team to create reusable experimental and production data pipelines
- Understand, tune, and master the processing engines (like Spark, Hive, Cascading, etc) used day-to-day
- Keep the data whole, safe, and flowing with expertise on high volume data ingest and streaming platforms (like Spark Streaming, Kafka, etc)
- Sheppard and shape the data by developing efficient structures and schema for the data in storage and transit
- Explore as many new technology options for data processing, storage, and share them with the team
- Develop tools and contribute to open source wherever possible

大手フィンテック企業にて、データエンジニア を募集しています。日本のエンドユーザーに最高の支払い体験を提供するために、最高のプラットフォームを一緒に創っていきませんか。

- データアナリストおよびプラットフォームエンジニアリングチームと直接連携して、再利用可能な実験データと実稼働データのパイプラインを作成する
- 日常的に使用される処理エンジン(Spark、Hive、Cascadingなど)を理解し、調整し、習得する
- 大量のデータの取り込みとストリーミングプラットフォーム(Spark Streaming、Kafkaなど)に関する専門知識を使用して、データを安全かつ流動的な状態に保つ
- 保管および転送中のデータの効率的な構造とスキーマを開発することにより、データをシェパードおよびシェーピング
- データ処理、保存のための多くの新しいテクノロジーオプションを探索し、チームと共有する
- ツールを開発し、可能な限りオープンソースに貢献する

【会社概要 | Company Details】
Growing fintech company provides QR code and bar code based payment system. The company offers a flexible work schedule and you get your choice of tools (both hardware and software) and most importantly, the opportunity to work on tough problems with the brightest minds around you. Speaking English OR Japanese, but corporate language is the language you can program in.

【就業時間 | Working Hours】
Super Flextime available

【休日休暇 | Holidays】
Saturday, Sunday, and National Holidays, Year-end and New Year Holidays, Paid Holidays, Other Special Holidays

【待遇・福利厚生 | Services / Benefits】
Social insurance, Transportation Fee, Defined contribution pension system, training programs, no smoking indoors allowed (Designated smoking area), etc.



 - Worked on building data pipelines ingesting and transforming large number of events per minute and terabytes of data per day
- Worked with Spark and Kafka before and have experimented or heard about Flink/Druid/Ignite/Presto/Athena and understand when to use one over the other. Preferably, you have worked with cloud based big data processing platform such as AWS EMR, Google Cloud DataProc
- Passionate about producing clean, maintainable and testable code part of real-time data pipeline
- Understand how micro services work
- Connect different services and processes together even if you have not worked with them before and follow the flow of data through various pipelines to debug data issues
- Understand issues with ingesting data from applications in multiple data centres across geographies, on-premise and cloud and will find a way to solve them
- Proficient in Java/Scala/Python/Spark

- 1分毎大量のイベントと1日のテラバイトのデータを取り込んで変換するデータパイプラインの構築に取り組んだご経験
- SparkとKafkaの使用経験、Flink / Druid / Ignite / Presto / Athenaについて実験や知識
- AWS EMR、Google Cloud DataProcなどのクラウドベースのビッグデータ処理プラットフォームを使用した経験
- リアルタイムデータパイプラインのクリーンでメンテナンス可能でテスト可能なコード部分の作成
- マイクロサービスの仕組みへの理解
- さまざまなサービスやプロセスをこれまでに使用したことがない場合でも一緒に接続し、さまざまなパイプラインを介してデータのフローに従ってデータの問題をデバッグ
- さまざまな地域、オンプレミス、クラウドの複数のデータセンターにあるアプリケーションからデータを取り込む際の問題を理解し、それらを解決する方法を見つける
- Java / Scala / Python / Sparkに習熟していること


- Software development experience in one or more general purpose programming languages, preferably
- Experience with implementing platform components such as RESTful APIs, Pub/Sub Systems, and Database Clients
- Experience with AWS services
- Contribution to open source projects
- Knowledge regarding the Japanese payment industry

- 1つ以上の汎用プログラミング言語でのソフトウェア開発経験
- RESTful API、Pub / Subシステム、データベースクライアントなどのプラットフォームコンポーネントの実装経験
- AWSサービスの経験
- オープンソースプロジェクトの経験
- 日本の決済業界に関する知識