Pysparkエンジニア募集|金融機関向けデータ分析システム統合支援プロジェクト
基本情報
- 案件名
- 金融機関向けデータ分析基盤のSAS資産をAWS/PySparkで再構築するETL開発支援
- 業界
- IT/金融
- 職種
- データエンジニア
- 使用言語
- Python、PySpark、Shell
- 報酬(単価)
- 50万円~70万円
- 雇用形態
- 業務委託(フリーランス)
- 勤務地
- 東京都23区
- 開発環境
- AWS(Glue, S3, Lambdaなど)、Python、PySpark、Shell、Git、Jira
- 精算
- 140h~180h
- 契約期間
- 長期
- 勤務時間
- 10:00~19:00
- その他
- ・リモートワーク併用(週3~4日程度リモート)
・上位リーダー配下での開発チームメンバー参画
・データ分析基盤やETL開発の経験を活かせる案件
案件概要
既存のSAS資産をAWS Glue・Python(PySpark)を用いて再構築するプロジェクトです。開発チームの一員として、詳細設計以降の開発工程を担当し、金融機関のデータ分析基盤のモダナイゼーションに貢献いただきます。
案件内容
本プロジェクトは、金融機関が長年利用してきたSASベースのデータ分析資産を、最新のクラウド技術であるAWS GlueとPython(PySpark)を活用して刷新する大規模なモダナイゼーション案件です。データ分析基盤の性能向上と運用効率化を目指し、開発チームの一員として詳細設計から実装、テストまでの一連の開発工程に深く関わっていただきます。特に、既存システムの調査・分析を通じて、SASからAWS/PySparkへのスムーズな移行を技術的に支援し、高品質なデータパイプラインの構築に貢献することが期待されます。上位リーダーの指示のもと、チームメンバーと密に連携しながら、プロジェクトを推進していただきます。
・既存SAS資産の調査、分析、およびAWS/PySparkへの移行設計支援
・AWS Glueを用いたETL処理の詳細設計、実装、単体テスト
・Python(PySpark)によるデータ処理ロジックの開発と最適化
・Shellスクリプトを用いたジョブ管理や自動化スクリプトの作成
・開発した機能の結合テスト、システムテストへの参画
・データ分析基盤の安定稼働に向けた運用設計への協力
・関係部署やチームメンバーとの技術的な連携、課題解決への貢献
必須スキル
【必須スキル】
・PySparkを用いた開発経験
・Shellスクリプトの実装経験
・AWS環境でのシステム開発経験
・詳細設計以降のシステム開発実務経験
【歓迎スキル】
・Pythonでの開発経験
・データ分析基盤やETL開発の経験
・金融機関向けシステムの開発経験
・関係者と円滑に連携できるコミュニケーション能力
【求める人物像】
・新しい技術や環境への適応意欲が高い方
・チームでの開発に積極的に貢献できる方
・長期的なプロジェクトにコミットできる方