データエンジニア募集|AWS/GCPデータ基盤構築|100〜110万円
基本情報
- 案件名
- Webサービス運営企業のデータ基盤構築プロジェクト
- 業界
- Webサービス運営企業
- 職種
- データエンジニア
- 使用言語
- Python (PySpark)
- 報酬(単価)
- 100万円~110万円
- 雇用形態
- 業務委託(フリーランス)
- 勤務地
- 東京都千代田区
- 開発環境
- AWS、GCP、BigQuery、AWS Glue、PySpark、Terraform、Git、Jira
- 精算
- 140h-180h
- 契約期間
- 長期
- 勤務時間
- 10:00~19:00
- その他
- ・服装:指定なし
案件概要
Webサービス運営企業にて、AWSとGCPを組み合わせたデータ基盤の構築を担っていただきます。サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる堅牢な基盤を目指し、データドリブンな意思決定を強力に推進します。CTOやリードエンジニアと共に、データ基盤全体のアーキテクチャ設計方針の策定にも深く関与できる、やりがいのあるポジションです。
案件内容
Webサービス運営企業におけるデータ基盤構築プロジェクトに参画し、データエンジニアとしてご活躍いただきます。本プロジェクトは、サービス運用、ビジネス分析、さらには出版社支援といった多岐にわたるデータ活用ニーズに応えるため、AWSとGCPをハイブリッドに活用した次世代データ基盤の構築を目指しています。データの収集、加工、蓄積、そして活用までの一連のプロセスを最適化し、データの信頼性と可用性を高めることで、事業成長を加速させるデータドリブンな意思決定を強力に支援します。CTOやリードエンジニアといった技術リーダーと共に、データ基盤全体のアーキテクチャ設計方針の策定から実装まで、幅広いフェーズに深く関与できるため、技術的なスキルアップはもちろん、プロジェクト全体を俯瞰する視点も養うことができます。
具体的な業務内容は以下の通りです。
・AWSおよびGCP環境におけるデータレイク、データウェアハウスの設計・構築
・AWS Glue(PySpark)を用いたETLパイプラインの開発とパフォーマンスチューニング
・BigQueryを活用したデータマートの構築と最適化
・TerraformによるIaC(Infrastructure as Code)の実践と運用
・データの信頼性を高めるためのテスト自動化フレームワークの導入と実装
・データ品質監視システムの構築と運用
・データ活用部門からの要件ヒアリングと技術的なフィードバック
・データ基盤の運用・保守、および改善提案
・技術選定やアーキテクチャ設計に関する議論への参加と貢献
・チームメンバーとの連携による開発プロセスの改善
必須スキル
必須スキル
・AWS環境でのインフラ構築・運用経験(S3、IAM、VPCなど)
・GCPでの構築経験(特にBigQuery、IAM、ネットワーク設定)
・AWS Glue(PySpark)を用いたETL開発およびパフォーマンスチューニング経験
・TerraformによるIaCの実践経験(マルチクラウドまたは複数環境での経験尚可)
歓迎スキル
・データモデリングやデータガバナンスに関する知識と実践経験
・データ品質管理やデータカタログツールの導入・運用経験
・CI/CDパイプライン構築・運用経験
・Pythonを用いた開発経験
求める人物像
・新しい技術やツールに対して積極的に学習し、業務に取り入れる意欲のある方
・チーム内外と円滑なコミュニケーションを取りながら、主体的に業務を進められる方
・大規模データ基盤の構築・運用に情熱を持ち、課題解決を楽しめる方
・データドリブンな文化の醸成に貢献したい方