データベースエンジニア × Apache Sparkの業務委託案件・フリーランス求人一覧

【基本リモート/小川町/AWS・GCP】ハイブリッドクラウド基盤 データパイプライン開発

AWSとGCPを併用したハイブリッドクラウド基盤におけるデータパイプライン設計・開発を担当します。GlueによるETL処理、S3やLake Formationを活用したデータ管理、BigQueryを用いたDWH環境整備、Terraformによる環境構築の自動化、Airflowによるジョブ管理といった幅広い工程をお任せします。 【技術スタック】 ・開発言語：Python、Go、Java ・データ処理：AWS Glue（PySpark）、BigQuery ・インフラ：AWS、GCP ・IaC：Terraform ・ワークフロー管理：Airflow、MWAA ・データ管理：S3、Lake Formation ・BI：Looker ...

【リモート併用/恵比寿/AWS】DWHシステムのエンハンス開発・保守

AWS環境上に構築されたDWHシステムの機能追加・改修・保守対応を行います。 ETLツール（AWS Glue）やPySparkを用いたバッチ開発、EventBridgeやStep Functionsでのジョブ管理、CloudWatchやDatadogによる監視運用設計を実施します。 またTerraformでのインフラ構築・管理、Gitによるバージョン管理も担当範囲です。 【作業期間】 2025年12月～（長期予定） 【作業時間】 9:30～18:00（昼休憩 12:00～13:00）

【リモート併用/恵比寿/Python】クラウドDWHシステム保守・開発案件

ポイント事業者向けDWHシステムの保守・開発業務を担当。 AWS環境上でのETL開発、運用監視、ジョブ管理、CICD構築など幅広い対応が求められます。 PythonやSQLでのデータ処理、運用業務、Gitによるバージョン管理の経験を活かし、効率的なシステム運用を実現していただきます。 Terraformによるパイプライン構築や小規模チームのリード経験があればより高いパフォーマンスが期待されます。 【技術スタック】 ・データベース：Apache Iceberg ・ETLツール：Glue（pyspark） ・ジョブ管理：EventBridge、StepFunctions ・運用監視：CloudWatch、DataDog ・開発言...

【二子玉川/AI×セキュリティデータ】某大手EC企業のデータエンジニアポジション

データ分析とインサイト抽出：サイバーセキュリティ関連データの詳細な分析を行い、傾向、パターン、異常を特定。可視化やレポートを通じてステークホルダーに共有。 AIモデルの展開と運用：AI/MLモデルを本番環境に展開・監視・保守し、高可用性と高パフォーマンスを確保。 AIインフラ管理：クラウドリソースや専用ハードウェアを含むAI／データインフラの選定、導入、管理。 データパイプラインの構築：大規模なサイバーセキュリティ関連データの取り込み、処理、変換のための堅牢かつスケーラブルなパイプラインを設計・構築・保守。 AIモデルの性能最適化：本番環境でのAI/MLモデルの性能を最適化（ファインチューニング、スケーリング、リソース...

【リモート併用/大崎/Python/dbt】 モダンなデータ基盤構築・運用

Pythonを中心としたプログラミングによるデータ基盤の構築・運用を担当します。 SQLを用いたデータ分析やモデリング、dbtによるデータパイプラインの設計・開発、AWSまたは GCPを活用したインフラ構築も含まれます。 加えて、DatabricksやSnowflakeといった最新技術を用いた基盤の設計・運用や、TerraformによるIaC、 自動化されたワークフロー設計なども歓迎されます。 アジャイル（スクラム）開発の現場で、チームと連携しながら業務を推進していただきます。 【環境】 言語：Python、SQL クラウド：AWS、GCP ツール：dbt、Terraform、Databricks、Snowflake、Apa...