Apache Spark × 50万円以上の業務委託案件・フリーランス求人一覧｜ページ2

大手インターネット企業におけるLLMOps / MLエンジニア【LLM・LLMOps・ML・RAG・Langfuse・TypeScript・Node.js/リモートあり】

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 大手インターネット企業におけるLLMOps / MLエンジニア ・Langfuseを用いたLLMトレース・評価基盤の設計 ・自動評価 / 人手評価の設計および運用 ・ログデータ分析による品質課題の特定 ・プロンプト / モデル改善提案と検証 ・改善サイクルの仕組み化（再現可能な運用設計） ・コスト・トークン最適化設計 ◆主な開発環境・ツール - Cloud Google Cloud（BigQuery / GCS / STS / VPC-SC / IAM） Oracle Cloud（Exadata / Data...

【AWS/Databricks/フルリモート】データ分析基盤・AI実行基盤追加開発：データエンジニア/AIエンジニア

大手損害保険会社向けのデータ分析基盤およびAI実行基盤の追加開発を担当します。クラウドを中心としたインフラの要件整理から設計・構築・試験・導入までを行い、あわせて顧客向け資料作成や説明対応も担当します。数か月ごとに小規模な追加開発を継続的に進めていきます。

データ分析基盤構築リモート併用大手インターネット事業会社データエンジニア募集

インターネット事業を主軸に展開している東証プライム上場企業にて、データエンジニアとして参画。全社データ分析基盤のアーキテクチャ設計・構築。データレイク / DWH基盤の設計・運用。ETL / ELTパイプラインの設計・開発。クロスクラウドデータ連携の設計・実装。データモデリングの設計。Terraformを用いたIaCによるインフラ管理。データ基盤に関わるネットワーク・セキュリティ設計。AIデータアクセス基盤の構築。

【Python/SQL/リモート併用/週5日】全社データ分析基盤のアーキテクチャ設計・構築支援

大手インターネット企業にて、全社データ分析基盤のアーキテクチャ設計および構築をMLエンジニアとして担当していただきます。 主な業務は、数千万〜数億レコード規模の大規模データを扱うデータレイクやDWH（BigQuery）の設計・運用です。 具体的には、OCIからGCPへのクロスクラウドデータ連携の実装や、ETL/ELTパイプラインの開発、Terraformを用いたIaCによるインフラ管理を担っていただきます。 また、AIデータアクセス基盤（MCP/Agent）の構築や、データガバナンス・セキュリティ設計（IAM/VPC）など、最先端のデータ基盤構築に幅広く携わることができる環境です。

【AWS/フルリモート】データ分析基盤/AI実行基盤の追加開発：データエンジニア/AIエンジニア

大手損害保険会社向けのデータ分析基盤およびAI実行基盤（AI-RUN）の追加開発に携わっていただきます。AWSを中心としたインフラ基盤について、要件整理から導入までを担当し、顧客向け資料作成や説明対応も行います。数か月ごとに小規模な追加開発を繰り返し実施します。

【AI/データ分析/常駐】AI・データ分析案件（豊洲）：データサイエンティスト/AIエンジニア

経営に寄与するデータ分析の推進を担当いただきます。分析テーマの実行と手順書作成、セマンティックレイヤやカタログの設計・運用、AIを活用した分析機能の検討と結果取りまとめ、関連組織との調整や優先度策定、進捗・リスク管理を行います。

【AWS/Databricks/リモート併用】データ分析基盤/AI実行基盤：インフラ/データエンジニア

大手損害保険会社向けのデータ分析基盤およびAI実行基盤の追加開発におけるインフラ領域の技術支援案件です。顧客向け資料作成や説明対応を含む継続的な小規模追加開発に携わっていただきます。

データエンジニア（AWS × GCP）

・ データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理 ・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化

【定番】【フルリモート可】LLM/AIエンジニア

【業務内容】 ●担当領域 SaaS/キャリアプラットフォームで用いるLLM/AIエージェントシステムの開発 ●担当役割 LLM/AIエージェントの開発、LLM関連APIの開発、Vector DBの整備 ●担当業務（必須） ・LLMを用いたエージェントの構築 ・RAGにおけるRetrieverの実装 ・LLMOpsの整備 ・CI/CDの構築とエージェントのデプロイ ・エージェントを用いたAPIの実装 ・開発したエージェントのAPI化 ●担当業務（スキルベースでご相談） ・LLM/AIエージェントの開発・デプロイ ・LLM/AIエージェントの運用基盤構築および運用 ・RAGのためのデータ基盤・データベースの整備 ・エージェン...

【Python】通信キャリア情報系刷新

【企業概要】 ・主に証券・金融業界向けに基幹システムや情報系システムを開発してきました。 近年では証券・金融業界に加え、中堅・中小企業へのDX促進サポートに注力しています。 【案件内容】 情報系システムの刷新に関するプロジェクトで、データ連携バッチを中心に更新作業を進めます。主にDataStage、SPARK、インフォマティカ、Python、JP1を使用し、すべてがAWS上で展開されます。 【業務内容】 ・情報系システムのデータ連携バッチの刷新 ・DataStageやインフォマティカの活用によるデータ管理 ・PythonやSPARKを用いたデータ処理の最適化 ・AWSを活用したクラウド環境でのシステム構築と運用 ・JP1を...

【定番】【フルリモ / Ruby / 週4日〜】データテクノロジーカンパニーにおける2ndプロダクトの開発支援

新規プロダクトの開発となります。 ・フロントエンドからサーバーサイド、バッチの開発とフルスタックに１つの機能の開発を行っていただきます。 ・仕様の確認、実装方針検討、設計、実装、テスト、コードレビューと、開発の工程を一通り担当していただくため、要件定義から仕様検討まで詳細設計からコーディングまでといった限られた役割ではなく、裁量大きく開発をしたい方、能動的に開発を推し進めて頂ける方を求めています。 【業務内容】 ・大規模な新規機能追加 ・パフォーマンスチューニング などの難易度の高い開発業務 ・基盤：AWS ・言語：Ruby on Rails ・主要データベース：MySQL 公開_備考：※月額報酬額は「最大稼働可能日数」で換...

【定番】データ基盤構築、パフォーマンスチューニング、ETL処理の開発

■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airflowを利用したデータパイプラインの開発運用 効率的なデータ活用を推進するための中間テーブル設計 公開_備考：※月額報酬額は「最大稼働可能日数」で換算した際の金額です

【定番】【リモート相談可 / Go / 週4日〜】自社プロダクトのデータ分析基盤（API / 解析基盤）の開発・運用

今回は自社開発中のデータ統合プラットフォームのサーバーサイドエンジニアを募集します。 - k8s on GCPを使ったデータパイプライン基盤/API開発 - Spark on k8s を使ったパイプライン内のサーバーレスコンピューティング基盤開発 - Data Prep-Model Scoring までをサーバーレスで一気通貫で提供するML基盤開発 公開_備考：※月額報酬額は”最大稼働可能日数”で換算した際の金額です。

【AWS/GCP/Python/DWH】サーバーサイドエンジニア

【概要】 クライアント内のデータレイク・DWH管理するDWHチームの募集になります。 アダルトコンテンツ：有 【主な作業内容】 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 【求める人物像】 ・根気よく問題と向き合い解決まで取り組んでいただける方 ・課題を俯瞰的に捉え、似た課題を効率的に解決するような創意工夫が行える方 【開発環境】 [言語] Python, Hive, Spark [AWS] EMR, Glu...

Python／大手インターネット企業におけるLLMOps / MLエンジニアの開発案件・求人

大手インターネット企業の全社横断的なデータ分析基盤、およびAIデータアクセス基盤をゼロベースから設計・構築していただきます。 クロスクラウド環境でのデータ基盤構築から、最新のMCP/Agentを用いたAI連携まで、モダンなデータエンジニアリングの最前線に立つワクワクするプロジェクトです。 ・全社データ分析基盤のアーキテクチャ設計・構築 ・データレイク / DWH（BigQuery）基盤の設計・運用 ・ETL / ELTパイプラインの設計・開発 ・クロスクラウドデータ連携（OCI → GCP）の設計・実装 ・データモデリング（OBT / mart）の設計 ・Terraformを用いたIaCによるインフラ管理 ・デ...

【生成AI/機械学習/一部リモート】大手ネット企業内の業務改善推進（企画〜開発〜運用）

大手インターネット企業の社内において、生成AI・機械学習を活用した業務改善およびビジネス価値創出を推進いただくポジションです。 不正決済検知（ML）、ユーザースコアリング（ML）、業務効率化プロセス（生成AI）などの類似テーマの知見を活かし、以下のフェーズを一気通貫で担当いただきます。 1) 企画：目的・課題の明確化、実現可能性の検討、ROIの試算 2) 開発：システム/モデル設計、モデル構築、オフライン/オンライン評価とビジネスインパクト検証 3) 運用：業務への導入、保守運用、継続的改善 ビジネス視点でのAI利活用を上流から担える希少な案件です。エンド側プロパーも参画しているため、すべての領域の第一人者である必要はあり...

【基本フルリモート/Python/AWS】生成AIテキスト分析システム最適化エンジニア

自動車会社およびコールセンター向けSNSに投稿される顧客評価テキストデータを対象に、生成AIを用いて分類および要約を行うデータ分析システムの構築プロジェクトです。 本案件ではPoC段階ではなく、本番稼働に向けたシステム構築フェーズに参画いただきます。分析精度を維持しながら処理性能を高め、生成AIの利用コスト削減を実現するための処理ロジックの設計および実装を担当します。 主な業務は、データ分析システムのバッチ処理設計、Pythonを用いたデータ処理ロジックの開発、処理パフォーマンスの改善、生成AI呼び出し処理の最適化などです。 テキストデータの分析処理を効率的に実行するためのアーキテクチャ設計や、生成AIを活用した業務シス...

【Python/SQL/リモート併用/週5日】クラウドデータ基盤構築エンジニア

企業のマーケティングDXや事業変革をデータ活用で支援するコンサルティングファームにて、データ基盤（DWH・ETL・データレイク）の設計・構築を担当いただきます。 東証プライム上場企業を中心とした大手クライアントに対し、データドリブン経営の核となる基盤づくりをリードするポジションです。 具体的には、Snowflake、BigQuery、Databricksといった最新のクラウドDWHの導入支援や、Python/SQLを用いた効率的なデータパイプライン（ETL/ELT）の設計・実装に携わっていただきます。 また、ストリーミングデータ処理やデータガバナンス設計など、大規模かつ複雑なデータ環境において最適なアーキテクチャを提案・構築...

データ基盤構築案件

データレイク / ETL基盤の整備として、AWS Glue（Apache Spark）を用いた分散処理およびETL開発、S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計を行います。

【AWS/GCP/データエンジニア】データ基盤構築（常駐）

エンド直案件にて、九段下常駐でデータレイク/ETL基盤の設計・構築・運用を担当いただきます。 主な業務は以下の通りです。 ・データレイクおよびETL基盤の構築 ・AWS Glue（Apache Spark/PySpark）による分散処理とETL開発 ・S3/Lake Formation を利用したデータ管理とセキュリティ設計 ・BigQuery を中心としたDWH環境の整備、データモデリング、クエリ最適化 ・AWS→GCP 間のデータ連携パイプライン最適化 ・Terraform を活用したIaCによるマルチクラウドの構成管理/自動化 ・Airflow/MWAA 等のワークフロー管理とCI/CD基盤整備 ・データ品質テストの自動...

【Java/JavaScript】《建築会社向け》会計パッケージの開発、保守(リモート)

・基本設計~結合テスト、保守をご担当 ・フロント：Javascript、Angular、HTML ・サーバー：Java8、SpringBoot、Elasticsearch、ApacheSpark ・DB：AWSAurora、AWSDynamoDB、ApacheCassandra ・インフラ：AWSEC2、S3、EBS、ElastiCache 週5日、リモート

【基本フルリモート/名古屋/AWS】Databricksデータ基盤開発

Databricksを活用したデータ基盤構築プロジェクトに参画いただきます。基本設計から詳細設計、開発、テストまでを一貫して担当し、スキルに応じて要件定義などの上流工程にも携わっていただきます。AWS環境上でのデータ分析基盤構築を中心に、ビッグデータ処理やデータパイプライン整備など、データ活用を支える重要なポジションです。 【技術スタック】 ・クラウド：AWS ・開発言語：Java、Python

【センター北/C言語・Python】自動車ADAS・自動運転開発プロジェクト

大手自動車関連プロジェクトにて、ADAS（先進運転支援システム）および自動運転、コネクテッド領域の開発を担当します。 ご経験に応じて、プロジェクトマネジメント、モデルベース開発、車載組込みソフト開発、データ基盤構築、品質評価・検証などのポジションをご提案します。 自動車業界における大規模開発プロジェクトで、機能安全や品質基準に準拠した開発を推進していただきます。英語を用いたドキュメント対応や海外拠点との連携が発生する可能性もあります。 【技術スタック】 ・開発言語：C言語、C++、Python、Java ・クラウド：AWS、Azure ・データ処理：Spark ・その他：AUTOSAR

【Databricks/BI】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカーにおけるデータ利活用コンサルティング案件です。 Databricks を用いたデータ整形・加工プロセスの設計および実装、要望ヒアリングから要件定義、活用定着までの伴走支援を担当いただきます。 また、社内に蓄積されたデータの可視化（BIツール活用）と、分析基盤の運用・改善もお任せします。 常駐が基本ですが、一部リモートの相談も可能です。

【エンド直】マルチクラウド環境のデータ基盤構築・運用改善/データエンジニア募集

データ基盤構築をお任せします。 ・データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テスト...

【Azure/Databricks/Azure AI Search】エネルギー会社向けセキュリティ審査支援AIエージェント開発【上級SE】

貴方様には、役員直下のポジションとして、財務・IR・M&A等、幅広い業務を通じて経営に貢献していただきます。上場企業としてのガバナンス強化、持続的な成長に向けた戦略立案から実行支援まで、経営層と密接に連携しながら、経営の中枢を担う重要な役割を担っていただきます。 【具体的には】 ◆ADLS→Databricks取込の実装（増分・エラー処理・再実行性を含むジョブ化） ◆Medallion（Bronze/Silver/Gold）実装（Deltaテーブル作成／スキーマ定義含む） ◆Gold出力〜Azure AI Search格納の実装（ADLS出力＋インデクサ設定・実行まで） ◆AI Searchのインデックス設計（フィールド/フ...

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハン（マテリアルハンドリング）メーカー内にて、データ利活用のコンサルティングを担当いただきます。 - Databricks を用いたデータ整形・加工プロセスの設計および実装 - 顧客ヒアリングから要件定義、活用定着までの伴走支援 - 社内蓄積データの可視化（BIツール活用）および分析基盤の運用 - 運用改善やダッシュボード高度化の提案 常駐が基本ですが、状況により一部リモートの相談が可能です。

【Databricks/BI/大阪】データ分析・可視化支援コンサルタント

大手マテハンメーカー内にて、データ利活用のコンサルティングを担当いただきます。 具体的には、Databricksを活用したデータ整形・加工プロセスの設計/構築、顧客要望のヒアリングから要件定義、活用定着までの伴走支援、社内に蓄積されたデータの可視化（BIツール活用）および分析基盤の運用までを一貫してご対応いただきます。 常駐を基本としつつ、一部リモートの相談も可能です。

【Python・SQL/リモートあり】AI SaaSサービス データ分析・AI活用プロジェクトデータサイエンティストポジション

【20代、30代が活躍中！】 ※週5日〜OKの案件です！ ※実務経験1年以上お持ちの方が対象の案件です！ ▼概要 SaaSサービス データ分析・AI活用プロジェクトデータサイエンティストポジション 【業務内容】 本サービスは、ChatGPT、GPT-4 など生成AIを活用した法人向けプラットフォームおける、データ分析・AI活用プロジェクトデータサイエンティストポジションの募集になります。 ・生成AIプラットフォームの利用ログや業務データを活用したデータ分析・可視化 ・ユーザー行動分析、離脱率分析、機能利用状況の可視化 ・AIモデル出力データを用いた品質評価（精度・誤答率・業務貢献度など） ・Pythonを用いたデータ前処...

【リモート併用/Python】クラウド環境 データ基盤構築・運用支援（AI・分析対応）

クラウド環境におけるデータ基盤構築および運用支援業務。ETL/ELTによるデータ取込と整形、データ品質管理、AI/分析チームとの連携・調整。MLOpsや生成AIなど新技術の検証・活用支援も担当。 【技術スタック】 ・開発言語：Python、SQL ・クラウド：Azure／AWS／GCP（いずれか） ・ETL基盤：Databricks、Spark、Data Factory（尚可） ・技術領域：MLOps、生成AI、NLP、RAG（尚可）

【リモート併用/墨田区/Scala】生命保険業界　データエンジニア（バイリンガル）

生命保険業界のデータプラットフォーム構築プロジェクトにおいて、要件調整から設計、データパイプライン構築（Scala / Spark / Java）、CI/CDの自動化、スクリプト開発、運用支援などを担当。クラウドはAzureを中心とし、大規模なデータ処理基盤を構築・最適化する役割を担っていただきます。 【技術スタック】 ・開発言語：Scala、Java、Python ・フレームワーク：Spark ・インフラ：Azure ・データベース：Oracle、MS SQL Server ・その他：Git、Shell、CI/CD

Java／車載ビッグデータ可視化システム追加開発案件・求人

「走行データ」という巨大な資産を価値に変える。エンジニアとしての知的好奇心を刺激するプロジェクトです。本プロジェクトでは、車両から収集される膨大なデータを可視化するシステムの機能追加・維持保守を担当します。 ・監視レポート作成および分析報告 ・設計、製造、単体〜システムテスト、リリース作業までの一貫したデリバリー 市場価値・キャリアメリット： 「Connected Car × Cloud」の専門性を磨き、市場価値の高いエンジニアへ。 現在、自動車業界で最も注目される車載データの活用に携わることで、IoT分野の深い知見が得られます。また、AWSを用いたビッグデータ処理の経験は、今後のクラウドネイティブなキャリアにおいて強力...

【リモート併用/データ分析】生命保険向けBSA・システム分析業務

大手生命保険会社向けの業務分析およびシステム分析業務。要件定義からデータモデリング、データフロー設計、開発チームとの連携による仕様策定や成果物のレビューまで幅広く担当いただきます。日英バイリンガルスキルがある方を歓迎し、Hadoop/Spark環境での分析業務も含まれます。 【技術スタック】 ・データベース：Oracle、MS SQL Server、MongoDB ・ビッグデータ基盤：Hadoop、HBase、Spark ・OS：Linux

【Python】【SE】農機具メーカー向けデータ管理基盤運用・保守、開発支援の求人・案件

農機具メーカー向けデータ管理基盤運用・保守、開発支援にご参画していただきます。\n主な業務内容は以下のとおりです。\n・要件整理支援(機能、非機能要件をまとめる業務)\n・開発支援 等\n\n開発環境：Python、DataBricks、Azure、spark\n\n最寄り駅：堺東駅

【基本リモート/小川町/AWS・GCP】ハイブリッドクラウド基盤 データパイプライン開発

AWSとGCPを併用したハイブリッドクラウド基盤におけるデータパイプライン設計・開発を担当します。GlueによるETL処理、S3やLake Formationを活用したデータ管理、BigQueryを用いたDWH環境整備、Terraformによる環境構築の自動化、Airflowによるジョブ管理といった幅広い工程をお任せします。 【技術スタック】 ・開発言語：Python、Go、Java ・データ処理：AWS Glue（PySpark）、BigQuery ・インフラ：AWS、GCP ・IaC：Terraform ・ワークフロー管理：Airflow、MWAA ・データ管理：S3、Lake Formation ・BI：Looker ...

【Go/Scala/AWS/リモート】配信入稿管理システムの設計・開発・運用エンジニア募集

配信入稿管理システムの設計・開発・運用をご担当いただきます。 詳細設計から実装、単体・結合テスト、運用まで一貫して関与いただき、長期での改善・機能拡張を想定しています。 開発は基本リモートで進行し、Mac・GitHubを用いたチーム開発環境です。

【Python/Databricks】金融機関向けDWH開発業務支援

金融機関向けの新DWH構築に伴い、DatabricksとPythonを用いたETL処理開発をご担当いただきます。 主な作業は以下の通りです。 ・新規データ取り込みジョブの追加開発およびテスト（取り込みロジックは既存流用） ・既存データパイプラインの運用・保守対応 設計〜開発〜テストまで一貫して関与いただき、品質確保と安定稼働を担っていただきます。

【Python】【SE】保険会社向けデータサービス基盤構築の求人・案件

保険会社向けデータサービス基盤構築にご参画していただきます。\nAWSを活用したデータサービス基盤の構築の案件となります。\nGlue・Lambda（Python、Spark）を用いてのデータ連携処理の構築をご実施していただきます。

【千代田区/Python】金融機関向けDWH開発業務支援

新規データベース構築に伴い、ETL処理の設計・開発、既存パイプラインの保守運用業務をご担当いただきます。Pythonやdatabricks、SQLを中心に活用し、安定したデータ処理基盤の維持・改善を行います。 【技術スタック】 ・開発言語：Python ・分析基盤：databricks ・DWH：Google BigQuery ・データ処理：Apache Spark（PySpark）

【Python/AWS/Azure/常駐/週5日】金融データ基盤構築 Databricksエンジニア

新データベース構築に際し、データのETL処理にdatabricksを使用するプロジェクトです。databricks及びPythonでの開発業務をご担当いただきます。 ・新規データを取りこむジョブの追加開発・テスト（取り込み処理は既存流用） ・既存パイプラインの保守、運用