Apache Spark × 50万円以上の業務委託案件・フリーランス求人一覧｜ページ5

【Spark,Tensorflow】産学連携AIシステム開発における基盤構築

広告等の宣伝文章を自動構成するAIシステム開発が進んでおり、 日本語・英語を使用したコピーライティングに関するAIを載せる基盤の構築業務。 言語に関する大規模データの処理

【Python,SQL】ECサイト　デジタルマーケティング

上位リーダーのもとで作業頂くメンバーの方 領域：デジタルマーケティング領域 お客様：ECサイト

【Python,Spark】テキストマイニング

AIエージェントAPIの開発を行う企業にて テキストマイニング

【Python,Hadoop,Spark】大手外資系医療情報・テクロノジーサービス企業データ分析支援

業務内容：世界中から集まる製薬データの分析 メインフレームシステムのダウンサイジング

太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤構築支援(フルリモート)

・ETL/ELTパイプラインの実装（AWS Glue/Pythonを用いたデータ抽出・加工・ロード） ・データモデリング、分析用データベース（Aurora/Athena等）の設計、正規化・非正規化の判断 ・大量データ処理（数千万〜数億件規模の時系列・センサーデータ）の集計最適化 ・IaC（Terraform/CDK）によるデータ基盤の構成管理、監視・アラート設計 ■募集背景 太陽光発電の遠隔モニタリングサービスの新基盤におけるデータ集計・分析基盤（データプラットフォーム STEP3-2）の構築に伴い、体制強化のためデータエンジニアを募集します。 ■その他歓迎スキル ・データレイク関連（Spark/Glue、Apache I...

【AWS/GCP/BigQuery】データ基盤構築支援（出社必須）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 <データレイク / ETL基盤の整備> ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 <運用効率化と品質確保> ・Airflowなどを用いたワークフローの管理と...

【AWS/GCP/BigQuery】データ基盤構築支援（基本出社）

データ基盤構築を担っていただきます。 サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 データレイク / ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 BigQueryベースのDWH環境構築 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 運用効率化と品質確保 ・Airflowな...

【Python】設備事業者/BIシステム改修プロジェクトの求人・案件

既存のTableau環境に対しDatabricksを追加採用し、社内外データを一元的・効率的に管理できる統合データ基盤を構築するプロジェクトになります。 現状：Tableau (BIツール) のみ導入済み。 構築対象範囲： ・Databricksデータ基盤環境の追加構築。 ・データレイク、DWH（データウェアハウス）の統合。 ・周辺のデータ準備処理およびワークフローの整備。 主要業務: データパイプラインの設計・構築

データ共通基盤の構築支援/半導体メーカーのエンジニア求人・案件 プロジェクト管理 / PM / コンサル・プロジェクト管理 / PMO / IT

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

ゲーム機用オンラインサービスに関するビッグデータ分析基盤構築のエンジニア求人・案件 SAP / SAP(CO) / SAP(CO-PC) / IT

・家庭用ゲーム機用オンラインサービスに関するビッグデータ分析基盤の構築、サービス開発および運用 ・クラウドサービスを用いたETLアプリケーション、Web API開発 ・システム要件定義 、アーキテクチャ設計 ・Lightweight Language言語を用いた開発 ・Hadoop、Hive、Spark、ParquetなどのBigData解析技術を用いた開発 ・Linuxを用いたサーバ開発・運用 ・RDBやKVSを用いた開発 ・システムのテスト及びテストの自動化 ・アジャイル開発

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

データ共通基盤の構築支援/半導体メーカー

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモート

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【SRE/常駐/週5日】　メガバンク向けAMLパッケージカスタマイズ開発案件

海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております） 案件担当のコメント 【作業場所】 ・東京駅近辺...

【Python/基本リモート/週5日】通信事業者向けゼロタッチオペレーション開発支援

データ蓄積基盤の開発 下記いずれかに該当する方を求めています。 ・Java/Scala/Pythonの開発経験 ・Scala/Sparkジョブ or AWS Kinesisによるストリーミング処理開発経験 ・OSS(Kafka,Spark,Haddp,Flink)などを利用したストリーミング処理開発経験 ・Pandasライブライを用いた開発経験 ・DataPipeline構築経験(ETL開発経験) ・AWS上でのシステム開発経験3年以上 ・Lambda、Glue Streaming job、DynamoDB、Redshift、RDSなどのマネージドサービス利用 ・ServerlessFrameworkやCloudFormat...

【Python/SQL】大手金融機関様向けDatabricks開発支援(データエンジニアリング領域)の求人・案件

Databricks環境におけるバッチの設計、開発、テストをご担当いただきます。

【Python/SQL】コマーステクノロジ領域のデータ関連支援(リモート併用可)

・課題の特定からアドホック分析、モデル構築、モデルデプロイメントまでの一連のデータサイエンスワークフローの遂行 ・当該企業が保有する多様なデータまたは外部データを活用した、顧客行動の分析インサイトの導出 ・ビジネス課題を解決するためのSQLやSparkなどを活用した大規模データの処理、適切な予測モデルやアルゴリズムの選択・実装、革新的なソリューションの提案 ・汎用的なデータサイエンスプロダクトの開発 ・データサイエンティスト、コンサルタント、プロジェクトマネージャー、データ戦略家との協働 ・スキルやナレッジを共有・学習する文化の創出 ・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google...

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

フロー管理システムの開発・保守作業

【開発エンジニア】MW/SWのバージョンアップに伴うJAVA開発の求人・案件

【概要】 ・車両の走行データなどを専用車載器から収集し、それをWeb上で運転者・管理者が把握できるシステムのMW/SWのバージョンアップ対応 【作業内容】 ・プログラム修正（BeanMapping ライブラリDozerからMapStructに変更） ・単体テスト（画面打鍵及びJUNITテスト） 【環境】 ・OS：Red Hat Enterprise Linux ・Webサーバ：Apache HTTP Server ・APサーバ：Apache Tomcat ・F/W：TERASOLUNA ・DB：PostgreSQL ・開発言語 ：Java(JDK17)

【Java／JavaScript／HTML】【SE】会計パッケージ開発・保守の求人・案件

会計パッケージ開発・保守業務にご参画していただきます。\n\n工程：基本設計～結合テスト・保守\n\n環境：\n・フロント：HTML、Javascript、Angular\n・サーバー：Java8、Spring Boot、Elasticsearch、\nAWS EMR、Apache Spark\n・ＤＢ：AWS Aurora、AWS DynamoDB、Apache Cassandra\n・インフラ：AWS EC2、S3、EBS、ElastiCache\n・CI／CD：AWS EKS\n\n最寄り駅：麹町駅

【Java/JavaScript】物流会社向け会計パッケージの開発・保守の求人・案件

物流会社向け会計パッケージの開発・保守 工程：基本設計～結合テスト・保守 ★環境 フロント：Javascript, Angular, HTML サーバー：Java8, Spring Boot, Elasticsearch, Apache Spark Ｄ　　Ｂ：AWS Aurora, AWS DynamoDB, Apache Cassandra インフラ：AWS EC2, S3, EBS, ElastiCache

マーケティングプラットフォームの開発！サーバーサイドエンジニア募集

主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。 【具体的には】 ・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発 ・プロモーションメール配信やマーケティングオートメーション機能の保守開発 ・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発 クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。 【開発環境】 * サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala * フロント：JavaScript...

女性向けヘルスケアアプリの開発業務／データエンジニア

自社サービスである女性向けヘルスケアアプリの開発業務において、データエンジニアとしてデータ分析基盤の関連業務を担当していただきます。 具体的には下記の業務を想定しております。 * データベース設計 * ファクトテーブル、ディメンションテーブルの選定や？多次元モデルのクエリ実装などデータの処理・保存・整理を実施 * スタースキーマ等 各種スキーマの実装と正規化を実施 * マテリアライズドビューの実装 * DMSやS3レプリケーションを使用したデータ連携 * クラウドエンジニアとともに各種サービスからDWHへのデータ連携 * PythonやBashを使用したETL処理 * 関数、単体テスト、オブジェクト指向プログラミング、AW...

Go／SaaSアプリケーション開発案件・求人

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／BtoB向けコミュニケーションツール基盤開発案件・求人

消費者のオフライン行動(位置情報やセンサー情報)とオンライン行動(web閲覧や購買)情報を活用した 高度な1to1コミュニケーションの実現を目指しています。 このサービスでは、サイトの閲覧ログや会員属性、Beaconログ、位置情報などを基に、 オウンドメディア横断で顧客に最適なタイミング、チャネル、内容でコミュニケーションを可能とする 統合配信基盤としての役割を担います。 ECサイト内のレコメンド枠や小売店のポイントアプリのPUSH通知、 企業のオウンドメディアのバナー枠など、多岐に渡る配信先を想定しています。 ※顧客データの接続など個別のカスタマイズをしつつご提供をしていきます。 今回は上記サービスにおけるバ...

【Python】Webクローラー開発の求人・案件

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

Ruby／ECカートシステム関連アプリケーション開発案件・求人

ECカートシステムと関連する周辺アプリケーションの開発 ※フルリモート可

Ruby／検索事業領域の開発案件・求人

国内大手ECサイトを中心に導入いただいている検索ソリューションの開発を担当していただきます。 多くのECサイトにとって、検索機能はユーザーの購買行動の主軸のひとつであり、購買体験に大きく作用します。 入力されたキーワードの意図を理解した上で、適切な商品を選び出し、エンドユーザーが求めている順番に並べる必要があります。 意図や並び順という絶対的な正解がない世界で、ログを分析し、仮説検証を繰り返しながら サイトやそのユーザーに適切な商品を提示していくことで、ECサイトの購買体験を向上させ、 売上に寄与する手応えが得られます。 経験豊富な検索エンジニアチームがチューニングした検索エンジンをベースに、 お客様に合わせた検...

Go／SaaS開発案件・求人

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／ECサイトSaaS開発案件・求人

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

TypeScript／クラウドサービス、Webアプリケーション開発案件・求人

既存サービス（電帳対応、インボイス関連等）に関するプロトタイピング及びフロントエンド及びバックエンド開発。 バックエンド、フロントエンド両面でのフルスタックに活躍いただく案件になります。 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件

【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

【DWH/ETLなど】内製開発：ETLチームの求人・案件

・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

自動車会社向けデータ転送処理マイグレーション（Java） - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【自動車会社向けデータ転送処理マイグレーション】＊ AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 ■環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

【Azure/DWH/ETL】障害調査、問合せ対応

■概要 Azure Databricks DWHおよび周辺ETLの障害調査、問合せ対応。 日次・月次・年次・任意で連携されるIFファイル（csv, txtなど）を、Azure Data FactoryおよびDatabricks Notebook（Pyspark、SQL）にてDataフォーマット連携・加工処理を実施。 他のプログラムとして、旧DWHで実行されているPL/SQLを変換したストアドがSQL Databaseで実行される。 データの実態はData LakeにParquetファイルで保管されユーザーにUnityCatalogで提供される。

Python／ビックデータの分析およびDB構築案件・求人

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定