Apache Spark × 50万円以上の業務委託案件・フリーランス求人一覧｜ページ7

求人システムのバックエンドエンジニア募集/scala/渋谷駅/リモート有

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 ■工程：要件定義,基本設計,詳細設計,開発,単体テスト,結合テスト,総合テスト,運用 ■開発環境： サーバーサイド：Scala, Play Framework, ZIO, Spark, Flink プロビジョニング：Terraform, Ansible フロントエンド：JS, TypeScript, Vue.js 監視：DataDog, Kibana クラウドサービス：AWS, ...

【Azure/リモート】インフラ・Azure構築案件

在庫管理等の分散処理システムをHadoop on Sparkで組んでおり DMCから逆輸入による導入を実施。

【Scala,Python/リモート】バックエンド・求人システムのバックエンドエンジニア募集

プロダクトオーナーやデザイナー、フロントエンドエンジニアと密に連携しながら、要件定義、設計、開発、運用まで、一気通貫で実施します。 また機能開発だけでなく、リファクタリングや依存ライブラリの更新、パフォーマンス改善等の様々な保守運用開発も実施します。 開発環境: サーバーサイド:Scala, Play Framework, ZIO, Spark, Flink プロビジョニング:Terraform, Ansible フロントエンド:JS, TypeScript, Vue.js 監視:DataDog, Kibana クラウドサービス:AWS, GCP 分析基盤:fluentd, BigQuery, Athena, Google ...

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

【Python/リモート】バックエンド・データエンジニア募集

大手飲食業のお客様に向けたデータ支援をいただきます。 原価や売上などの情報を利用し、データパイプラインの開発等を担当いただきます。 現場内にてデータエンジニアとして業務ご支援をいただきます。 ※データサイエンティスト/アナリストではなくデータエンジニアの募集となります 開発環境: Python, Java,EMR, Spark, PySpark Redshift, BigQuery,AWS Glue MySQL, PostgreSQL

フルリモート【Python/AWS/GCP】自社データインフラのデータ移行作業

・某ITメガベンチャーにて自社データインフラグループのデータ移行作業を担当頂きます。 1. AWSのデータレイク(S3+Glue data catalog) → BigQueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については応募者の意向、能力等を鑑みて決定) 技術環境 O S ：Linux 言　語 ：Python, Hive, Spark Cloud ：AWS, GCP AWS　 ：EMR, Glue, Athena, Lambda, APIGateway GCP　　：BigQuery, GCS, Pub/Sub, Dataflow, CloudCo...

【データ分析補佐】GPSデータを用いた予測支援

1.GPSデータを用いた予測支援 2.SaaS型プロダクトの開発支援 上記いずれかにおいてデータエンジニア業務に従事いただきます。

フルリモート/Python/Hive/Bigqeryデータ基盤整備

業務内容」 1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) (2については本人の意向、能力等を鑑みて判断とさせてください) 開発環境 [言語] Python, Hive, Spark [AWS] EMR, Glue, Athena, Lambda, APIGateway [GCP] BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows [CI・CD・その他] Terraform, CircleCI, GithubActio...

【分析基盤エンジニア】データエンジニア業務

プロジェクトの技術面におけるリードで特にデータパイプラインの設計・構築 ・構築環境の理解からクライアント課題に合わせた設計 ・データ分析のためのBIの開発・運用 ・継続的なモニタリングプロセス、仕組みの構築 ・顧客のビジネス運営におけるデータ活用方法やドメイン知識を素早く理解し、設計・開発に落とし込む

【Python/AIエンジニア】探索型BIツール開発におけるデータサイエンティスト

[ポジション]：AIエンジニア 自社で探索型BIツールを開発しており、そこにおける人材を募集 ・検索・機械学習エンジンの開発・実装、および性能改善 ・自然言語処理を使用した検索エンジンの開発 ・大規模分散処理を伴う汎用的な機械学習エンジンやモデルの開発

【Python,SQL/分析基盤エンジニア】法人営業企業系 データ分析及び、システムデータ分析基盤構築支援 (分析エンジニア/分析基盤エンジニア)

[ポジション]：分析基盤エンジニア ◇データ分析対応チーム、もしくはデータ分析基盤構築チームにて、 A: 定型化されたデータ分析の実行（集計/加工/分析/可視化/アドホック対応など) B: 関連するデータ分析基盤システム構築（インフラ,システム開発/仮想化/など）　のいずれかをご対応いただく予定です。 ・仕様や方針などは、A/B領域共にクライアント側で設定の上、後続対応を実施していただきます。 ・Aについては、基本出社対応、Bについては状況に応じて出社を予定しております。 [稼働先最寄り] ・基本リモート or 現場常駐（出社時は東京都 港区エリア） ※現状、タスクに応じて50/50で対応中 ※ご面談設定の際に、詳細情...

分析基盤クラウド構築案件

オンライン・オフラインのデータをクラウド環境で統合して分析できる基盤構築を行うための環境構築、ETL設計・開発、データ抽出を行います。 データを効果的・効率的に活用するための基盤を構築する戦略的なポジションになります。 クラウド環境：AWS

メディアデータを収集したDMP活用、様々なアルゴリズムの開発

概要 国内メディアのデータを収集したDMPをを活用して、様々な貢献価値につながるアルゴリズムの開発の実施を行う 業務目的 施策で使われるモデルやアルゴリズムを実装し、運用すること。 部門内のインフラエンジニア・アプリケーションエンジニアと協働して、本番システムを開発・運用すること。 プロジェクト例 ● 横断データを活用した、カスタマーのライフイベントタイミング予測 ● カスタマー属性の予測(年収、職業など)

【PHP】サーバサイドエンジニア★国内大手コスメECサイト開発

日本最大のコスメ・美容の総合サイトを運営してる企業にて、PHPを用いた自社ECサイトのサーバーサイド開発をご担当いただきます。 当企業は月間3億PV、会員480万人などのビッグデータを元に様々なサービス提供を行なっております。 今回想定している主な担当工程は、詳細設計～実装がメインではありますが、スキル次第では要件定義、基本設計フェーズから参画して頂く可能性もございます。 チームは機能ごとに複数チームに分かれており、１チーム２～８名規模でアジャイル開発で進めております。 また、言語はサービスによって都度求められる環境や条件に応じて選択しており、モダンな技術にも非常に積極的に取り組んでいます。 ※現場環境： ・言語：...

人材業界でのデータエンジニア募集

■業務内容 （1）Hive、Apache Spark、SQLなどを⽤いたデータ抽出、加⼯ （2）HDPコンポーネントを⽤いたデータ処理フロー構築、データ可視化 （3）Apache Spark MLlibなどを⽤いた機械学習アプリケーションの実装 稼　働：週2日~5日　相談可能 時　間：9：30 - 18：30(応相談) 服　装：ビジネスカジュアル・私服

【MW,機械学習,ブロックチェーン】パッケージ製品ベンダーの研究開発

AIやブロックチェーン等の最新技術を用いた、パッケージ製品への機能拡充を検討されており、 その研究開発のご支援となります。 具体的には、 ・機械学習等のAI機能を用いたグループウェア機能の最適化 ・OCR機能を用いた帳票処理自動化機能 ・ブロックチェーンを用いたBPM連携 等々がスコープとなっております。

【SQL】ビッグデータ分析支援/行動分析、混雑統計

データベース内ビッグデータの集計及び分析作業 データ分析システムの構築/分析データの評価/報告レポートの作成

【Python,Scala,Hadoop】大手金融事業社でのビックデータ案件

某大手金融事業社内でのビックデータ案件になります。 現在稼働しているHadoop環境の運用、保守に加え、 7月から新規機能の開発などがスタートするため、 人員の増員を計画しております。 データ分析は別チームが存在しますので、あくまで分析を行うための 環境構築を行って頂くポジションとなりますが、現場の状況、 また適正次第では分析業務にも関わっていただく可能性がございます。 ・PySparkでHadoopクラスタ上のデータを分析するアプリの開発 ・Hadoopクラスタにデータを取込（いわゆるETL）アプリ・スクリプトの保守

【Scala,ApacheSpark】ビックデータ/レコメンド機能等に関する開発支援

Webサイトへの導入、機能そのものの改修、データ分析などなど

【機械学習,画像認識】パッケージ製品へのAI関連の機能開発支援

パッケージ製品へのAI関連の機能の 拡充を検討されており、その開発のご支援となります。 具体的には、 ・機械学習を用いた処理の最適化機能 ・画像認識機能、OCR機能 ・音声での対話入出力機能 が初期スコープとなっております。

【PHP】データ分析サイトの機能追加支援

データ分析サイトの機能追加 【工程】：・システム仕様の英訳 ・オフショア対応（欧州） 【環境】：Linux、Apache、Tomcat、PHP、MySQL、Hadoop

【Java,Javascript,MySQL,基本設計,Hadoop】レコメンドエンジン開発

・node.js でのAPI設計・開発・テスト ・Hiveクエリの作成・テスト・チューニング ・Spark プログラムの設計・開発・テスト ・Jenkinsジョブの作成 ・Ansible設定ファイルの作成