Apache Spark × 60万円以上の業務委託案件・フリーランス求人一覧｜ページ5

ゲーム機用オンラインサービスに関するビッグデータ分析基盤構築のエンジニア求人・案件 SAP / SAP(CO) / SAP(CO-PC) / IT

・家庭用ゲーム機用オンラインサービスに関するビッグデータ分析基盤の構築、サービス開発および運用 ・クラウドサービスを用いたETLアプリケーション、Web API開発 ・システム要件定義 、アーキテクチャ設計 ・Lightweight Language言語を用いた開発 ・Hadoop、Hive、Spark、ParquetなどのBigData解析技術を用いた開発 ・Linuxを用いたサーバ開発・運用 ・RDBやKVSを用いた開発 ・システムのテスト及びテストの自動化 ・アジャイル開発

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモートのエンジニア求人・案件 プロジェクト管理 / PM / 指揮型PMO / 支援型PMO / プロジェクトサポート/秘書 / システムエンジニア・プログラマー / バックエンドエンジニア(サーバサイド) / スマホアプリ開発(ネイティブ) / フロントエンドエンジニア / 業務系エンジニア / データサイエンティスト / コンサル・プロジェクト管理 / PM (プロジェクトマネージャー) / PMO / インフラ・ネットワークエンジニア / DBA (データベース)管理者 / HTMLコーダー / IT / CRM/SFA/BI / AI / IoT / マーケティング / デジタルマーケティング / データサイエンティスト/アナリスト

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

データ共通基盤の構築支援/半導体メーカー

・要件定義～開発までの一連の業務を担当 ・環境：Apache/SQL Server/Spark/Talend/HyperStore/Kafka/Attunity/NiFi ・クライアントの要望ヒアリングや調整業務

【DWH/Cloud】データエンジニア｜医療・福祉業｜フルリモート

全社のデータを統合し、社内のデータ利活用を促進するデータ基盤チームのデータエンジニアとして、ログ収集、ETL処理、DWH構築などのデータ基盤構築の責務を担っていただきます。 ■募集背景 今夏に薬局向け、医療系ユーザ向に新プロダクトがリリースされ、複数のサービスからデータを取得できるようになりました。今後、それぞれのデータを統合した新規機能開発やカスタマーサクセスにおけるデータ利活用を行うにあたり、全社横断的にデータを統合する必要性が高まってきたためデータエンジニアを募集 ■具体的な業務 分析要件に必要なテーブル、ログの定義設計 AWS Glue Job(Spark) を利用したETL処理の設計開発 Airf...

【SRE/常駐/週5日】　メガバンク向けAMLパッケージカスタマイズ開発案件

海外ベンダーの日本進出に伴い、ベンダーの日系パートナーの位置づけで参画いただきます。 他の日系金融機関にも導入が決まっており、今後拡大が見込まれ、 当案件参画を皮切りに当ベンダーのスペシャリストを育成したいと考えております。 入場は6,7月(開始時期の前倒し応相談)を想定しておりますが、参画前に2か月程英語のオンライン研修を受講いただきます。 海外ベンダーのパッケージの導入の為ビジネスレベルの方が好ましいですが、 実作業の英語頻度はそこまで高くない為、TOEICで一定のスコアを持っている方・日常英会話レベルの方でも検討可能です。 （現場PM・メンバーは日本人となっております） 案件担当のコメント 【作業場所】 ・東京駅近辺...

【Python/SQL】大手金融機関様向けDatabricks開発支援(データエンジニアリング領域)の求人・案件

Databricks環境におけるバッチの設計、開発、テストをご担当いただきます。

【Python/SQL】コマーステクノロジ領域のデータ関連支援(リモート併用可)

・課題の特定からアドホック分析、モデル構築、モデルデプロイメントまでの一連のデータサイエンスワークフローの遂行 ・当該企業が保有する多様なデータまたは外部データを活用した、顧客行動の分析インサイトの導出 ・ビジネス課題を解決するためのSQLやSparkなどを活用した大規模データの処理、適切な予測モデルやアルゴリズムの選択・実装、革新的なソリューションの提案 ・汎用的なデータサイエンスプロダクトの開発 ・データサイエンティスト、コンサルタント、プロジェクトマネージャー、データ戦略家との協働 ・スキルやナレッジを共有・学習する文化の創出 ・Spark、Hive、Kafka、Spark-Streaming、Hadoop、Google...

【Python /一部リモート/週5日】フロー管理システムの開発・保守作業

フロー管理システムの開発・保守作業

【Java／JavaScript／HTML】【SE】会計パッケージ開発・保守の求人・案件

会計パッケージ開発・保守業務にご参画していただきます。\n\n工程：基本設計～結合テスト・保守\n\n環境：\n・フロント：HTML、Javascript、Angular\n・サーバー：Java8、Spring Boot、Elasticsearch、\nAWS EMR、Apache Spark\n・ＤＢ：AWS Aurora、AWS DynamoDB、Apache Cassandra\n・インフラ：AWS EC2、S3、EBS、ElastiCache\n・CI／CD：AWS EKS\n\n最寄り駅：麹町駅

マーケティングプラットフォームの開発！サーバーサイドエンジニア募集

主力Webサービスの機能改修、機能追加をメインで取り組んでいただきます。 【具体的には】 ・広告効果測定、サイト導線等を分析するためのレポートエンジン保守開発 ・プロモーションメール配信やマーケティングオートメーション機能の保守開発 ・Spark／Scala／Mahout／TensorFlowを使った、商品レコメンド機能の保守開発 クライアント等によってプロダクトの開発担当領域が変化するため、柔軟に上流工程からの開発に対応いただく可能性もございます。 【開発環境】 * サーバ：Ruby on Rails + Grape + rspec / Elixir / Java / Scala * フロント：JavaScript...

女性向けヘルスケアアプリの開発業務／データエンジニア

自社サービスである女性向けヘルスケアアプリの開発業務において、データエンジニアとしてデータ分析基盤の関連業務を担当していただきます。 具体的には下記の業務を想定しております。 * データベース設計 * ファクトテーブル、ディメンションテーブルの選定や？多次元モデルのクエリ実装などデータの処理・保存・整理を実施 * スタースキーマ等 各種スキーマの実装と正規化を実施 * マテリアライズドビューの実装 * DMSやS3レプリケーションを使用したデータ連携 * クラウドエンジニアとともに各種サービスからDWHへのデータ連携 * PythonやBashを使用したETL処理 * 関数、単体テスト、オブジェクト指向プログラミング、AW...

Go／SaaSアプリケーション開発案件・求人

kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／BtoB向けコミュニケーションツール基盤開発案件・求人

消費者のオフライン行動(位置情報やセンサー情報)とオンライン行動(web閲覧や購買)情報を活用した 高度な1to1コミュニケーションの実現を目指しています。 このサービスでは、サイトの閲覧ログや会員属性、Beaconログ、位置情報などを基に、 オウンドメディア横断で顧客に最適なタイミング、チャネル、内容でコミュニケーションを可能とする 統合配信基盤としての役割を担います。 ECサイト内のレコメンド枠や小売店のポイントアプリのPUSH通知、 企業のオウンドメディアのバナー枠など、多岐に渡る配信先を想定しています。 ※顧客データの接続など個別のカスタマイズをしつつご提供をしていきます。 今回は上記サービスにおけるバ...

【Python】Webクローラー開発の求人・案件

某大手通信事業者様の生成AI基盤開発支援を行っている中でサイトクローラーの開発業務を行える方を募集しております。

Ruby／ECカートシステム関連アプリケーション開発案件・求人

ECカートシステムと関連する周辺アプリケーションの開発 ※フルリモート可

Ruby／検索事業領域の開発案件・求人

国内大手ECサイトを中心に導入いただいている検索ソリューションの開発を担当していただきます。 多くのECサイトにとって、検索機能はユーザーの購買行動の主軸のひとつであり、購買体験に大きく作用します。 入力されたキーワードの意図を理解した上で、適切な商品を選び出し、エンドユーザーが求めている順番に並べる必要があります。 意図や並び順という絶対的な正解がない世界で、ログを分析し、仮説検証を繰り返しながら サイトやそのユーザーに適切な商品を提示していくことで、ECサイトの購買体験を向上させ、 売上に寄与する手応えが得られます。 経験豊富な検索エンジニアチームがチューニングした検索エンジンをベースに、 お客様に合わせた検...

Go／SaaS開発案件・求人

・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善

Go／ECサイトSaaS開発案件・求人

■案件概要： ・kubernetes 上に構築したアプリケーションの開発や運用業務に携わっていただきます。 ・アプリケーション開発 ・データ系アプリケーションのワークフロー開発 ・運用改善 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

TypeScript／クラウドサービス、Webアプリケーション開発案件・求人

既存サービス（電帳対応、インボイス関連等）に関するプロトタイピング及びフロントエンド及びバックエンド開発。 バックエンド、フロントエンド両面でのフルスタックに活躍いただく案件になります。 ※フルリモート可

【リモート相談可能】AI SaaSのデータエンジニア

案件概要：AI SaaSのデータエンジニア 業務内容： データエンジニアとして、全社横断的なデータ基盤構築・開発をリードしていただきます。 自社AIプロダクトにおけるデータ基盤の設計構築や、 DX事業の顧客に対するデータ活用プロジェクト支援などデータ活用に関する業務を横串でお任せします。 最先端のAIアルゴリズムの研究開発を行っている日本トップクラスのAIスペシャリストと協業しながら、 生成AIを含め最先端のAI技術を活用するためのデータ基盤構築に関わっていただくことが可能です。 開発環境： コード管理 : Git(GitHub) 言語：Python OS：Linux データスタック: Fivetran,dbt,snowf...

【AIエンジニア】カード会社の不正検知学習モデル構築の設計・実装の求人・案件

【主な支援内容】 機械学習モデル、推論機能の設計・実装を行うチームの一人として業務 ・機械学習モデル、推論機能の設計・実装 ・設計、実装はAzure Databricks上で行う

【DWH/ETLなど】内製開発：ETLチームの求人・案件

・SEからのインプットを基に詳細設計 ・ETLコーディング ・ワークフローシナリオ実装 ・UT観点項目作成 ・UTスクリプト作成 ・UT実施 ・必要に応じてシミュレーター/スタブ開発

自動車会社向けデータ転送処理マイグレーション（Java） - フリーエンジニア IT 案件 求人【エンジニアルーム】ITフリーランス ITエンジニア IT個人事業主 仕事 転職 募集

【自動車会社向けデータ転送処理マイグレーション】＊ AWS Lambda+Javaで実装されたデータの転送処理APPをDatabricks(ApacheSpark基盤)上で動くようにマイグレーションする。 ■環境 Java/AWS(Lambda)/Apache Spark Databricks/Delta Lake/Snowflake

【リモート併用】製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム）

■概要 製造業様向けAzure Databricks開発案件（CXプロジェクトの一環としてデータマネージメントシステム） ■主な担当業務 Bronzeにあるデータを変換して次のSilver Layerに持っていく。（Bronze⇒Silver⇒Gold） Gold　LayerのデータをMLなどに活用、BIで分析（別チームが動いている） - 要件分析とソリューションアーキテクチャ設計及び仕様の作成 - データモデリングとデータアーキテクチャ設計 - ETL、データ統合、およびデータ移行の設計 ■働き方 リモート併用

【Azure/DWH/ETL】障害調査、問合せ対応

■概要 Azure Databricks DWHおよび周辺ETLの障害調査、問合せ対応。 日次・月次・年次・任意で連携されるIFファイル（csv, txtなど）を、Azure Data FactoryおよびDatabricks Notebook（Pyspark、SQL）にてDataフォーマット連携・加工処理を実施。 他のプログラムとして、旧DWHで実行されているPL/SQLを変換したストアドがSQL Databaseで実行される。 データの実態はData LakeにParquetファイルで保管されユーザーにUnityCatalogで提供される。

Python／ビックデータの分析およびDB構築案件・求人

某不動産情報サービス企業様が蓄積している大量データの分析、およびDB構築に関わるデータ調査、分析、データクレンジング、名寄せ処理が主な作業となります。 データ分析以外にも希望があればAWSのマネージドサービス（Glue、Lambda、MWAA等）を用いたデータレイク構築作業にも携わっていただくことが可能です。

【AWS】AWSおよびBIによるデータ活用（構築・アプリ・フルスタック）

■内容：スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース） ■期間：7月～（8月～でもok）※基本長期となる予定 ■その他 テレワーク：対応可 顧客事務所（品川等）での対応：有　※フルリモート希望の場合は別途ご相談ください 稼働率は基本100％の想定

【SQL／Python】【SE】製品利用ログ分析基盤の開発・運用の求人・案件

製品利用ログ分析基盤の開発・運用業務に携わっていただきます。\n\n主に下記作業をご担当いただきます。\n・クラウド(AWS)を使用した製品利用ログ分析基盤の開発・運用\n・Redshift (PostgreSQL)上のDBテーブル設計、クエリ開発\n・AWS EMRを使用したETL, データ前処理 (Python, Spark)\n\n作業場所：みなとみらい線沿線

【 AWS/Python/品川/リモート併用】データ分析システム開発・運用作業

某S社グループ内のデータ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） スクラムのメンバーとして、基盤構築/アプリ開発を実施頂きます。（設計、開発、テスト、リリース）

【Linux】アプリケーション、ミドルウェアのパフォーマンス改善業務案件

・高速なレスポンスを実現するためのアプリケーション、ミドルウェアのパフォーマンス改善 ・プロダクト開発と連携したミドルウェア検証・導入 ・各種基盤の監視体制の整備・強化 【開発環境】 Google Cloud Platform 、BigQuery 、StackDriver 、Kubernetes 、Spinnaker 、Docker 、Go 、Linux:CentOS、Ubuntu 、MySQL 、Redis 、Aerospike 、Fluentd 、Apache Spark 、Hadoop(Dataproc) 、Digdag 、DataDog 、 New Relic、Terraform 、Packer Ansible...

【Python/機械学習】データエンジニア募集

■概要 データエンジニアとして、データサイエンティストやエンジニアと協力しながら、 データ基盤を構築・改善し課題解決を行っていただきます。 データ処理/管理/収集、Webクローリングやスクレイピングなどデータ活用周りを幅広くご支援いただきます。

システム運用エンジニア案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActions, digdag, embulk [担当工数] 1.開発/保守改修 2.基...

データ基盤整備案件

1. AWSのデータレイク(S3+Glue data catalog)からBigqueryへのデータ移行作業 2. GCPデータ基盤の整備(ワークフローエンジン導入等) [業務環境] メンバー：3名（TL1名、エンジニア2名） ※部全体：50名弱 [開発環境] ・言語 Python, Hive, Spark ・AWS EMR, Glue, Athena, Lambda, APIGateway ・GCP BigQuery, GCS, Pub/Sub, Dataflow, CloudComposer, Dataproc, Workflows ・CI,CD,その他 Terraform, CircleCI, GithubActio...

ビッグデータ関連におけるシステム開発エンジニア募集案件

大規模データを処理するためのクラウドインフラ・アプリケーションソフトの構築から、 オーディエンスデータとの紐づけやデータ配信を行うソフトウェア開発までを一貫で担っているチームに所属し、 ビッグデータ関連システムの構築、開発、保守を行い、データの加工(ETL)等をご担当いただきます。 インフラエンジニアやアプリケーションエンジニアといった垣根なく、ご活躍いただくお仕事になります

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

エンド直/フルリモート【Python/SQL】データ基盤構築案件

在庫管理システムを支えるデータ基盤の構築案件となります。 主に、機能改善及び機能追加をご担当頂き、 大量データの加工をSQLやPythonを用いて作成し、 集計後、データストアに投入する機構の構築に携わっていただきます。

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Python】新規/既存セキュリティサービス開発案件

新規セキュリティサービスの開発や既存セキュリティサービスの保守開発。 新しい技術を積極的に使ってシステム開発を実施。

【Java】サーバサイドエンジニア案件

日本No1.のコスメ・美容の総合サイトおよび関連サービス全ての 基盤部分の開発・運用を担当をしていただきます。 ■業務内容： ・ポイント関連 ・会員に関する情報管理 ・認証基盤 ・各種検索機能 ・弊社内だけではなくBtoBのサービスとして社外へも提供している様々なAPIの開発及び運用 ※能力に応じて、企画やデザインから検討会議に参加していただくことが可能です。 ■開発環境 ・言語：Java、PHP、(Ruby) ・PHPフレームワーク：Laravel、CakePHP ・JavaScriptフレームワーク：Vue.js ・Javaフレームワーク：Spring boot ・データベース：MySQL、Microsoft SQL ...