Python の boto3 で S3 とダウンロード/アップロードする
https://sig9.org/archives/3005

PythonでBoto3を用いてAmazon S3バケットからファイルをダウンロードする
https://laboratory.kazuuu.net/downloading-files-from-amazon-s3-bucket-using-boto3-in-python/

AWS LambdaのPythonでS3のファイルを取得する
https://dev.classmethod.jp/articles/get-s3-object-with-python-in-lambda/

★AWS Batch および Amazon SageMaker を使用してオンラインの化合物溶解度予測ワークフローを構築する
https://aws.amazon.com/jp/blogs/news/build-an-online-compound-solubility-prediction-workflow-with-aws-batch-and-amazon-sagemaker/
Docker をインストールしてamazonlinuxを使い、

docker pull amazonlinux:latest

docker run -it amazonlinux:latest
yum install epel-release aws-cli python-pip
pip install boto3

boto3をインストール

yum install python2-rdkit
もインストール

— posted by midilin @ 06:02PM | Comment (0)

・実行環境として
Amazon ECS
Amazon Lamba
Amazon Fargate
がある。

https://techblog.techfirm.co.jp/entry/serverless-batch-server?utm_source=feed


・Lamba
-小規模系の処理
-サーバーを必要とせずコード（プログラム）を実行できる
実行環境となるサーバーを必要とせず、コードを記述するだけでAWS上で実行できる。（裏側で実行環境を利用している）
-トリガーの設定ができる。
-メモリの割り当てが厳しい、タイムアウト15分あり
-CloudWatch Eventsを初めとした他サービスでのイベントをトリガーにして実行できる

・Fargate
-中規模系の処理
-ECSと一緒に使用する（ECSの付随）
-インスタンスを必要とせず、コンテナの実行・停止が行える
-処理をさせたいDockerイメージが事前に必要
-大きな処理が実行できる
-ECS上でタスクを一元管理する事ができ、同時に実行中のタスクをリアルタイムで監視できる

・Batch
-大規模系の処理
-Fargate同様、ECSを利用するため、処理させたいバッチアプリケーションを含むDockerイメージが事前に必要。
=ECSは並列処理数が10だが、Batchは制限なし

https://bftnagoya.hateblo.jp/entry/2020/12/22/094100#:~:text=Lambda%E3%81%8C%E3%82%B3%E3%83%BC%E3%83%89%E3%80%81%E3%81%AA%E3%81%84%E3%81%97%E9%96%A2%E6%95%B0,ECS%E4%B8%8A%E3%81%A7%E8%A1%8C%E3%81%AA%E3%81%84%E3%81%BE%E3%81%99%E3%80%82

— posted by midilin @ 06:21PM | Comment (0)

コンテナ（アプリケーション開発に必要なものが一通り入っている）を実現するためのもの。

ローカルでDockerを作り、サーバーに移動するとかできる
pythonとかインストールすれば、その環境なども移行できる。
（バージョン違いなどが発生しなくなる）


https://biz.nuro.jp/column/aws-mama-042/

— posted by midilin @ 05:37PM | Comment (0)

・開発、検証環境などで環境が分かれないように、
　アプリケーション開発に必要なもの（ランタイムとかパッケージ、ランタイム）をいれたもの
・設定はあえて入れていない（環境ごとに設定値を変えるため）
・AWSのコンテナサービスは
Amazon ECS・・・DockerをAmazon ECSで管理
Amazon EKS・・・より細かな設定が可能
AWS Fargate・・・コンテナ実行の環境運用を自動化するサービス
などがある

コンテナ超入門！特長やメリットから、AWSの関連サービスまで理解する
https://biz.nuro.jp/column/aws-mama-042/

— posted by midilin @ 05:32PM | Comment (0)

・AWS Batch のジョブ結果を SNS で通知する
https://blog.serverworks.co.jp/tech/2018/09/07/batch-status/
AWS Batch のジョブ結果を SNS で通知する


Amazon SNS コンソールというのを使って
Eメールの設定ができるらしい
https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/batch_sns_tutorial.html

CloudWatch Eventsでスケジューラーで時間起動し、
AWS Batchのステータスを確認し、検知した結果をLambaに返却し、
SNSに送っている例

— posted by midilin @ 02:27PM | Comment (0)

【初心者向け】AWS Batchとは
https://www.sunnycloud.jp/column/20220421-01/

1.ジョブ定義を作成
2.コンピューティング環境変数を設定
3.ジョブキューを作成
4.ジョブを作成
5.作成したジョブの実行


【AWS Batch】準備から実行までの流れを図解
https://atsushinotes.com/setup_aws-batch/

・Dockerイメージの作成
-コンテナイメージのダウンロード
-Dokecerイメージの中でプログラム実行環境（Pythonなど）のインストール
-サンプルスクリプトの設定
・ECRリポジトリにDockerイメージを登録
-AWSリポジトリにログイン
-リポジトリの作成
-Dockerイメージのタグ付け
-ECRリポジトリに登録
・AWS Batchの作成
-コンピューティング環境の作成
-ジョブキューの作成
-ジョブ定義の作成
・ジョブの送信
参考）
https://atsushinotes.com/setup_aws-batch/

初めて触るAWS Batch
https://dev.classmethod.jp/articles/aws-batch-overview/

— posted by midilin @ 01:55PM | Comment (0)

AWS Batchの基本と同時並列実行など
https://open-groove.net/aws/aws-batch-parallel-job/
AWS Batchで同時並列処理を行うには、「配列ジョブ」を使う。

公式（配列ジョブ）
https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/array_jobs.html

AWS Batch の配列ジョブの挙動が確認できるチュートリアルをやってみた
https://dev.classmethod.jp/articles/aws-batch-array-index-example/
ジョブ定義をしたあと、ジョブ定義の名称に、JSON で配列ジョブとして7と、並列実行数を渡している

[Step Functions]動的並列処理（Map）を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた
https://dev.classmethod.jp/articles/step-functions-serverless-map-every-minute/

— posted by midilin @ 10:08PM | Comment (0)

バッチサーバからはじめるサーバレスアーキテクチャ
https://techblog.techfirm.co.jp/entry/serverless-batch-server?utm_source=feed

利用するサービスの選択で、『トリガー』『実行制御』『実行環境』の3観点から主要なサービスを紹介があり


1：ジョブキュー
2：Cloudwatch Logs
3：Amazon ECR
4：Amazon ECS
の構成図がある。

Batchの中にECSがある。ECSがコンテナ。
ECSの中に、ECRがあり、これがDockerイメージで使用される。
https://dev.classmethod.jp/articles/relay_looking_back_aws-batch/

— posted by midilin @ 05:05PM | Comment (0)

「Hello, World!」をサーバーレスで実行する
https://aws.amazon.com/jp/getting-started/hands-on/run-serverless-code/

— posted by midilin @ 11:24AM | Comment (0)