Today: Yesterday: Total: Online:
カテゴリー
その他
  • RSS1.0
  • RSS2.0
  • atom0.3
  • valid XHTML1.0
  • valid CSS2
  • Credit
RSSリーダーで購読する | この日記のはてなブックマーク数 | プロフィール
コメントが一番多い記事(233コメント):人の心理の裏をかくホームページ集客術:リピータになってもらうためには
ツイートが一番多い記事(94ツイート):ちょっと待て!twitterやfacebookに子供の写真を掲載する親達への警告
いいねが一番多い記事(574いいね):facebookスパムに要注意。なりすましの見分け方とアカウント乗っ取りの手口(2013年度版)

[ カテゴリー » AWS ]

カテゴリー » AWS February 17, 2023

pythonでS3のファイルをダウンロード ID:1676624566


Python の boto3 で S3 とダウンロード/アップロードする
https://sig9.org/archives/3005

PythonでBoto3を用いてAmazon S3バケットからファイルをダウンロードする
https://laboratory.kazuuu.net/downloading-files-from-amazon-s3-bucket-using-boto3-in-python/

AWS LambdaのPythonでS3のファイルを取得する
https://dev.classmethod.jp/articles/get-s3-object-with-python-in-lambda/

★AWS Batch および Amazon SageMaker を使用してオンラインの化合物溶解度予測ワークフローを構築する
https://aws.amazon.com/jp/blogs/news/build-an-online-compound-solubility-prediction-workflow-with-aws-batch-and-amazon-sagemaker/
Docker をインストールしてamazonlinuxを使い、

docker pull amazonlinux:latest

docker run -it amazonlinux:latest
yum install epel-release aws-cli python-pip
pip install boto3

boto3をインストール

yum install python2-rdkit
もインストール

— posted by midilin @ 06:02PM | Comment (0)

カテゴリー » AWS » AWS Batch February 02, 2023

AWS batchの実行環境について ID:1675329713


・実行環境として
Amazon ECS
Amazon Lamba
Amazon Fargate
がある。

https://techblog.techfirm.co.jp/entry/serverless-batch-server?utm_source=feed


・Lamba
-小規模系の処理
-サーバーを必要とせずコード(プログラム)を実行できる
実行環境となるサーバーを必要とせず、コードを記述するだけでAWS上で実行できる。(裏側で実行環境を利用している)
-トリガーの設定ができる。
-メモリの割り当てが厳しい、タイムアウト15分あり
-CloudWatch Eventsを初めとした他サービスでのイベントをトリガーにして実行できる

・Fargate
-中規模系の処理
-ECSと一緒に使用する(ECSの付随)
-インスタンスを必要とせず、コンテナの実行・停止が行える
-処理をさせたいDockerイメージが事前に必要
-大きな処理が実行できる
-ECS上でタスクを一元管理する事ができ、同時に実行中のタスクをリアルタイムで監視できる

・Batch
-大規模系の処理
-Fargate同様、ECSを利用するため、処理させたいバッチアプリケーションを含むDockerイメージが事前に必要。
=ECSは並列処理数が10だが、Batchは制限なし

https://bftnagoya.hateblo.jp/entry/2020/12/22/094100#:~:text=Lambda%E3%81%8C%E3%82%B3%E3%83%BC%E3%83%89%E3%80%81%E3%81%AA%E3%81%84%E3%81%97%E9%96%A2%E6%95%B0,ECS%E4%B8%8A%E3%81%A7%E8%A1%8C%E3%81%AA%E3%81%84%E3%81%BE%E3%81%99%E3%80%82

— posted by midilin @ 06:21PM | Comment (0)

カテゴリー » AWS February 02, 2023

AWS Dockerとは ID:1675327025


コンテナ(アプリケーション開発に必要なものが一通り入っている)を実現するためのもの。

ローカルでDockerを作り、サーバーに移動するとかできる
pythonとかインストールすれば、その環境なども移行できる。
(バージョン違いなどが発生しなくなる)


https://biz.nuro.jp/column/aws-mama-042/

— posted by midilin @ 05:37PM | Comment (0)

カテゴリー » AWS February 02, 2023

AWS コンテナとは ID:1675326742


・開発、検証環境などで環境が分かれないように、
 アプリケーション開発に必要なもの(ランタイムとかパッケージ、ランタイム)をいれたもの
・設定はあえて入れていない(環境ごとに設定値を変えるため)
・AWSのコンテナサービスは
Amazon ECS・・・DockerをAmazon ECSで管理
Amazon EKS・・・より細かな設定が可能
AWS Fargate・・・コンテナ実行の環境運用を自動化するサービス
などがある

コンテナ超入門!特長やメリットから、AWSの関連サービスまで理解する
https://biz.nuro.jp/column/aws-mama-042/

— posted by midilin @ 05:32PM | Comment (0)

カテゴリー » AWS » AWS Batch February 01, 2023

AWS Batchのエラー通知方法 ID:1675229246


・AWS Batch のジョブ結果を SNS で通知する
https://blog.serverworks.co.jp/tech/2018/09/07/batch-status/
AWS Batch のジョブ結果を SNS で通知する


Amazon SNS コンソールというのを使って
Eメールの設定ができるらしい
https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/batch_sns_tutorial.html

CloudWatch Eventsでスケジューラーで時間起動し、
AWS Batchのステータスを確認し、検知した結果をLambaに返却し、
SNSに送っている例

— posted by midilin @ 02:27PM | Comment (0)

カテゴリー » AWS » AWS Batch February 01, 2023

AWS Batchでhello word ID:1675227309


【初心者向け】AWS Batchとは
https://www.sunnycloud.jp/column/20220421-01/

1.ジョブ定義を作成
2.コンピューティング環境変数を設定
3.ジョブキューを作成
4.ジョブを作成
5.作成したジョブの実行


【AWS Batch】準備から実行までの流れを図解
https://atsushinotes.com/setup_aws-batch/

・Dockerイメージの作成
-コンテナイメージのダウンロード
-Dokecerイメージの中でプログラム実行環境(Pythonなど)のインストール
-サンプルスクリプトの設定
・ECRリポジトリにDockerイメージを登録
-AWSリポジトリにログイン
-リポジトリの作成
-Dockerイメージのタグ付け
-ECRリポジトリに登録
・AWS Batchの作成
-コンピューティング環境の作成
-ジョブキューの作成
-ジョブ定義の作成
・ジョブの送信
参考)
https://atsushinotes.com/setup_aws-batch/

初めて触るAWS Batch
https://dev.classmethod.jp/articles/aws-batch-overview/

— posted by midilin @ 01:55PM | Comment (0)

カテゴリー » AWS » AWS Batch January 31, 2023

AWS Batchで並列処理 ID:1675170526


AWS Batchの基本と同時並列実行など
https://open-groove.net/aws/aws-batch-parallel-job/
AWS Batchで同時並列処理を行うには、「配列ジョブ」を使う。

公式(配列ジョブ)
https://docs.aws.amazon.com/ja_jp/batch/latest/userguide/array_jobs.html

AWS Batch の配列ジョブの挙動が確認できるチュートリアルをやってみた
https://dev.classmethod.jp/articles/aws-batch-array-index-example/
ジョブ定義をしたあと、ジョブ定義の名称に、JSON で配列ジョブとして7と、並列実行数を渡している

[Step Functions]動的並列処理(Map)を使って60分×24時間=1440ファイルのバッチ処理を楽々実装してみた
https://dev.classmethod.jp/articles/step-functions-serverless-map-every-minute/

— posted by midilin @ 10:08PM | Comment (0)

カテゴリー » AWS » AWS Batch January 30, 2023

AWS Batchの構成図 ID:1675065952


バッチサーバからはじめるサーバレスアーキテクチャ
https://techblog.techfirm.co.jp/entry/serverless-batch-server?utm_source=feed

利用するサービスの選択で、『トリガー』『実行制御』『実行環境』の3観点から主要なサービスを紹介があり


1:ジョブキュー
2:Cloudwatch Logs
3:Amazon ECR
4:Amazon ECS
の構成図がある。

Batchの中にECSがある。ECSがコンテナ。
ECSの中に、ECRがあり、これがDockerイメージで使用される。
https://dev.classmethod.jp/articles/relay_looking_back_aws-batch/

— posted by midilin @ 05:05PM | Comment (0)

カテゴリー » AWS » Lambda January 05, 2023

Lamba初心者向けサイト ID:1672885487


「Hello, World!」をサーバーレスで実行する
https://aws.amazon.com/jp/getting-started/hands-on/run-serverless-code/

— posted by midilin @ 11:24AM | Comment (0)