2022年1月3日 / 最終更新日時 : 2022年1月3日 Python ScrapyをAWS Lambdaで実行するまで ③Lambda関数の定期実行 Scrapyプログラムを定期実行する 前回までの記事 ScrapyをAWS Lambdaで実行するまで ②MySQLdb（mysqlclient）エラーの解決 ScrapyをAWS Lambdaで実行するまで ①関数作成 […]
2021年12月30日 / 最終更新日時 : 2022年1月2日 Python ScrapyをAWS Lambdaで実行するまで ⓪ネットワーク構成と各設定 Scrapy on Lambdaのネットワーク構成と設定 Scrapyプロジェクト on AWS Lambdaのネットワーク構成と必要な設定をメモ。 AWS ネットワーク構成図 Lambda関数をVPC内プライベートサブ […]
2021年12月26日 / 最終更新日時 : 2022年1月3日 Python ScrapyをAWS Lambdaで実行するまで ②MySQLdb（mysqlclient）エラーの解決 LambdaでMySQLdb（mysqlclient）エラー 前回までの記事 ScrapyをAWS Lambdaで実行するまで ①関数作成とデプロイ ScrapyをAWS Lambdaで実行するまで ⓪ネットワーク構成 […]
2021年12月26日 / 最終更新日時 : 2022年1月2日 Python ScrapyをAWS Lambdaで実行するまで ①関数作成とデプロイ LambdaでScrapyを実行する クローリングフレームワーク、ScrapyによるプログラムをAWS Lambda上で実行できるようにするまでに行った手順をメモする。 AWS EC2インスタンス上からLambdaによる […]
2021年12月12日 / 最終更新日時 : 2021年12月12日 Docker Amazon Linux 2 & Python3.9のDockerイメージ【DL可】 Amazon Linux 2 & Python3 Dockerイメージ AWS Amazon Linux 2の公式イメージは以下のdocker pullコマンドでdocker Hubから入手できる。 docker […]
2021年12月5日 / 最終更新日時 : 2021年12月12日 Python 【Python3】requirements.txtでライブラリを一括インストールする requirements.txtによるライブラリのインポート requirements.txtを使用してpipでインストール、管理している全てのライブラリを別の環境にもまとめてインストールする方法をメモ。 環境 : Py […]
2021年6月30日 / 最終更新日時 : 2021年12月12日 AWS 【AWS】Lambdaレイヤーでライブラリを共通化 Lambdaレイヤーの作成方法 LambdaデプロイパッケージではLambda関数ごとにライブラリをzipファイルで用意する必要がありましたが、lambdaレイヤーという機能を使用することで複数の異なるLambda関数か […]
2021年6月27日 / 最終更新日時 : 2021年12月12日 AWS 【AWS】Lambdaデプロイパッケージでライブラリ込みの関数を作成する Lambda関数でPythonライブラリを使用する LambdaのPython3ランタイムで実行する関数とライブラリはデプロイパッケージという仕組みで作成することができます。 関数とライブラリをzipにまとめる ソースコ […]
2021年6月13日 / 最終更新日時 : 2021年6月20日 Python 【Python3】venv仮想環境を作成する venv仮想環境 Python3でvenv仮想環境の使い方をメモします。 環境: macOS Catalina 10.15.7, Python 3.8.5 venvとは venv（virtual environment） […]
2020年12月2日 / 最終更新日時 : 2021年6月26日 AWS git-remote-codecommitでリポジトリをクローン出来ないとき fatal: unable to find remote helper for ‘codecommit’ AWS CodeCommit上のリポジトリをgit-remote-codecommitを使 […]
