Lambda on SRE运维博客

使用 AWS Lambda 和 SNS 监控 S3 存储桶中的文件夹

Wenlong — Fri, 20 Sep 2024 16:35:24 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240920163523/
相关话题：https://www.cnsre.cn/tags/lambda/

背景与需求

在许多数据分析和处理工作流中，数据会被定期上传到 Amazon S3 存储桶中的特定目录。为了确保数据同步任务的正常运行，我们需要监控这些目录是否按预期创建了新的子文件夹。如果某个目录下未生成新的子文件夹，可能意味着数据同步任务失败或出现了异常。这时，及时获取通知可以帮助运维人员迅速采取措施，避免数据丢失或延迟。

解决方案概述

本文将介绍一个基于 AWS Lambda 的解决方案，具体步骤如下：

触发机制：定期触发 Lambda 函数（可以使用 CloudWatch Events/ EventBridge）。
检查逻辑：Lambda 函数检查指定的 S3 存储桶和前缀（文件夹）下是否存在新的子文件夹。
通知机制：如果某个前缀下未发现新的子文件夹，Lambda 函数将通过 SNS 发送通知，提醒相关人员进行检查。

详细代码解析

下面是实现上述功能的 Python 代码示例：


import boto3
from datetime import datetime
from dateutil import tz

def lambda_handler(event, context):
    print('Lambda 函数已启动.')
    
    s3 = boto3.resource('s3')
    bucket_name = 'hc-data-analytics'
    local_tz = tz.gettz('Asia/Shanghai')
    now = datetime.now()
    date_prefix = now.strftime('%Y/%m/%d/')
    
    folder_prefixes = [
        'MiniProgram/RGC-Prod-API-MiniProgram/' + date_prefix,
        'RGC-Prod-3in1oven/' + date_prefix
    ]
    # 确保每个前缀以斜杠结尾
    folder_prefixes = [prefix if prefix.endswith('/') else prefix + '/' for prefix in folder_prefixes]
    
    print('正在检查以下 S3 文件夹：', folder_prefixes)
    
    sns = boto3.client('sns')
    topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'
    
    for prefix in folder_prefixes:
        resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
        subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]
    
        if len(subfolders) > 0:
            print(f"子文件夹 '{prefix}' 存在:")
            for folder in subfolders:
                print(f"发现子文件夹: {folder}")
        else:
            message = f"S3桶'{bucket_name}'中'{prefix}'下不存在新增文件夹, 即日志同步S3桶任务失败.请检查."
            sns.publish(TopicArn=topic_arn, Message=message)
            print(f"已发送 SNS 消息: {message}")
        
    print('Lambda 函数已完成.')
    
    return {
        'statusCode': 200,
        'body': 'S3 文件夹存在性检查已完成.'
    }

代码详解

导入必要的库
1 2 3

import boto3 from datetime import datetime from dateutil import tz
- boto3：AWS SDK for Python，用于与 AWS 服务交互。
- datetime 和 dateutil.tz：处理日期和时区。

初始化 S3 资源和相关变量

s3 = boto3.resource('s3')
bucket_name = 'hc-data-analytics'
local_tz = tz.gettz('Asia/Shanghai')
now = datetime.now()
date_prefix = now.strftime('%Y/%m/%d/')

指定要监控的 S3 存储桶名称。
获取当前时间，并格式化为 YYYY/MM/DD/ 的前缀，用于定位当天的文件夹。

定义需要检查的文件夹前缀

folder_prefixes = [
    'MiniProgram/RGC-Prod-API-MiniProgram/' + date_prefix,
    'RGC-Prod-3in1oven/' + date_prefix
]
# 确保每个前缀以斜杠结尾
folder_prefixes = [prefix if prefix.endswith('/') else prefix + '/' for prefix in folder_prefixes]

列出需要检查的两个主要前缀，并确保每个前缀以斜杠结尾，以正确匹配 S3 的目录结构。

初始化 SNS 客户端

1
2

sns = boto3.client('sns')
topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'

指定 SNS 主题的 ARN，用于发送通知。

遍历每个前缀并检查子文件夹


for prefix in folder_prefixes:
    resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
    subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]

    if len(subfolders) > 0:
        print(f"子文件夹 '{prefix}' 存在:")
        for folder in subfolders:
            print(f"发现子文件夹: {folder}")
    else:
        message = f"S3桶'{bucket_name}'中'{prefix}'下不存在新增文件夹, 即日志同步S3桶任务失败.请检查."
        sns.publish(TopicArn=topic_arn, Message=message)
        print(f"已发送 SNS 消息: {message}")

使用 list_objects_v2 方法列出指定前缀下的子文件夹。
如果存在子文件夹，记录日志。
如果不存在子文件夹，构造错误消息并通过 SNS 发送通知。

返回执行结果


return {
    'statusCode': 200,
    'body': 'S3 文件夹存在性检查已完成.'
}

Lambda 函数执行完成后，返回 HTTP 200 状态码和简单的消息体。

部署与配置

登录到 AWS 管理控制台，导航到 Amazon SNS 服务。
创建一个新的 SNS 主题，记下其 ARN（例如，本文代码中的 arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring）。
配置订阅者（如电子邮件地址），以便在收到通知时接收消息。

2. 创建 IAM 角色

Lambda 函数需要适当的权限才能访问 S3 和 SNS：

创建一个 IAM 角色，附加以下策略：
- AmazonS3ReadOnlyAccess：允许读取 S3 存储桶内容。
- AmazonSNSFullAccess 或自定义策略，允许发布到指定的 SNS 主题。
确保 Lambda 函数使用此角色运行。

3. 部署 Lambda 函数

登录到 AWS 管理控制台，导航到 Lambda 服务。
创建一个新的 Lambda 函数，选择 Python 3.x 运行时。
将上述代码粘贴到函数代码编辑器中。
配置环境变量（如有需要）。
设置执行角色为前面创建的 IAM 角色。
配置触发器，可以使用 Amazon EventBridge（之前的 CloudWatch Events）来定期触发 Lambda 函数，例如每天运行一次。

4. 配置 EventBridge 触发器

在 Lambda 函数的“配置”选项卡中，添加一个新的触发器。
选择 EventBridge（CloudWatch Events），并配置一个定时表达式（如 cron(0 0 * * ? *) 表示每天午夜触发一次）。
保存配置，确保触发器已启用。

最佳实践与优化

错误处理：当前代码在异常情况下可能会中断。建议添加 try-except 块，捕获并处理可能的异常，确保 Lambda 函数的稳定性。


try:
    # 主要逻辑
except Exception as e:
    error_message = f"Lambda 函数执行失败: {str(e)}"
    sns.publish(TopicArn=topic_arn, Message=error_message)
    print(error_message)
    raise e

日志记录：利用 AWS CloudWatch Logs 记录详细的日志，便于后续的排查和监控。
参数化配置：将存储桶名称、前缀列表、SNS 主题 ARN 等参数化，通过环境变量或配置文件管理，增强灵活性。
性能优化：对于大规模存储桶，可以考虑使用分页机制（ContinuationToken）处理大量对象，避免漏检。
安全性：确保 IAM 角色只授予必要的最小权限，遵循最小权限原则，增强安全性。

总结

通过结合 AWS Lambda、S3 和 SNS，我们可以轻松实现对 S3 存储桶中特定文件夹的监控，并在出现异常时及时发送通知。这种无服务器的解决方案不仅灵活高效，而且具有高度的可扩展性，适用于各种自动化监控和运维场景。希望本文提供的代码示例和详细解析能帮助您在实际项目中快速实现类似的功能。

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240920163523/
相关话题：https://www.cnsre.cn/tags/lambda/

使用AWS Lambda自动化导出RDS数据库快照的详细指南

Wenlong — Sat, 14 Sep 2024 10:24:25 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240914102425/
相关话题：https://www.cnsre.cn/tags/lambda/

使用AWS Lambda自动化导出RDS数据库快照的详细指南

引言：为什么选择Lambda来导出数据库快照？

在现代云计算环境中，自动化任务是提升效率和降低人为错误的关键。AWS Lambda 是一种无服务器计算服务，允许我们运行代码而无需管理服务器基础设施。在数据库管理中，自动化导出RDS（Relational Database Service）数据库快照是一个常见需求，而Lambda 可以帮助我们高效、灵活地完成这一任务。

背景：使用Lambda自动化RDS快照导出的优势

AWS RDS提供了强大的数据库管理功能，包括备份和恢复。定期导出RDS快照到S3桶中，可以实现数据的长期存档和分析。通过AWS Lambda，我们可以将这一过程自动化，从而减少手动操作并降低出错风险。

Lambda函数实现：自动化导出RDS快照

以下是一个完整的AWS Lambda函数示例，展示如何自动化导出RDS数据库快照。这个脚本使用Python编写，并结合了AWS SDK for Python（Boto3）来与AWS服务进行交互。

Lambda函数示例代码

import boto3
import datetime

def lambda_handler(event, context):
    # 获取当前日期的前一天
    previous_date = datetime.datetime.now() - datetime.timedelta(days=1)
    previous_date_str = previous_date.strftime("%Y-%m-%d")
    # 获取当前日期
    current_date = datetime.datetime.now().strftime("%Y-%m-%d")

    # 构建导出任务的参数
    export_task_identifier = f"export-db-snapshot-{previous_date_str}"
    source_arn = f"arn:aws:rds:region:account-id:snapshot:rds:db-instance-{previous_date_str}-snapshot"
    s3_bucket_name = "your-s3-bucket-name"
    s3_prefix = f"rds-export/{current_date}"
    iam_role_arn = "arn:aws:iam::account-id:role/your-lambda-role"
    export_only = ["your_table_name"]
    kms_key_id = "your-kms-key-id"

    # 创建RDS客户端
    rds_client = boto3.client("rds")

    # 启动导出任务
    response = rds_client.start_export_task(
        ExportTaskIdentifier=export_task_identifier,
        SourceArn=source_arn,
        S3BucketName=s3_bucket_name,
        S3Prefix=s3_prefix,
        IamRoleArn=iam_role_arn,
        ExportOnly=export_only,
        KmsKeyId=kms_key_id
    )

    # 输出任务启动结果
    print(response)

代码详细解析

1. 获取日期和时间

1
2
3

previous_date = datetime.datetime.now() - datetime.timedelta(days=1)
previous_date_str = previous_date.strftime("%Y-%m-%d")
current_date = datetime.datetime.now().strftime("%Y-%m-%d")

我们计算前一天的日期用于指定要导出的快照，并使用当前日期生成S3桶中的路径。这种方法能够确保快照文件被有序存储。

2. 构建导出任务参数

export_task_identifier = f"export-db-snapshot-{previous_date_str}"
source_arn = f"arn:aws:rds:region:account-id:snapshot:rds:db-instance-{previous_date_str}-snapshot"
s3_bucket_name = "your-s3-bucket-name"
s3_prefix = f"rds-export/{current_date}"
iam_role_arn = "arn:aws:iam::account-id:role/your-lambda-role"
export_only = ["your_table_name"]
kms_key_id = "your-kms-key-id"

在这里，我们设置了导出任务的标识符、源快照ARN、目标S3桶及路径、IAM角色、导出的数据表以及KMS密钥。每个参数的配置都对任务的执行至关重要。

3. 启动导出任务

response = rds_client.start_export_task(
    ExportTaskIdentifier=export_task_identifier,
    SourceArn=source_arn,
    S3BucketName=s3_bucket_name,
    S3Prefix=s3_prefix,
    IamRoleArn=iam_role_arn,
    ExportOnly=export_only,
    KmsKeyId=kms_key_id
)
print("Export Task Started Successfully:", response)

通过调用start_export_task方法，我们启动了导出任务，并将参数传递给AWS RDS。成功启动任务后，我们可以查看响应确认任务已正确执行。

4. 错误处理

1
2
3

except Exception as e:
    print("Error starting export task:", e)
    raise e

错误处理部分确保了在启动导出任务时如果发生异常，能够记录错误信息并抛出异常，方便后续排查。

总结：Lambda与RDS快照导出的无缝集成

通过AWS Lambda自动化导出RDS数据库快照，我们能够显著提升数据管理的效率。这种自动化不仅简化了操作流程，还减少了人为错误的风险，使得数据备份和存档变得更加可靠。

希望这个文章能帮助您实现数据库快照的自动化导出。

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240914102425/
相关话题：https://www.cnsre.cn/tags/lambda/

如何使用 Lambda 自动添加CloudWatch所有实例磁盘告警及 SNS 通知

Wenlong — Sat, 06 May 2023 14:25:09 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/230506425079/
相关话题：https://www.cnsre.cn/tags/lambda/

利用Lambda轻松实现EC2实例监控

最近新增了一些服务器，因为每个服务器的基础监控都是要做的。我就想，如何能够快速便捷的方式把这些基础指标都监控上呢？本文将详细介绍如何通过Lambda自动为所有EC2实例添加CloudWatch磁盘告警,并在磁盘利用率超过阈值时,通过SNS主题发送通知。

准备工作

在开始前,我们需要准备:

AWS账号:开通一个AWS账号。
SNS主题:在SNS上创建一个主题,并添加订阅者。订阅方式可以是邮件、短信等。
VPC ID:登录VPC控制台获取VPC ID。
Lambda：需要创建一个Lambda。

创建SNS主题

接下来,我们需要在AWS SNS上创建一个主题,并将订阅者添加到主题中。这些订阅者将会接收磁盘使用超过阈值时的通知。我们可以选择电子邮件、短信等通知方式。

登录到 Amazon SNS 控制台。

单击左侧面板上的“主题”,然后单击“创建主题”。

输入主题名称和主题显示名称,单击“创建主题”。

在主题页面上,单击“订阅”,选择希望接收通知的通知方式。

根据选定的订阅类型输入相关信息,单击“创建订阅”。
在主题页面上,您将看到已创建的订阅。
举个例子,如果我们选择“邮件”作为订阅方式:
在“电子邮件订阅”下,输入接收通知的电子邮件地址。
单击“创建订阅”。
您应会收到一封来自AWS通知的验证电子邮件。请按照电子邮件中的说明进行验证。
一旦验证通过,该订阅将变为“已验证”状态。

现在,当CloudWatch告警触发并调用SNS主题时,验证的电子邮件地址将收到有关警报的电子邮件通知。我们也可以添加多个订阅以接收通过不同渠道的通知,例如电子邮件、短信等。添加订阅者后,我们可以在SNS主题的“概述”页查看订阅的详细信息和状态。在测试Lambda函数时,这有助于确保订阅设置正确和通知能正常发送。

创建Lambda函数

接下来,我们可以在Lambda控制台创建一个新的Lambda函数。

访问 Amazon Lambda 控制台,点击“创建函数”。

选择“从头开始” ,输入函数名称,如“create_cloudwatch_alarm_for_ec2_disk_usage”。
选择Python作为运行环境,选择创建具有基本 Lambda 权限的新角色。
点击“创建函数”。

编写Lambda函数代码

代码我已经写好了，各位大佬收好。代码功能是为所有EC2实例设置CloudWatch磁盘告警,当磁盘利用率超过阈值时,通过SNS主题发送通知。

连接EC2客户端。
获取VPC中运行的EC2实例列表。
遍历实例创建CloudWatch磁盘使用百分比告警。默认阈值是80%。
告警触发SNS主题“you_sns_arn”。

将下面代码复制后进行部分修改。然后替换掉原有代码后，然后保存并部署。

下面是具体代码内容：

'''
Author       : Wenlong Xue 
Date         : 2023-02-27 13:35
LastEditors  : Wenlong Xue 
LastEditTime : 2023-02-27 17:52
Description  : 为 VPC 中的 EC2 实例创建磁盘使用百分比的 CloudWatch 告警，并在磁盘使用超过阈值时发送通知到 SNS 主题
'''
import boto3

def lambda_handler(event, context):
    
    # 连接到 EC2 客户端
    ec2 = boto3.client('ec2')
    
    # 获取 VPC 中运行中的实例列表
    response = ec2.describe_instances(
        Filters=[
            {
                'Name': 'vpc-id',
                'Values': ['vpc-xxxxxx']      # 修改VPC ID
            },
            {
                'Name': 'instance-state-name',
                'Values': ['running']
            }
        ]
    )
    
    # 遍历实例并为磁盘使用百分比创建 CloudWatch 告警
    for reservation in response['Reservations']:
        for instance in reservation['Instances']:
            
            # 获取实例 ID 和 Name 标签
            instance_id = instance['InstanceId']
            instance_name = ''
            for tag in instance['Tags']:
                if tag['Key'] == 'Name':
                    instance_name = tag['Value']
                    break
            
            # 创建磁盘使用百分比的 CloudWatch 告警
            cloudwatch = boto3.client('cloudwatch')
            cloudwatch.put_metric_alarm(
                AlarmName='{}-磁盘使用百分比'.format(instance_name),
                AlarmDescription='{} - 磁盘使用百分比'.format(instance_name),
                ActionsEnabled=True,
                AlarmActions=['you_sns_arn'],   # 修改sns主题,如:arn:aws-cn:sns:cn-north-1:xxxxx:HighDiskUsed
                MetricName='disk_used_percent', # 根据情况修改
                Namespace='CWAgent',            # 根据情况修改
                Dimensions=[
                    {
                        'Name': 'InstanceId',
                        'Value': instance_id
                    }
                ],
                Statistic='Maximum',
                Period=300,
                EvaluationPeriods=1,
                Threshold=80.0,
                ComparisonOperator='GreaterThanOrEqualToThreshold'
            )

给IAM角色添加权限

因为创建具有基本 Lambda 权限的新角色的权限并不完整，所以我们要把代码中所要用到的权限给到这个新角色。

首先,Lambda中找到这个觉得然后给他添加对应的权限。

找到创建的Lambda 函数。
选择函数汇总的配置–权限。
找到执行角色，并点击角色名称连接。

点击添加权限，选择附加策略。
添加 CloudWatchFullAccess 和 AmazonEC2ReadOnlyAccess 权限

最后权限如下：

注意

⚠️ 若提示确少什么权限就补充什么权限。

测试函数

现在,我们已经创建Lambda函数和SNS主题,并将订阅者添加到主题。我们可以测试Lambda函数功能。

我们可以手动运行测试来观察 CloudWatch告警项有没有被添加。
我们也可以进行添加触发器。如：固定时间段运行一次，来遍历新加的服务器。然后添加告警项。

常见问题及解决方案

Q1: 没收到SNS通知怎么办?
A1: 确认订阅邮箱是否正确。检查AWS账号是否有权限向SNS发送通知。
Q2: 如何修改磁盘使用阈值?
A2: 编辑Lambda函数代码,更改"Threshold"的值。
Q3: CloudWatch的告警项中显示数据不足怎么办?
A3: 查看CloudWatch中原本磁盘的指标名称，并修改Lambda函数代码对应的值：MetricName=‘disk_used_percent’；Namespace=‘CWAgent’

参考资料

AWS Lambda文档: https://docs.aws.amazon.com/lambda/
AWS CloudWatch文档: https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/
AWS SNS文档: https://docs.aws.amazon.com/sns/index.html

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/230506425079/
相关话题：https://www.cnsre.cn/tags/lambda/

Lambda函数检查S3文件夹是否存在

Wenlong — Mon, 10 Apr 2023 16:59:07 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/230410659053/
相关话题：https://www.cnsre.cn/tags/lambda/

Lambda函数检查S3文件夹是否存在

作为 AWS 中最常用的对象存储服务，S3 可以用于存储各种类型的文件，包括网站文件、媒体文件、备份文件等等。在 S3 中存储的文件可以通过不同的方式访问，例如在 Web 应用程序中、通过移动应用程序或直接使用 AWS SDK 访问等。

在进行 S3 存储时，如果我们需要将存储的日志同步到另一个桶或区域中，则可以使用 AWS 的 S3 日志同步任务功能。通过将日志同步到其他存储桶或区域中，我们可以更方便地对日志进行分析、监控和管理。

但是，如果 S3 日志同步任务出现故障，我们可能无法及时获取相关的日志信息。因此，为了确保日志同步任务的正常运行，我们需要对任务进行监控。在本文中，我们将介绍如何使用 AWS Lambda 监控 S3 日志同步任务。

介绍

AWS Lambda 是一种无服务器计算服务，可使您在云中运行代码，而无需自己管理服务器。通过使用 Lambda，您可以将代码上传到云中，然后 Lambda 会根据需要自动扩展和缩减计算资源，以满足您的应用程序的请求。Lambda 还支持许多编程语言和库，使您能够编写功能强大的应用程序和服务。

在本文中，我们将使用 Lambda 编写一个函数，该函数将定期检查 S3 存储桶中的文件夹是否存在。如果不存在任何文件夹，则 Lambda 将向指定的 SNS 主题发送一条消息，以便管理员可以及时采取措施。通过使用 Lambda 监控 S3 存储桶中的文件夹，我们可以确保日志同步任务的正常运行。

1. 准备工作

在开始之前，我们需要先准备好以下工作：

一个S3桶，用于存储我们要检查的文件夹。
一个SNS主题，用于发送消息提醒。

2. 创建Lambda函数

在AWS控制台上创建一个Python Lambda函数，名称为s3-folder-exist-checker，并使用以下代码：

import boto3
from datetime import datetime, timedelta
from dateutil import tz

def lambda_handler(event, context):
    print('Lambda 函数已启动.')
    
    s3 = boto3.resource('s3')
    bucket_name = 'my_s3_bucket_name'
    local_tz = tz.gettz('Asia/Shanghai')
    now = datetime.now()
    date_prefix = now.strftime('%Y/%m/%d/')
    
    folder_prefixes = ['my_prefixes/' + date_prefix, 'my_prefixes/' + date_prefix, 'RGC-Prod-3in1oven/' + date_prefix]
    folder_prefixes = [prefix + '/' if not prefix.endswith('/') else prefix for prefix in folder_prefixes]  # 确保每个前缀以斜杠结尾
    
    print('正在检查以下 S3 文件夹：', folder_prefixes)
    
    sns = boto3.client('sns')
    topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'
    
    for prefix in folder_prefixes:
        resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
        subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]
    
        if len(subfolders) > 0:
            print(f"子文件夹 '{prefix}' 存在:")
            for folder in subfolders:
                print(f"发现子文件夹: {folder}")
        else:
            message = f"S3桶'{bucket_name}中'{prefix}'下不存在新增文件夹,即日志同步S3桶任务失败.请检查.'"
            sns.publish(TopicArn=topic_arn, Message=message)
            print(f"已发送 SNS 消息: {message}")
        
    print('Lambda 函数已完成.')
    
    return {
        'statusCode': 200,
        'body': 'S3 文件夹存在性检查已完成.'
    }

接下来是对 Lambda 函数中的一些细节进行讲解。首先，我们定义了 S3 的资源，并且指定了 S3 桶的名称：

s3 = boto3.resource('s3')
bucket_name = 'my_bucket_name'

接着，我们获取当前的时间，并且根据当前时间生成一个目录前缀。我们使用 dateutil 模块中的 tz.gettz 函数来获取一个本地的时区信息。为了确保时区的准确性，我们建议在使用 Lambda 函数时，显式地设置时区信息：

local_tz = tz.gettz('Asia/Shanghai')
now = datetime.now(local_tz)
date_prefix = now.strftime('%Y/%m/%d/')

在 Lambda 函数中，我们使用了 list_objects_v2 方法来列举指定的文件夹。具体来说，我们使用了 CommonPrefixes 参数，该参数可以返回指定前缀下的子文件夹列表。如果返回的子文件夹列表为空，则说明指定的文件夹不存在。如果子文件夹列表不为空，则说明文件夹存在，并且我们可以将每个子文件夹的路径打印出来：

resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]

if len(subfolders) > 0:
    print(f"子文件夹 '{prefix}' 存在:")
    for folder in subfolders:
        print(f"发现子文件夹: {folder}")

如果子文件夹列表为空，则说明文件夹不存在。在这种情况下，我们可以使用 SNS 服务发送一条消息来通知管理员：

if len(subfolders) == 0:
    message = f"S3桶'{bucket_name}中'{prefix}'下不存在新增文件夹,即日志同步S3桶任务失败.请检查.'"
    sns.publish(TopicArn=topic_arn, Message=message)
    print(f"已发送 SNS 消息: {message}")

最后，我们返回了一个包含状态码和消息的字典，以便可以在 Lambda 函数执行过程中监控执行状态：

return {
    'statusCode': 200,
    'body': 'S3 文件夹存在性检查已完成.'
}

确保您的 Lambda 函数有权限访问 S3 和 SNS
在 AWS Lambda 控制台中，创建一个新的 Lambda 函数。在函数代码中将 Python 代码粘贴到代码编辑器中。请确保您选择了正确的运行时环境，并设置以下环境变量：
- BUCKET_NAME：您的 S3 桶名称
- SNS_TOPIC_ARN：SNS 主题的 ARN
配置 Lambda 函数的基本设置和高级设置，包括内存和超时。
在 Lambda 控制台中，测试 Lambda 函数，以确保 Lambda 函数能够访问 S3 桶和 SNS 主题。为了测试该函数，您可以创建一个测试事件，该事件需要一个空的 JSON 对象，例如：
最后，您需要在 Amazon CloudWatch 中设置 CloudWatch Events 规则以定期触发 Lambda 函数。这样您的 Lambda 函数就能在您预定的时间检查 S3 文件夹是否存在并发送通知。

总结

在这篇文章中，我们介绍了一个使用 AWS Lambda、S3 和 SNS 的自动化任务，该任务定期检查 S3 文件夹是否存在并发送通知。我们解释了如何编写 Python 代码来实现此任务，并提供了一个详细的代码示例。我们还介绍了如何在 AWS Lambda 和 Amazon SNS 控制台上配置 Lambda 函数和 SNS 主题，并在 Amazon CloudWatch 中创建定期触发器来触发 Lambda 函数。最后，我们提供了一些最佳实践和注意事项，以确保您的 Lambda 函数和 SNS 主题能够正常工作。

希望这篇文章对您有所帮助！如果您有任何疑问或建议，请在下面的评论区留言。

参考文献

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/230410659053/
相关话题：https://www.cnsre.cn/tags/lambda/

使用 Lambda 函数将 CloudWatch Log 中的日志归档到 S3 桶中

Wenlong — Tue, 06 Dec 2022 11:48:12 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/221205544069/
相关话题：https://www.cnsre.cn/tags/aws/

躺了好久，诈尸了。因为换了工作，所以比较忙一直没有时间去更新博客的内容（主要还是因为懒🤔）

话不多说直接上干货。

需求背景

最近在看费用的时候发现有很大一部分费用都是 cloudwatch log中存储了大量的数据，是因为ec2 将日志传输到了存储到了cloudwatch中。这个存储的多的查询日志的时候收费特别的高。另外一个是因为数据分析用途，大数据分析的同事如果想那到数据的话，还是存储在 S3 中是比较划算和方便的，一个是拿取数据比较方便，另外一个是S3 可以最归档存储，后面的大量数据可以分层储存，以此来降低费用。
如果你也想将你的cloudwatch 中日志组中的日志存储到S3中的话可以参考下这篇文章。

前置条件

创建一个 S3 桶，并修改权限
创建 lambda 函数
有一个Cloudwatch 日志组并且有一天以上的日志
给 lambda分配所需的权限

创建 S3 桶并修改权限

国内S3桶权限配置

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.cn-north-1.amazonaws.com.cn"
            },
            "Action": "s3:GetBucketAcl",
            "Resource": "arn:aws-cn:s3:::<bucket name>"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "logs.cn-north-1.amazonaws.com.cn"
            },
            "Action": "s3:PutObject",
            "Resource": "arn:aws-cn:s3:::<bucket name>/*",
            "Condition": {
                "StringEquals": {
                    "s3:x-amz-acl": "bucket-owner-full-control"
                }
            }
        }
    ]
}

国外S3桶权限配置

{
    "Version": "2012-10-17",
    "Statement": [
      {
          "Action": "s3:GetBucketAcl",
          "Effect": "Allow",
          "Resource": "arn:aws:s3:::<bucket name>",
          "Principal": { "Service": "logs.us-west-2.amazonaws.com" }
      },
      {
          "Action": "s3:PutObject" ,
          "Effect": "Allow",
          "Resource": "arn:aws:s3:::<bucket name>*",
          "Condition": { "StringEquals": { "s3:x-amz-acl": "bucket-owner-full-control" } },
          "Principal": { "Service": "logs.us-west-2.amazonaws.com" }
      }
    ]
}

S3 桶权限文档链接

创建 lambda 函数

创建 lambda

import boto3
import logging
import time
import datetime
import json

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def export_s3_logs(bucket_name, log_group_name, log_stream_name, days_of_logs=1, timeout=1000):
    '''
    today = datetime.datetime.combine(datetime.datetime.utcnow(), datetime.datetime.min.time())
    day_end = today
    day_start = today - datetime.timedelta(days=days_of_logs)
    '''
    today = datetime.datetime.combine(datetime.datetime.utcnow() + datetime.timedelta(hours=8),
                                      datetime.datetime.min.time()) # UTC+8 

    day_end = today - datetime.timedelta(hours=8) # UTC
    day_start = today - datetime.timedelta(days=days_of_logs, hours=8) # UTC    
   
    #print(day_start)
    ts_start = '{0:.0f}'.format(((day_start - datetime.datetime(1970, 1, 1)).total_seconds())*1000)
    ts_end = '{0:.0f}'.format(((day_end - datetime.datetime(1970, 1, 1)).total_seconds())*1000)
    the_date = '/'.join([str(today.year), '0'+str(today.month)[-2:], '0'+str(today.day)[-2:]]) 
    #folder_name = '/'.join([log_group_name, log_stream_name, the_date])
    folder_name = '/'.join([log_group_name,the_date])
    client = boto3.client('logs')
    
    #print (ts_start, ts_end)#, day_start, day_end,the_date
    
    task_id = client.create_export_task(
        logGroupName=log_group_name,
        #logStreamNamePrefix=log_stream_name,
        fromTime=int(ts_start),
        to=int(ts_end),
        destination=bucket_name,
        destinationPrefix=folder_name
    )['taskId']

    i = 1
    while i<timeout:
        response = client.describe_export_tasks(
            taskId=task_id
        )

        status = response['exportTasks'][0]['status']
        if status == 'COMPLETED':
            result = True
            break
        elif status != 'RUNNING':
            result = False
            break
        i += 1
        time.sleep(interval)
    
    return result

def lambda_handler(event, context):
    region = 'cn-northwest-1' # 日志组所在区域
    bucket_name = '<bucket name>' #同区域内的S3桶名称
    log_group_name = '<log group name>' #日志组名称
    log_stream_name = '1' #默认即可
    log_export_days = 1   #默认即可
    export_s3_logs(bucket_name, log_group_name, log_stream_name, log_export_days)

给 lambda 分配权限

AmazonS3的读写权限
CloudWatchLogsFullAccess

验证桶内的文件

最后会以日期的目录将日志归档起来，以方便日后对归档文件进行梳理。

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/221205544069/
相关话题：https://www.cnsre.cn/tags/aws/

Lambda on SRE运维博客

使用 AWS Lambda 和 SNS 监控 S3 存储桶中的文件夹

背景与需求

解决方案概述

详细代码解析

代码详解

部署与配置

1. 创建 SNS 主题

2. 创建 IAM 角色

3. 部署 Lambda 函数

4. 配置 EventBridge 触发器

最佳实践与优化

总结

使用AWS Lambda自动化导出RDS数据库快照的详细指南

使用AWS Lambda自动化导出RDS数据库快照的详细指南

引言：为什么选择Lambda来导出数据库快照？

背景：使用Lambda自动化RDS快照导出的优势

Lambda函数实现：自动化导出RDS快照

Lambda函数示例代码

代码详细解析

1. 获取日期和时间

2. 构建导出任务参数

3. 启动导出任务

4. 错误处理

总结：Lambda与RDS快照导出的无缝集成

如何使用 Lambda 自动添加CloudWatch所有实例磁盘告警及 SNS 通知

利用Lambda轻松实现EC2实例监控

准备工作

创建SNS主题

创建Lambda函数

编写Lambda函数代码

给IAM角色添加权限

测试函数

常见问题及解决方案

参考资料

Lambda函数检查S3文件夹是否存在

Lambda函数检查S3文件夹是否存在

介绍

1. 准备工作

2. 创建Lambda函数

总结

参考文献

使用 Lambda 函数将 CloudWatch Log 中的日志归档到 S3 桶中

需求背景

前置条件

创建 S3 桶并修改权限

国内S3桶权限配置

国外S3桶权限配置

创建 lambda 函数

创建 lambda

给 lambda 分配权限

验证桶内的文件