Sns on SRE运维博客

使用 AWS Lambda 和 SNS 监控 S3 存储桶中的文件夹

Wenlong — Fri, 20 Sep 2024 16:35:24 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240920163523/
相关话题：https://www.cnsre.cn/tags/lambda/

背景与需求

在许多数据分析和处理工作流中，数据会被定期上传到 Amazon S3 存储桶中的特定目录。为了确保数据同步任务的正常运行，我们需要监控这些目录是否按预期创建了新的子文件夹。如果某个目录下未生成新的子文件夹，可能意味着数据同步任务失败或出现了异常。这时，及时获取通知可以帮助运维人员迅速采取措施，避免数据丢失或延迟。

解决方案概述

本文将介绍一个基于 AWS Lambda 的解决方案，具体步骤如下：

触发机制：定期触发 Lambda 函数（可以使用 CloudWatch Events/ EventBridge）。
检查逻辑：Lambda 函数检查指定的 S3 存储桶和前缀（文件夹）下是否存在新的子文件夹。
通知机制：如果某个前缀下未发现新的子文件夹，Lambda 函数将通过 SNS 发送通知，提醒相关人员进行检查。

详细代码解析

下面是实现上述功能的 Python 代码示例：


import boto3
from datetime import datetime
from dateutil import tz

def lambda_handler(event, context):
    print('Lambda 函数已启动.')
    
    s3 = boto3.resource('s3')
    bucket_name = 'hc-data-analytics'
    local_tz = tz.gettz('Asia/Shanghai')
    now = datetime.now()
    date_prefix = now.strftime('%Y/%m/%d/')
    
    folder_prefixes = [
        'MiniProgram/RGC-Prod-API-MiniProgram/' + date_prefix,
        'RGC-Prod-3in1oven/' + date_prefix
    ]
    # 确保每个前缀以斜杠结尾
    folder_prefixes = [prefix if prefix.endswith('/') else prefix + '/' for prefix in folder_prefixes]
    
    print('正在检查以下 S3 文件夹：', folder_prefixes)
    
    sns = boto3.client('sns')
    topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'
    
    for prefix in folder_prefixes:
        resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
        subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]
    
        if len(subfolders) > 0:
            print(f"子文件夹 '{prefix}' 存在:")
            for folder in subfolders:
                print(f"发现子文件夹: {folder}")
        else:
            message = f"S3桶'{bucket_name}'中'{prefix}'下不存在新增文件夹, 即日志同步S3桶任务失败.请检查."
            sns.publish(TopicArn=topic_arn, Message=message)
            print(f"已发送 SNS 消息: {message}")
        
    print('Lambda 函数已完成.')
    
    return {
        'statusCode': 200,
        'body': 'S3 文件夹存在性检查已完成.'
    }

代码详解

导入必要的库
1 2 3

import boto3 from datetime import datetime from dateutil import tz
- boto3：AWS SDK for Python，用于与 AWS 服务交互。
- datetime 和 dateutil.tz：处理日期和时区。

初始化 S3 资源和相关变量

s3 = boto3.resource('s3')
bucket_name = 'hc-data-analytics'
local_tz = tz.gettz('Asia/Shanghai')
now = datetime.now()
date_prefix = now.strftime('%Y/%m/%d/')

指定要监控的 S3 存储桶名称。
获取当前时间，并格式化为 YYYY/MM/DD/ 的前缀，用于定位当天的文件夹。

定义需要检查的文件夹前缀

folder_prefixes = [
    'MiniProgram/RGC-Prod-API-MiniProgram/' + date_prefix,
    'RGC-Prod-3in1oven/' + date_prefix
]
# 确保每个前缀以斜杠结尾
folder_prefixes = [prefix if prefix.endswith('/') else prefix + '/' for prefix in folder_prefixes]

列出需要检查的两个主要前缀，并确保每个前缀以斜杠结尾，以正确匹配 S3 的目录结构。

初始化 SNS 客户端

1
2

sns = boto3.client('sns')
topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'

指定 SNS 主题的 ARN，用于发送通知。

遍历每个前缀并检查子文件夹


for prefix in folder_prefixes:
    resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
    subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]

    if len(subfolders) > 0:
        print(f"子文件夹 '{prefix}' 存在:")
        for folder in subfolders:
            print(f"发现子文件夹: {folder}")
    else:
        message = f"S3桶'{bucket_name}'中'{prefix}'下不存在新增文件夹, 即日志同步S3桶任务失败.请检查."
        sns.publish(TopicArn=topic_arn, Message=message)
        print(f"已发送 SNS 消息: {message}")

使用 list_objects_v2 方法列出指定前缀下的子文件夹。
如果存在子文件夹，记录日志。
如果不存在子文件夹，构造错误消息并通过 SNS 发送通知。

返回执行结果


return {
    'statusCode': 200,
    'body': 'S3 文件夹存在性检查已完成.'
}

Lambda 函数执行完成后，返回 HTTP 200 状态码和简单的消息体。

部署与配置

登录到 AWS 管理控制台，导航到 Amazon SNS 服务。
创建一个新的 SNS 主题，记下其 ARN（例如，本文代码中的 arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring）。
配置订阅者（如电子邮件地址），以便在收到通知时接收消息。

2. 创建 IAM 角色

Lambda 函数需要适当的权限才能访问 S3 和 SNS：

创建一个 IAM 角色，附加以下策略：
- AmazonS3ReadOnlyAccess：允许读取 S3 存储桶内容。
- AmazonSNSFullAccess 或自定义策略，允许发布到指定的 SNS 主题。
确保 Lambda 函数使用此角色运行。

3. 部署 Lambda 函数

登录到 AWS 管理控制台，导航到 Lambda 服务。
创建一个新的 Lambda 函数，选择 Python 3.x 运行时。
将上述代码粘贴到函数代码编辑器中。
配置环境变量（如有需要）。
设置执行角色为前面创建的 IAM 角色。
配置触发器，可以使用 Amazon EventBridge（之前的 CloudWatch Events）来定期触发 Lambda 函数，例如每天运行一次。

4. 配置 EventBridge 触发器

在 Lambda 函数的“配置”选项卡中，添加一个新的触发器。
选择 EventBridge（CloudWatch Events），并配置一个定时表达式（如 cron(0 0 * * ? *) 表示每天午夜触发一次）。
保存配置，确保触发器已启用。

最佳实践与优化

错误处理：当前代码在异常情况下可能会中断。建议添加 try-except 块，捕获并处理可能的异常，确保 Lambda 函数的稳定性。


try:
    # 主要逻辑
except Exception as e:
    error_message = f"Lambda 函数执行失败: {str(e)}"
    sns.publish(TopicArn=topic_arn, Message=error_message)
    print(error_message)
    raise e

日志记录：利用 AWS CloudWatch Logs 记录详细的日志，便于后续的排查和监控。
参数化配置：将存储桶名称、前缀列表、SNS 主题 ARN 等参数化，通过环境变量或配置文件管理，增强灵活性。
性能优化：对于大规模存储桶，可以考虑使用分页机制（ContinuationToken）处理大量对象，避免漏检。
安全性：确保 IAM 角色只授予必要的最小权限，遵循最小权限原则，增强安全性。

总结

通过结合 AWS Lambda、S3 和 SNS，我们可以轻松实现对 S3 存储桶中特定文件夹的监控，并在出现异常时及时发送通知。这种无服务器的解决方案不仅灵活高效，而且具有高度的可扩展性，适用于各种自动化监控和运维场景。希望本文提供的代码示例和详细解析能帮助您在实际项目中快速实现类似的功能。

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240920163523/
相关话题：https://www.cnsre.cn/tags/lambda/

如何使用 Lambda 自动添加CloudWatch所有实例磁盘告警及 SNS 通知

Wenlong — Sat, 06 May 2023 14:25:09 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/230506425079/
相关话题：https://www.cnsre.cn/tags/lambda/

利用Lambda轻松实现EC2实例监控

最近新增了一些服务器，因为每个服务器的基础监控都是要做的。我就想，如何能够快速便捷的方式把这些基础指标都监控上呢？本文将详细介绍如何通过Lambda自动为所有EC2实例添加CloudWatch磁盘告警,并在磁盘利用率超过阈值时,通过SNS主题发送通知。

准备工作

在开始前,我们需要准备:

AWS账号:开通一个AWS账号。
SNS主题:在SNS上创建一个主题,并添加订阅者。订阅方式可以是邮件、短信等。
VPC ID:登录VPC控制台获取VPC ID。
Lambda：需要创建一个Lambda。

创建SNS主题

接下来,我们需要在AWS SNS上创建一个主题,并将订阅者添加到主题中。这些订阅者将会接收磁盘使用超过阈值时的通知。我们可以选择电子邮件、短信等通知方式。

登录到 Amazon SNS 控制台。

单击左侧面板上的“主题”,然后单击“创建主题”。

输入主题名称和主题显示名称,单击“创建主题”。

在主题页面上,单击“订阅”,选择希望接收通知的通知方式。

根据选定的订阅类型输入相关信息,单击“创建订阅”。
在主题页面上,您将看到已创建的订阅。
举个例子,如果我们选择“邮件”作为订阅方式:
在“电子邮件订阅”下,输入接收通知的电子邮件地址。
单击“创建订阅”。
您应会收到一封来自AWS通知的验证电子邮件。请按照电子邮件中的说明进行验证。
一旦验证通过,该订阅将变为“已验证”状态。

现在,当CloudWatch告警触发并调用SNS主题时,验证的电子邮件地址将收到有关警报的电子邮件通知。我们也可以添加多个订阅以接收通过不同渠道的通知,例如电子邮件、短信等。添加订阅者后,我们可以在SNS主题的“概述”页查看订阅的详细信息和状态。在测试Lambda函数时,这有助于确保订阅设置正确和通知能正常发送。

创建Lambda函数

接下来,我们可以在Lambda控制台创建一个新的Lambda函数。

访问 Amazon Lambda 控制台,点击“创建函数”。

选择“从头开始” ,输入函数名称,如“create_cloudwatch_alarm_for_ec2_disk_usage”。
选择Python作为运行环境,选择创建具有基本 Lambda 权限的新角色。
点击“创建函数”。

编写Lambda函数代码

代码我已经写好了，各位大佬收好。代码功能是为所有EC2实例设置CloudWatch磁盘告警,当磁盘利用率超过阈值时,通过SNS主题发送通知。

连接EC2客户端。
获取VPC中运行的EC2实例列表。
遍历实例创建CloudWatch磁盘使用百分比告警。默认阈值是80%。
告警触发SNS主题“you_sns_arn”。

将下面代码复制后进行部分修改。然后替换掉原有代码后，然后保存并部署。

下面是具体代码内容：

'''
Author       : Wenlong Xue 
Date         : 2023-02-27 13:35
LastEditors  : Wenlong Xue 
LastEditTime : 2023-02-27 17:52
Description  : 为 VPC 中的 EC2 实例创建磁盘使用百分比的 CloudWatch 告警，并在磁盘使用超过阈值时发送通知到 SNS 主题
'''
import boto3

def lambda_handler(event, context):
    
    # 连接到 EC2 客户端
    ec2 = boto3.client('ec2')
    
    # 获取 VPC 中运行中的实例列表
    response = ec2.describe_instances(
        Filters=[
            {
                'Name': 'vpc-id',
                'Values': ['vpc-xxxxxx']      # 修改VPC ID
            },
            {
                'Name': 'instance-state-name',
                'Values': ['running']
            }
        ]
    )
    
    # 遍历实例并为磁盘使用百分比创建 CloudWatch 告警
    for reservation in response['Reservations']:
        for instance in reservation['Instances']:
            
            # 获取实例 ID 和 Name 标签
            instance_id = instance['InstanceId']
            instance_name = ''
            for tag in instance['Tags']:
                if tag['Key'] == 'Name':
                    instance_name = tag['Value']
                    break
            
            # 创建磁盘使用百分比的 CloudWatch 告警
            cloudwatch = boto3.client('cloudwatch')
            cloudwatch.put_metric_alarm(
                AlarmName='{}-磁盘使用百分比'.format(instance_name),
                AlarmDescription='{} - 磁盘使用百分比'.format(instance_name),
                ActionsEnabled=True,
                AlarmActions=['you_sns_arn'],   # 修改sns主题,如:arn:aws-cn:sns:cn-north-1:xxxxx:HighDiskUsed
                MetricName='disk_used_percent', # 根据情况修改
                Namespace='CWAgent',            # 根据情况修改
                Dimensions=[
                    {
                        'Name': 'InstanceId',
                        'Value': instance_id
                    }
                ],
                Statistic='Maximum',
                Period=300,
                EvaluationPeriods=1,
                Threshold=80.0,
                ComparisonOperator='GreaterThanOrEqualToThreshold'
            )

给IAM角色添加权限

因为创建具有基本 Lambda 权限的新角色的权限并不完整，所以我们要把代码中所要用到的权限给到这个新角色。

首先,Lambda中找到这个觉得然后给他添加对应的权限。

找到创建的Lambda 函数。
选择函数汇总的配置–权限。
找到执行角色，并点击角色名称连接。

点击添加权限，选择附加策略。
添加 CloudWatchFullAccess 和 AmazonEC2ReadOnlyAccess 权限

最后权限如下：

注意

⚠️ 若提示确少什么权限就补充什么权限。

测试函数

现在,我们已经创建Lambda函数和SNS主题,并将订阅者添加到主题。我们可以测试Lambda函数功能。

我们可以手动运行测试来观察 CloudWatch告警项有没有被添加。
我们也可以进行添加触发器。如：固定时间段运行一次，来遍历新加的服务器。然后添加告警项。

常见问题及解决方案

Q1: 没收到SNS通知怎么办?
A1: 确认订阅邮箱是否正确。检查AWS账号是否有权限向SNS发送通知。
Q2: 如何修改磁盘使用阈值?
A2: 编辑Lambda函数代码,更改"Threshold"的值。
Q3: CloudWatch的告警项中显示数据不足怎么办?
A3: 查看CloudWatch中原本磁盘的指标名称，并修改Lambda函数代码对应的值：MetricName=‘disk_used_percent’；Namespace=‘CWAgent’

参考资料

AWS Lambda文档: https://docs.aws.amazon.com/lambda/
AWS CloudWatch文档: https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/
AWS SNS文档: https://docs.aws.amazon.com/sns/index.html

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/230506425079/
相关话题：https://www.cnsre.cn/tags/lambda/

Sns on SRE运维博客

使用 AWS Lambda 和 SNS 监控 S3 存储桶中的文件夹

背景与需求

解决方案概述

详细代码解析

代码详解

部署与配置

1. 创建 SNS 主题

2. 创建 IAM 角色

3. 部署 Lambda 函数

4. 配置 EventBridge 触发器

最佳实践与优化

总结

如何使用 Lambda 自动添加CloudWatch所有实例磁盘告警及 SNS 通知

利用Lambda轻松实现EC2实例监控

准备工作

创建SNS主题

创建Lambda函数

编写Lambda函数代码

给IAM角色添加权限

测试函数

常见问题及解决方案

参考资料