S3 on SRE运维博客

使用 AWS Lambda 和 SNS 监控 S3 存储桶中的文件夹

Wenlong — Fri, 20 Sep 2024 16:35:24 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240920163523/
相关话题：https://www.cnsre.cn/tags/lambda/

背景与需求

在许多数据分析和处理工作流中，数据会被定期上传到 Amazon S3 存储桶中的特定目录。为了确保数据同步任务的正常运行，我们需要监控这些目录是否按预期创建了新的子文件夹。如果某个目录下未生成新的子文件夹，可能意味着数据同步任务失败或出现了异常。这时，及时获取通知可以帮助运维人员迅速采取措施，避免数据丢失或延迟。

解决方案概述

本文将介绍一个基于 AWS Lambda 的解决方案，具体步骤如下：

触发机制：定期触发 Lambda 函数（可以使用 CloudWatch Events/ EventBridge）。
检查逻辑：Lambda 函数检查指定的 S3 存储桶和前缀（文件夹）下是否存在新的子文件夹。
通知机制：如果某个前缀下未发现新的子文件夹，Lambda 函数将通过 SNS 发送通知，提醒相关人员进行检查。

详细代码解析

下面是实现上述功能的 Python 代码示例：


import boto3
from datetime import datetime
from dateutil import tz

def lambda_handler(event, context):
    print('Lambda 函数已启动.')
    
    s3 = boto3.resource('s3')
    bucket_name = 'hc-data-analytics'
    local_tz = tz.gettz('Asia/Shanghai')
    now = datetime.now()
    date_prefix = now.strftime('%Y/%m/%d/')
    
    folder_prefixes = [
        'MiniProgram/RGC-Prod-API-MiniProgram/' + date_prefix,
        'RGC-Prod-3in1oven/' + date_prefix
    ]
    # 确保每个前缀以斜杠结尾
    folder_prefixes = [prefix if prefix.endswith('/') else prefix + '/' for prefix in folder_prefixes]
    
    print('正在检查以下 S3 文件夹：', folder_prefixes)
    
    sns = boto3.client('sns')
    topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'
    
    for prefix in folder_prefixes:
        resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
        subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]
    
        if len(subfolders) > 0:
            print(f"子文件夹 '{prefix}' 存在:")
            for folder in subfolders:
                print(f"发现子文件夹: {folder}")
        else:
            message = f"S3桶'{bucket_name}'中'{prefix}'下不存在新增文件夹, 即日志同步S3桶任务失败.请检查."
            sns.publish(TopicArn=topic_arn, Message=message)
            print(f"已发送 SNS 消息: {message}")
        
    print('Lambda 函数已完成.')
    
    return {
        'statusCode': 200,
        'body': 'S3 文件夹存在性检查已完成.'
    }

代码详解

导入必要的库
1 2 3

import boto3 from datetime import datetime from dateutil import tz
- boto3：AWS SDK for Python，用于与 AWS 服务交互。
- datetime 和 dateutil.tz：处理日期和时区。

初始化 S3 资源和相关变量

s3 = boto3.resource('s3')
bucket_name = 'hc-data-analytics'
local_tz = tz.gettz('Asia/Shanghai')
now = datetime.now()
date_prefix = now.strftime('%Y/%m/%d/')

指定要监控的 S3 存储桶名称。
获取当前时间，并格式化为 YYYY/MM/DD/ 的前缀，用于定位当天的文件夹。

定义需要检查的文件夹前缀

folder_prefixes = [
    'MiniProgram/RGC-Prod-API-MiniProgram/' + date_prefix,
    'RGC-Prod-3in1oven/' + date_prefix
]
# 确保每个前缀以斜杠结尾
folder_prefixes = [prefix if prefix.endswith('/') else prefix + '/' for prefix in folder_prefixes]

列出需要检查的两个主要前缀，并确保每个前缀以斜杠结尾，以正确匹配 S3 的目录结构。

初始化 SNS 客户端

1
2

sns = boto3.client('sns')
topic_arn = 'arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring'

指定 SNS 主题的 ARN，用于发送通知。

遍历每个前缀并检查子文件夹


for prefix in folder_prefixes:
    resp = s3.meta.client.list_objects_v2(Bucket=bucket_name, Prefix=prefix, Delimiter='/')
    subfolders = [p['Prefix'] for p in resp.get('CommonPrefixes', [])]

    if len(subfolders) > 0:
        print(f"子文件夹 '{prefix}' 存在:")
        for folder in subfolders:
            print(f"发现子文件夹: {folder}")
    else:
        message = f"S3桶'{bucket_name}'中'{prefix}'下不存在新增文件夹, 即日志同步S3桶任务失败.请检查."
        sns.publish(TopicArn=topic_arn, Message=message)
        print(f"已发送 SNS 消息: {message}")

使用 list_objects_v2 方法列出指定前缀下的子文件夹。
如果存在子文件夹，记录日志。
如果不存在子文件夹，构造错误消息并通过 SNS 发送通知。

返回执行结果


return {
    'statusCode': 200,
    'body': 'S3 文件夹存在性检查已完成.'
}

Lambda 函数执行完成后，返回 HTTP 200 状态码和简单的消息体。

部署与配置

登录到 AWS 管理控制台，导航到 Amazon SNS 服务。
创建一个新的 SNS 主题，记下其 ARN（例如，本文代码中的 arn:aws-cn:sns:cn-north-1:1234567890:s3-logs-monitoring）。
配置订阅者（如电子邮件地址），以便在收到通知时接收消息。

2. 创建 IAM 角色

Lambda 函数需要适当的权限才能访问 S3 和 SNS：

创建一个 IAM 角色，附加以下策略：
- AmazonS3ReadOnlyAccess：允许读取 S3 存储桶内容。
- AmazonSNSFullAccess 或自定义策略，允许发布到指定的 SNS 主题。
确保 Lambda 函数使用此角色运行。

3. 部署 Lambda 函数

登录到 AWS 管理控制台，导航到 Lambda 服务。
创建一个新的 Lambda 函数，选择 Python 3.x 运行时。
将上述代码粘贴到函数代码编辑器中。
配置环境变量（如有需要）。
设置执行角色为前面创建的 IAM 角色。
配置触发器，可以使用 Amazon EventBridge（之前的 CloudWatch Events）来定期触发 Lambda 函数，例如每天运行一次。

4. 配置 EventBridge 触发器

在 Lambda 函数的“配置”选项卡中，添加一个新的触发器。
选择 EventBridge（CloudWatch Events），并配置一个定时表达式（如 cron(0 0 * * ? *) 表示每天午夜触发一次）。
保存配置，确保触发器已启用。

最佳实践与优化

错误处理：当前代码在异常情况下可能会中断。建议添加 try-except 块，捕获并处理可能的异常，确保 Lambda 函数的稳定性。


try:
    # 主要逻辑
except Exception as e:
    error_message = f"Lambda 函数执行失败: {str(e)}"
    sns.publish(TopicArn=topic_arn, Message=error_message)
    print(error_message)
    raise e

日志记录：利用 AWS CloudWatch Logs 记录详细的日志，便于后续的排查和监控。
参数化配置：将存储桶名称、前缀列表、SNS 主题 ARN 等参数化，通过环境变量或配置文件管理，增强灵活性。
性能优化：对于大规模存储桶，可以考虑使用分页机制（ContinuationToken）处理大量对象，避免漏检。
安全性：确保 IAM 角色只授予必要的最小权限，遵循最小权限原则，增强安全性。

总结

通过结合 AWS Lambda、S3 和 SNS，我们可以轻松实现对 S3 存储桶中特定文件夹的监控，并在出现异常时及时发送通知。这种无服务器的解决方案不仅灵活高效，而且具有高度的可扩展性，适用于各种自动化监控和运维场景。希望本文提供的代码示例和详细解析能帮助您在实际项目中快速实现类似的功能。

作者：SRE运维博客
博客地址：https://www.cnsre.cn/
文章地址：https://www.cnsre.cn/posts/240920163523/
相关话题：https://www.cnsre.cn/tags/lambda/

如何在Amazon EC2 Linux实例上使用S3fs挂载S3存储桶 - 完整指南

Wenlong — Fri, 09 Apr 2021 16:41:16 +0800

作者：SRE运维博客
博客地址：https://www.cnsre.cn
文章地址：https://www.cnsre.cn/posts/210409164113/
相关话题：https://www.cnsre.cn/tags/aws/

背景介绍

Amazon S3是互联网存储解决方案，能让所有开发人员访问同一个具备可扩展性、可靠性、安全性和快速价廉的数据存储基础设施。Amazon S3 提供了一个简单 Web 服务接口，可用于随时在互联网上的任何位置存储和检索任何数量的数据。开发人员可以利用Amazon提供的REST API接口，命令行接口或者支持不同语言的SDK访问S3服务。

对于原来使用本地目录访问数据的应用程序，比如使用本地磁盘或网络共享盘保存数据的应用系统，如果用户希望把数据放到S3上，则需要修改数据的访问方式，比如修改为使用AWS SDK 或CLI访问S3中存储的数据。为了让用户原来的应用系统能在不做修改的情况下直接使用Amazon S3服务，需要把S3存储桶作为目录挂载到用户服务器的本地操作系统上。常用的挂载工具有S3fs和SubCloud等。本文主要介绍如何利用S3fs将S3存储桶挂载到Amazon EC2 Linux实例上。

S3fs介绍

S3fs是基于FUSE的文件系统，允许Linux和Mac Os X 挂载S3的存储桶在本地文件系统，S3fs能够保持对象原来的格式。关于S3fs的详细介绍，请参见：https://github.com/s3fs-fuse/s3fs-fuse

利用S3fs挂载S3存储桶

准备

使用拥有足够权限的IAM账号登录AWS控制台。

创建S3存储桶，给存储桶命名如`s3fs-mount-bucket`（如果使用已有存储桶，本步骤可略过）。

有该S3存储桶访问权限的 IAM 用户，并为该IAM用户创建访问密钥。

关于如何创建IAM用户，请参见：http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_users_create.html#id_users_create_console
关于如何为IAM用户创建访问密钥，请参见：http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_credentials_access-keys.html
关于如何为IAM用户设置权限策略，请参见：http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/access_policies_create.html

https://aws.amazon.com/cn/blogs/security/writing-iam-policies-how-to-grant-access-to-an-amazon-s3-bucket/

创建并启动Amazon EC2 Linux实例

具体过程请参见：http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/launching-instance.html

安装和配置S3fs

安装s3f

安装必要的软件包

`1`	`sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel`

下载，编译并安装s3fs

git clone https://github.com/s3fs-fuse/s3fs-fuse.git
cd s3fs-fuse
./autogen.sh
./configure
make
sudo make install

检查s3fs是否安装成功

[ec2-user@ip-172-31-23-148 s3fs-fuse]$ s3fs
s3fs: missing BUCKET argument.
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...
[ec2-user@ip-172-31-23-148 ~]$ which s3fs
/usr/local/bin/s3fs

创建IAM用户访问密钥文件

IAM用户访问密钥内容可以写入当前用户默认密钥文件比如/home/ec2-user/.passwd-s3fs或者用户自己创建的文件。
命令格式：echo [IAM用户访问密钥ID]:[ IAM用户访问密钥] >[密钥文件名]
命令举例：下面的例子将在当前用户默认路径创建密钥文件

`1`	`echo AKIAIOEO4E2VOHLxxxxx:2LXBboddEpRLmWl48i3+b4ziwPL3bJ4vxxxxxxxx > /home/ec2-user/.passwd-s3fs`

请注意：访问海外AWS S3服务和中国 S3服务使用的是不同的IAM账号，对应不同的密钥。

设置密钥文件只能够被当前用户访问

命令格式：chmod 600 [密钥文件名]
命令举例：下面的例子将设置密钥文件只能被当前用户访问

`1`	`chmod 600 /home/ec2-user/.passwd-s3fs`

手动挂载S3存储桶

S3fs挂载存储桶使用的命令是s3fs

s3fs的命令格式是：

s3fs BUCKET MOUNTPOINT [OPTION]…
s3fs [S3存储桶名] [本地目录名] [OPTION]
OPTION是可选项，格式是 –o <option_name>=<option_value>，常用的options有：

名称	含义	缺省值
passwd_file	指定挂载的密钥文件
connect_timeout	设置超时连接等待的时间，单位秒	300
url	设置访问s3的url	http://s3.amazonaws.com
endpoint	设置s3存储桶的endpoint	us-east-1
allow_other	设置allow_other允许所有用户访问挂载点目录，设置这个选项需要在 /etc/fuse.conf 文件添加user_allow_other选项

手动挂载AWS海外区域S3存储桶

命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o endpoint=[区域名]
命令举例：下面的例子将名为s3fs-mount-bucket的新加坡区域S3存储桶挂载到指定的本地目录/home/ec2-user/s3mnt。

`1`	`s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/home/ec2-user/.passwd-s3fs -o endpoint=ap-northeast-1`

手动挂载AWS中国北京区域S3存储桶

命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1
命令举例：下面的例子将名为s3fs-mount-bucket的北京区域S3存储桶挂载到本地目录/home/ec2-user/s3mnt。

`1`	`s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/home/ec2-user/.passwd-s3fs -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1`

检查挂载结果

挂载操作执行结束后，可以使用Linux df命令查看挂载是否成功。出现类似下面256T的s3fs文件系统即表示挂载成功。用户就可以进入本地挂载目录去访问存储在S3存储桶中的对象。

[ec2-user@ip-172-31-23-148 ~]$ df -h

文件系统        容量  已用  可用 已用% 挂载点

devtmpfs        488M   56K  488M    1% /dev

tmpfs           498M     0  498M    0% /dev/shm

/dev/xvda1      7.8G  1.2G  6.6G   15% /

s3fs            256T     0  256T    0% /home/ec2-user/s3mnt

 

[ec2-user@ip-172-31-23-148 ~]$ cd /home/ec2-user/s3mnt

[ec2-user@ip-172-31-23-148 s3mnt]$ ls -l

总用量 1

-rw-rw-r-- 1 ec2-user ec2-user 19 10月 18 07:13 a.txt

[ec2-user@ip-172-31-23-148 s3mnt]$

卸载挂载的S3存储桶

如果不再需要通过挂载方式访问S3存储桶，可以使用Linux “umount”命令卸载

[ec2-user@ip-172-31-23-148 ~]$ sudo umount /home/ec2-user/s3mnt

[ec2-user@ip-172-31-23-148 ~]$ df -h

文件系统        容量  已用  可用 已用% 挂载点

devtmpfs        488M   56K  488M    1% /dev

tmpfs           498M     0  498M    0% /dev/shm

/dev/xvda1      7.8G  1.2G  6.6G   15% /

调试

如果遇到手动挂载不成功的问题，请尝试在执行的命令后面添加下面的参数，并检查输出日志中的错误提示信息：

命令格式：[完整的s3fs挂载命令] -d -d -f -o f2 -o curldbg
命令举例：下面的例子试图将名为s3fs-mount-bucket的S3存储桶挂载到指定的本地目录/home/ec2-user/s3mnt下，并输出挂载过程详细调试日志。

[ec2-user@ip-172-31-23-148 ~]$ s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/home/ec2-user/.passwd-s3fs -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1 -d -d -f -o f2 -o curldbg

[CRT] s3fs.cpp:set_s3fs_log_level(254): change debug level from [CRT] to [INF]

[CRT] s3fs.cpp:set_s3fs_log_level(254): change debug level from [INF] to [DBG]

[INF]     s3fs.cpp:set_moutpoint_attribute(4196): PROC(uid=500, gid=500) - MountPoint(uid=500, gid=500, mode=40775)

FUSE library version: 2.9.4

nullpath_ok: 0

nopath: 0

utime_omit_ok: 0

设置开机自动挂载S3存储桶

创建全局IAM用户访问密钥文件

切换Linux系统用户账号到root用户，把IAM用户访问密钥内容写入/etc/passwd-s3fs文件中，并限制该文件的访问权限。/etc/passwd-s3fs文件是s3fs保存IAM用户访问密钥的全局默认路径。

请注意：访问海外AWS S3服务和中国 S3服务使用的是不同的IAM账号，对应不同的密钥。

sudo su

echo AKIAIOEO4E2VOHLxxxxx:2LXBboddEpRLmWl48i3+b4ziwPL3bJ4vxxxxxxxx > /etc/passwd-s3fs

chmod 600 /etc/passwd-s3fs

修改/etc/fstab文件

编辑/etc/fstab文件，添加后面的自动挂载命令。

`1`	`vi /etc/fstab`

自动挂载海外区域S3存储桶

命令格式：s3fs#[S3存储桶名] [本地目录名] fuse _netdev,allow_other,endpoint=[区域名] 0 0
命令举例：添加下面的语句到/etc/fstab后，Linux系统启动后将自动把名为s3fs-mount-bucket的新加坡区域S3存储桶挂载到本地目录/home/ec2-user/s3mnt，并允许其它操作系统用户(非root用户)访问。

`1`	`/usr/local/bin/s3fs#s3fs-mount-bucket /home/ec2-user/s3mnt fuse _netdev,allow_other,endpoint=ap-northeast-1 0 0`

自动挂载中国北京区域S3存储桶

命令格式：s3fs#[S3存储桶名] [本地目录名] fuse allow_other,url=http://s3.cn-north-1.amazonaws.com.cn,endpoint=cn-north-1 0 0
命令举例：添加下面的语句到/etc/fstab后，Linux系统启动将自动把名为s3fs-mount-bucket的北京区域S3存储桶挂载到本地目录/home/ec2-user/s3mnt下，并允许其它操作系统用户(非root用户)访问。

`1`	`/usr/local/bin/s3fs#s3fs-mount-bucket /home/ec2-user/s3mnt fuse allow_other,url=http://s3.cn-north-1.amazonaws.com.cn,endpoint=cn-north-1 0 0`

局限性

利用S3fs可以方便的把S3存储桶挂载在用户本地操作系统目录中，但是由于S3fs实际上是依托于Amazon S3服务提供的目录访问接口，所以不能简单的把S3fs挂载的目录和本地操作系统目录等同使用。用户使用S3f3挂载S3存储桶和直接访问S3服务有类似的使用场景。适用于对不同大小文件对象的一次保存（上传），多次读取（下载）。不适用于对已保存文件经常做随机修改，因为每次在本地修改并保存文件内容都会导致S3fs上传新的文件到Amazon S3去替换原来的文件。从访问性能上来说，通过操作系统目录方式间接访问Amazon S3存储服务的性能不如直接使用SDK或CLI接口访问效率高。以本地配置文件方式保存访问密钥的安全性也不如使用EC2 IAM角色方式高。

关于S3fs使用时候需要注意的更多细节，请参考下面s3fs官网内容：
“Generally S3 cannot offer the same performance or semantics as a local file system. More specifically:

random writes or appends to files require rewriting the entire file
metadata operations such as listing directories have poor performance due to network latency
eventual consistency can temporarily yield stale data
no atomic renames of files or directories
no coordination between multiple clients mounting the same bucket
no hard links ”

通常S3不能提供与本地文件系统相同的性能或语义。进一步来说：

随机写入或追加到文件需要重写整个文件
元数据操作比如列出目录会因为网络延迟原因导致性能较差
最终一致性设计可能临时导致过期数据
没有对文件或目录的原子重命名功能
挂载相同存储桶的多个客户端之间没有相互协调机制
不支持硬链接

总结

利用S3fs可以把共享的Amazon S3存储桶直接挂载在用户服务器本地目录下，应用不需要做修改就可以直接使用Amazon S3存储服务，这种方式可以作为临时解决方案将传统应用快速迁移到AWS平台。

在已经提供了Amazon EFS（Elastic File System）服务的AWS区域，建议用户优先考虑使用Amazon EFS服务，因为它具有更高的性能。在目前还没有提供EFS服务的AWS区域，用户可以先暂时使用S3fs实现快速业务迁移。然后逐步调整S3数据访问实现方式，最终修改为使用AWS SDK或CLI方式高效并更加安全地访问S3存储服务。

作者：SRE运维博客
博客地址：https://www.cnsre.cn
文章地址：https://www.cnsre.cn/posts/210409164113/
相关话题：https://www.cnsre.cn/tags/aws/

S3 on SRE运维博客

使用 AWS Lambda 和 SNS 监控 S3 存储桶中的文件夹

背景与需求

解决方案概述

详细代码解析

代码详解

部署与配置

1. 创建 SNS 主题

2. 创建 IAM 角色

3. 部署 Lambda 函数

4. 配置 EventBridge 触发器

最佳实践与优化

总结

如何在Amazon EC2 Linux实例上使用S3fs挂载S3存储桶 - 完整指南

背景介绍

S3fs介绍

利用S3fs挂载S3存储桶

准备

使用拥有足够权限的IAM账号登录AWS控制台。

创建S3存储桶，给存储桶命名如s3fs-mount-bucket（如果使用已有存储桶，本步骤可略过）。

有该S3存储桶访问权限的 IAM 用户，并为该IAM用户创建访问密钥。

创建并启动Amazon EC2 Linux实例

安装和配置S3fs

安装s3f

创建IAM用户访问密钥文件

设置密钥文件只能够被当前用户访问

手动挂载S3存储桶

设置开机自动挂载S3存储桶

创建全局IAM用户访问密钥文件

修改/etc/fstab文件

局限性

总结

创建S3存储桶，给存储桶命名如`s3fs-mount-bucket`（如果使用已有存储桶，本步骤可略过）。