S3 ответил 403 Access Denied. А файла там просто не было
Загруженные картинки отдавали 403 из публичного бакета, и первой идеей было открыть доступ шире. На деле ключа не существовало: SDK вписал имя бакета в путь объекта.
От разработчиков пришла просьба: картинки, загруженные через админку, по прямой ссылке на бакет отдают 403 AccessDenied. Предложения были обычные — открыть бакет или пустить трафик с VPN.
Не помогло бы ни то, ни другое. С бакетом всё было в порядке, а вот объектов не было там, куда вели ссылки.
Почему S3 отвечает 403 на отсутствующий объект
Если у вызывающего нет s3:ListBucket, на запрос несуществующего ключа S3 отвечает 403, а не 404. Так задумано: иначе любой мог бы перебором выяснить, какие имена объектов в бакете есть.
У анонимных запросов s3:ListBucket почти никогда нет. Значит, для публичной ссылки 403 означает либо «нет прав», либо «нет объекта», и снаружи их не различить.
Сетевого смысла у этого кода нет вовсе. Публичный эндпоинт S3 доступен откуда угодно, VPN ничего не меняет. Если пришёл нормальный XML с <Code>AccessDenied</Code> — запрос дошёл до S3. Недоступный эндпоинт выглядит как таймаут или отказ соединения, а не как вежливый документ с ошибкой.
Проверка, которая всё решает
Три шага, и ответ даёт третий:
# 1. существует ли объект (нужны креды)
aws s3api head-object --bucket my-bucket --key 'images/photo.jpg'
# 2. что говорят политика бакета и public access block
aws s3api get-bucket-policy --bucket my-bucket --query Policy --output text
aws s3api get-public-access-block --bucket my-bucket
# 3. контроль: заведомо существующий файл, тот же префикс, тот же анонимный запрос
curl -s -o /dev/null -w '%{http_code}\n' https://my-bucket.s3.<region>.amazonaws.com/images/known.jpg
200 на соседнем файле и 403 на искомом — права в порядке, ключа нет.
Имя бакета внутри ключа
Листинг бакета показал префикс верхнего уровня с тем же именем, что и сам бакет. Новые загрузки лежали как my-bucket/images/photo.jpg внутри my-bucket.
Причина — одно значение в конфиге. https://my-bucket.s3.<region>.amazonaws.com — это адрес в стиле virtual-hosted: имя бакета уже в хостнейме. Приложение передало его SDK как endpoint, SDK работал в path-style и добавил имя бакета ещё раз — уже первым сегментом ключа.
Для SDK endpoint должен быть региональным, без бакета: https://s3.<region>.amazonaws.com. А публичный базовый адрес для ссылок в браузере бакет сохраняет. Два параметра с почти одинаковыми значениями — и их легко подставить один вместо другого.
Полезной оказалась мелочь — даты. Несколько сотен объектов по правильным путям были старыми, ещё с переноса. По дублирующему префиксу лежали всего два объекта, оба за тот же день. Значит, загрузка сломалась недавно, а не была такой всегда, — и смотреть надо было на свежую правку конфига, а не на бакет.
Чего не делать
Не открывать бакет шире «на всякий случай», пока не сделан шаг 3. Если неверен ключ, расширенный доступ ничего не починит, а лишняя экспозиция останется навсегда, потому что через месяц никто не вспомнит, зачем её добавили.
CDN перед бакетом тоже не поможет: он честно будет отдавать тот же отсутствующий объект.
Выводы
- Анонимный 403 от S3 неоднозначен. Считайте его «права или нет ключа», пока не доказано обратное.
- Всегда сравнивайте с заведомо существующим объектом по тому же префиксу и тем же типом запроса.
- XML с ошибкой означает, что сеть в порядке. Перестаньте смотреть на VPN и файрволы.
- Endpoint для SDK и публичный базовый адрес — разные настройки. SDK получает региональный endpoint без бакета.
- Если в бакете есть префикс с его же именем — баг найден.