← Все статьи

S3 ответил 403 Access Denied. А файла там просто не было

Загруженные картинки отдавали 403 из публичного бакета, и первой идеей было открыть доступ шире. На деле ключа не существовало: SDK вписал имя бакета в путь объекта.

От разработчиков пришла просьба: картинки, загруженные через админку, по прямой ссылке на бакет отдают 403 AccessDenied. Предложения были обычные — открыть бакет или пустить трафик с VPN.

Не помогло бы ни то, ни другое. С бакетом всё было в порядке, а вот объектов не было там, куда вели ссылки.

Почему S3 отвечает 403 на отсутствующий объект

Если у вызывающего нет s3:ListBucket, на запрос несуществующего ключа S3 отвечает 403, а не 404. Так задумано: иначе любой мог бы перебором выяснить, какие имена объектов в бакете есть.

У анонимных запросов s3:ListBucket почти никогда нет. Значит, для публичной ссылки 403 означает либо «нет прав», либо «нет объекта», и снаружи их не различить.

Сетевого смысла у этого кода нет вовсе. Публичный эндпоинт S3 доступен откуда угодно, VPN ничего не меняет. Если пришёл нормальный XML с <Code>AccessDenied</Code> — запрос дошёл до S3. Недоступный эндпоинт выглядит как таймаут или отказ соединения, а не как вежливый документ с ошибкой.

Проверка, которая всё решает

Три шага, и ответ даёт третий:

# 1. существует ли объект (нужны креды)
aws s3api head-object --bucket my-bucket --key 'images/photo.jpg'

# 2. что говорят политика бакета и public access block
aws s3api get-bucket-policy --bucket my-bucket --query Policy --output text
aws s3api get-public-access-block --bucket my-bucket

# 3. контроль: заведомо существующий файл, тот же префикс, тот же анонимный запрос
curl -s -o /dev/null -w '%{http_code}\n' https://my-bucket.s3.<region>.amazonaws.com/images/known.jpg

200 на соседнем файле и 403 на искомом — права в порядке, ключа нет.

Имя бакета внутри ключа

Листинг бакета показал префикс верхнего уровня с тем же именем, что и сам бакет. Новые загрузки лежали как my-bucket/images/photo.jpg внутри my-bucket.

Причина — одно значение в конфиге. https://my-bucket.s3.<region>.amazonaws.com — это адрес в стиле virtual-hosted: имя бакета уже в хостнейме. Приложение передало его SDK как endpoint, SDK работал в path-style и добавил имя бакета ещё раз — уже первым сегментом ключа.

Для SDK endpoint должен быть региональным, без бакета: https://s3.<region>.amazonaws.com. А публичный базовый адрес для ссылок в браузере бакет сохраняет. Два параметра с почти одинаковыми значениями — и их легко подставить один вместо другого.

Полезной оказалась мелочь — даты. Несколько сотен объектов по правильным путям были старыми, ещё с переноса. По дублирующему префиксу лежали всего два объекта, оба за тот же день. Значит, загрузка сломалась недавно, а не была такой всегда, — и смотреть надо было на свежую правку конфига, а не на бакет.

Чего не делать

Не открывать бакет шире «на всякий случай», пока не сделан шаг 3. Если неверен ключ, расширенный доступ ничего не починит, а лишняя экспозиция останется навсегда, потому что через месяц никто не вспомнит, зачем её добавили.

CDN перед бакетом тоже не поможет: он честно будет отдавать тот же отсутствующий объект.

Выводы

  • Анонимный 403 от S3 неоднозначен. Считайте его «права или нет ключа», пока не доказано обратное.
  • Всегда сравнивайте с заведомо существующим объектом по тому же префиксу и тем же типом запроса.
  • XML с ошибкой означает, что сеть в порядке. Перестаньте смотреть на VPN и файрволы.
  • Endpoint для SDK и публичный базовый адрес — разные настройки. SDK получает региональный endpoint без бакета.
  • Если в бакете есть префикс с его же именем — баг найден.