Autovacuum-მა 443 863-ჯერ იმუშავა და ვერაფერი გაასუფთავა: ობოლი მოთხოვნები რეპლიკაზე
გადახდები 85 წუთის დაგვიანებით ირიცხებოდა. Outbox-ის relay ცოცხალი იყო, ტრაფიკი ნორმაში, vacuum წამითაც არ ჩერდებოდა. Primary-ის xmin horizon-ს კი რეპლიკაზე დავიწყებული ცხრა მოთხოვნა იჭერდა.
ღამით გადახდების სერვისში დეპოზიტები pending-ში გაჩერება დაიწყეს. გადახდის პროვაიდერს ფული უკვე ჩამოჭრილი ჰქონდა, webhook მიღებული იყო, ბალანსი კი არ ივსებოდა. დაყოვნება იზრდებოდა და პიკზე 85 წუთს მიაღწია. საბოლოოდ არაფერი დაკარგულა. მაგრამ საპორტისთვის და მოთამაშეებისთვის ღამე გრძელი გამოდგა.
კონვეიერი და პირველი ტყუილი
სერვისი transactional outbox-ზეა აგებული. Webhook-ის დამმუშავებელი მოვლენას outbox ცხრილში იმავე ტრანზაქციაში წერს, რომელშიც ბიზნეს-ცვლილებას. Relay-ვორკერი ცხრილს რიგით კითხულობს, მოვლენებს Kafka-ში აქვეყნებს და გაგზავნილ სტრიქონებს შლის. საფულე მოვლენას იღებს და თანხას ჩარიცხავს.
Relay-ის ჯანმრთელობის მეტრიკა მთელი ღამე alive = 1-ს აჩვენებდა, სანამ რიგი 560 000 მოვლენამდე იზრდებოდა. ცოცხალი არ ნიშნავს, რომ ასწრებს. მნიშვნელობა ჰქონდა რიგში ყველაზე ძველი მოვლენის ასაკს (ნორმა 1–2 წამია, 5 100-ს მიაღწია) და გამოქვეყნების ტემპს წინა ღამეების იმავე საათთან შედარებით. ტემპი ჩვეულებრივზე ორჯერ დაბალი იყო, შემომავალი ნაკადი კი თანაბარი. ესე იგი, ეს ფლუდი არ იყო: თავად relay შენელდა.
Relay-ის ლოგებში მისი საკუთარი მოთხოვნები outbox ცხრილისადმი ტაიმაუტით ვარდებოდა.
ცხრილი, რომელსაც vacuum ვერ ასუფთავებს
მთელი ისტორია primary-ზე ცხრილის სტატისტიკამ მოყვა:
select n_live_tup, n_dead_tup, autovacuum_count,
pg_size_pretty(pg_total_relation_size(relid))
from pg_stat_user_tables where relname = 'outbox_message';
დაახლოებით 0,5 მილიონი ცოცხალი სტრიქონი, 10,8 მილიონი მკვდარი და 9,7 გბ დისკზე ცხრილისთვის, რომელიც ჩვეულებრივ რამდენიმე ასეულ მეგაბაიტს იწონის. autovacuum_count 443 863-ს აჩვენებდა და ყოველ შეხედვაზე იზრდებოდა. Vacuum გაუჩერებლად მუშაობდა და მაინც ვერაფერს შლიდა.
თუ vacuum მუშაობს, მაგრამ არაფერს შლის, ვიღაც xmin horizon-ს იჭერს: ძველ სნეპშოტს, რომელსაც სტრიქონების ეს ვერსიები შეიძლება ჯერ კიდევ დასჭირდეს. ცხრილი, რომელშიც ყოველ წამს წერენ და საიდანაც ყოველ წამს შლიან, მკვდარი კორტეჟების ველად იქცევა. ამ ველში ყოველ დალაგებულ SELECT-ს უწევს გავლა.
სამი ადგილი, რიგით
- ხანგრძლივი სესიები ან
idle in transactionprimary-ზე (pg_stat_activity,backend_xmin). - რეპლიკაციის სლოტები (
pg_replication_slots,age(xmin)). - დავიწყებული ორფაზიანი ტრანზაქციები (
pg_prepared_xacts).
Primary-ზე სუფთა იყო. სლოტებზე — არა: ორივე ფიზიკურ სლოტს, თითო რეპლიკაზე, age(xmin) დაახლოებით 9,3 მილიონი ჰქონდა. ბაზა hot_standby_feedback-ით მუშაობდა. ყოველი რეპლიკა primary-ს ატყობინებს ყველაზე ძველ სნეპშოტს, რომელიც ჯერ კიდევ სჭირდება, ამიტომ ხანგრძლივი მოთხოვნა რეპლიკაზე vacuum-ს primary-ზე აჩერებს.
რეპლიკებზე ცხრა SELECT count(*) მოთხოვნა აღმოჩნდა, რომლებიც უკვე 17 საათი სრულდებოდა. მათი application_name ისეთ ReplicaSet-ზე მიუთითებდა, რომელიც აღარ არსებობდა. მოთხოვნები ადმინკის სეგმენტების კონსტრუქტორიდან მოდიოდა: ოპერატორმა ააწყო ფილტრი, რომელშიც თითქმის ყველა მომხმარებელი ხვდებოდა. HTTP-მოთხოვნა 60 წამის შემდეგ 500-ს აბრუნებდა, ოპერატორი თავიდან ცდიდა და ყოველი მცდელობა კიდევ ერთ მოთხოვნას უშვებდა. აპლიკაცია ნებდებოდა, მაგრამ ბაზაში მოთხოვნას არ აუქმებდა. პოდის გადატვირთვა ან შეცვლაც ვერ აჩერებს მოთხოვნას, რომელიც სერვერზე უკვე სრულდება.
თავად შეკეთებას წამები დასჭირდა
select pid, pg_cancel_backend(pid) from pg_stat_activity
where application_name like '<dead-replicaset>-%'
and xact_start < now() - interval '1 hour';
ეს თითოეულ რეპლიკაზე ვიწრო ფილტრით გავუშვი, მანამდე pid-ები და მოთხოვნების ტექსტები ჩავიწერე. სლოტების age(xmin) 9,3 მილიონიდან ორნიშნა რიცხვებამდე დაეცა. Vacuum-ის შემდეგი გავლა დასრულდა და რიგი 510 000-დან 11-მდე დაახლოებით ორ წუთში შემცირდა. ყველა დაყოვნებული დეპოზიტი გამოქვეყნდა.
რა შეგნებულად არ გამიკეთებია: relay არ გადამიტვირთავს (რიგი ცხრილში დევს, შეწყვეტილმა ბატჩმა კი შეიძლება შეტყობინებები გააორმაგოს), VACUUM FULL არ გამიშვია (ექსკლუზიური ბლოკირება, relay მთლიანად გაჩერდებოდა), outbox-დან სტრიქონები არ წამიშლია (ეს მიუწოდებელი გადახდებია).
რატომ გამოტოვა ეს მონიტორინგმა
Postgres exporter მეტრიკებს მხოლოდ primary-დან აგროვებდა. მისი ყველაზე ხანგრძლივი ტრანზაქციის მეტრიკა 30–57 წამს აჩვენებდა, მაშინ როცა რეპლიკები 17-საათიან მოთხოვნებს იჭერდნენ. პირველად outbox-ის ასაკის ალერტი ამოქმედდა — horizon-ის გაჭედვიდან რამდენიმე საათის შემდეგ.
დასკვნები
- Vacuum, რომელიც მუშაობს და არაფერს შლის, გაჭედილი horizon-ია და არა ნელი vacuum. შეამოწმეთ სესიები, სლოტები და prepared-ტრანზაქციები.
hot_standby_feedback-ით რეპლიკას შეუძლია primary-ზე vacuum დაბლოკოს. აკონტროლეთ რეპლიკებიც და არა მხოლოდ writer, და დააყენეთ ალერტი სლოტებისage(xmin)-ზე.- კლიენტის ტაიმაუტი სერვერზე მოთხოვნას არ აუქმებს. Read-only როლებს
statement_timeoutმიუთითეთ. SQL-მოთხოვნამ არ უნდა იცოცხლოს იმ HTTP-მოთხოვნაზე დიდხანს, რომელმაც ის წარმოშვა. - „ცოცხალი” გამტარუნარიანობა არ არის. რიგებისთვის ალერტი ყველაზე ძველი ელემენტის ასაკზე დააყენეთ და ტემპი გუშინდელს შეადარეთ და არა ნულს.