AWS မှာ Application Load Blanacer ကနေ log တွေကို Amazon Athena သုံးပြီး ဘယ်လို ကြည့်လို့ရမလဲဆိုတာလေး ဒီနေ့ မျှဝေချင်ပါတယ်။
Step 1: Set Up an S3 Bucket for ALB Logs
ပထဆုံးအနေနဲ့ ALB logs တွေသိမ်းဖို့အတွက် S3 bucket တစ်ခု create လုပ်ပါမယ်
Navigate to S3 Console:
- Amazon S3 Console ကိုဖွင့်လိုက်ပါ
Create a Bucket:
ပြီးရင်တော့ "Create bucket" ဆိုတာလေးကိုနှိပ်ပြီး S3 bucket အသစ်လေးလုပ်ပါမယ်။
Bucket name က unique ဖြစ်ဖို့လိုပါတယ်၊ ပြီးရင် ထားချင်တဲ့ region ကိုရွေးပြီး create လုပ်လိုက်ပါ။ region က ALB ရှိနေတဲ့ region မှာပဲ ထားဖို့ အကြံပေးချင်ပါတယ်။
EStep 2: Enable ALB Logging to S3
နောက်တစ်ဆင့်အနေနဲ့ ALB ထဲက log တွေ S3 မှာသိမ်းဖို့ enable လုပ်ဖို့လိုပါတယ်။
Navigate to ALB Console:
- Amazon EC2 Console ကိုဖွင့်ပါ။
Select Your Load Balancer:
Configure Access Logs:
"Description" tab ကိုနှိပ်ပြီး "Attributes" section အထိရောက်တဲ့အထိ အောက်ကိုသွားလိုက်ပါ။
ပြီးရင် "edit" ဆိုတာလေးကို နှိပ်လိုက်ပါ။
"Access logs" ဆိုတာလေးကို ဖွင့်ပေးလိုက်ပါ၊
ပြီးရင် Browse S3 bucket ဆိုတာကိုနှိပ်ပြီး logs တွေသိမ်းမဲ့ S3 bucket ကိုရွေးပေးလိုက်ပါ။
Save Change ကို နှိပ်လိုက်မယ်ဆိုရင် Access Denied ဆိုပြီး error alert တက်လာမှာဖြစ်ပါတယ်။ ဘာလို့လဲဆိုတော့ ကျွန်တော်တို့ S3 ဘက်ကနေ permission ဖွင့်မပေးထားသေးလို့ပါ။
Load balancer ကနေ S3 မှာ Log လာရေးဖို့အတွက် policy သွားရေးပေးဖို့လိုပါတယ်။ Load balancer ကိုထားတဲ့ region ပေါ်မူတည်ပြီး policy ရေးဖို့ကမူတဲ့အတွက် ကိုယ့် region အလိုက် ဘယ်လိုရေးရမလဲဆိုတာ ဒီ AWS documentation မှာ သွားကြည့်စေချင်ပါတယ်။ https://docs.aws.amazon.com/elasticloadbalancing/latest/application/enable-access-logging.html
Asia Pacific (Hyderabad)
Asia Pacific (Melbourne)
Canada West (Calgary)
Europe (Spain)
Europe (Zurich)
Israel (Tel Aviv)
Middle East (UAE)
ကိုယ့်ရဲ့ ALB ထားထားတဲ့ Region က အပေါ်က region တွေမှာပါတယ်ဆိုရင်တော့ S3 policy က အောက်ပါအတိုင်း ရေးပေးရမှာဖြစ်ပါတယ်။ အဲ့ထဲက bucket-name ဆိုတဲ့နေရာမှာ ကိုယ့်ရဲ့ log သိမ်းမဲ့ bucket name ကို ထည့်ပေးရမှာဖြစ်ပြီး aws-account-id ဆိုတဲ့နေရာမှာတော့ ကိုယ့်ရဲ့ aws account id ကို ထည့်ပေးရမှာဖြစ်ပါတယ်။
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": "logdelivery.elasticloadbalancing.amazonaws.com"
},
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::bucket-name/AWSLogs/aws-account-id/*"
}
]
}
```
ကိုယ့်ရဲ့ ALB ထားထားတဲ့ Region က အပေါ်က region တွေမှာ မပါဘူးဆိုရင်တော့ s3 မှာ policy ကို အောက်ပါအတိုင်းရေးပေးရမှာဖြစ်ပါတယ်။
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"AWS": "arn:aws:iam::elb-account-id:root"
},
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::bucket-name/AWSLogs/aws-account-id/*"
}
]
}
ဒီနေရာမှာ သတိထားရမှာက elb-account-id နဲ့ aws-account-id ဆိုတဲ့ နေရာတွေမှာ account id တွေထည့်ပေးဖို့လိုပါတယ်။ aws-account-id ဆိုတဲ့နေရာမှာက ကိုယ့် AWS account ရဲ့ ID ကို ထည့်ပေးရမှာဖြစ်ပြီး၊ elb-account-id ဆိုတဲ့နေရာမှာ elb ရဲ့ regional account id ကိုထည့်ပေးရမှာပါ။
elb-account-id တွေကို region အလိုက် အောက်မှာ ဖေါ်ပြပေးထားပါတယ်။
US East (N. Virginia) – 127311923021
US East (Ohio) – 033677994240
US West (N. California) – 027434742980
US West (Oregon) – 797873946194
Africa (Cape Town) – 098369216593
Asia Pacific (Hong Kong) – 754344448648
Asia Pacific (Jakarta) – 589379963580
Asia Pacific (Mumbai) – 718504428378
Asia Pacific (Osaka) – 383597477331
Asia Pacific (Seoul) – 600734575887
Asia Pacific (Singapore) – 114774131450
Asia Pacific (Sydney) – 783225319266
Asia Pacific (Tokyo) – 582318560864
Canada (Central) – 985666609251
Europe (Frankfurt) – 054676820928
Europe (Ireland) – 156460612806
Europe (London) – 652711504416
Europe (Milan) – 635631232127
Europe (Paris) – 009996457667
Europe (Stockholm) – 897822967062
Middle East (Bahrain) – 076674570225
South America (São Paulo) – 507241528517
S3 မှာလည်း policy ရေးပေးပြီးသွားပြီဆိုရင်တော့တော့ ကျွန်တော်တို့ ALB မှာ "Save Change" ပြန်နှိပ်လို့ရသွားပါပြီ။
Save ပြီးသွားရင် ပုံပါအတိုင်း Monitoring > access logs အောက်မှာ ကိုယ့်ရဲ့ bucket name လေးပေါ်နေပါလိမ့်မယ်။
ဒါဆိုရင်တော့ ကျွန်တော်တို့ရဲ့ ALB logs တွေကို S3 ပေါ်မှာ သိမ်းခိုင်းတဲ့အပိုင်းကပြီးသွားပါပြီ။ Traffice ဝင်လာသမျှ Access logs တွေအကုန်လုံး S3 ပေါ်မှာ သွားသိမ်းနေပါပြီ။
နောက်တစ်ဆင့်အနေနဲ့ log တွေကို ပြန်ဖတ်ဖို့ Athena DB ပိုင်းကို သွားပါမယ်။
Step 3: Set Up an Amazon Athena Database
Navigate to Athena Console:
- Amazon Athena Console ကို ဖွင့်ပါ။
Create a Database:
Database create လုပ်ဖို့ "Query Editor" tab ထဲသွားပါ။
ပြီးရင် အောက်က SQL command လေးကို run ပြီး database create လုပ်လိုက်ပါ။
CREATE DATABASE IF NOT EXISTS alb_database;
alb_database ဆိုတဲ့နေရာမှာ ကိုယ်ကြိုက်တဲ့ name ပေးလို့ရပါတယ်။
Step 4: Define the ALB Log Table (Revised)
- Create a Table:
DB ဆောက်ပြီးပြီဆိုရင်တော့ alb logs table လေးဆောက်ဖို့အတွက် Query Editor ထဲမှာ အောက်က SQL command လေးကို run ပေးရပါမယ် . မ run ခင်မှာ အောက်ဆုံး LOCATION ဆိုတဲ့ အကြောင်းက ဒီ value လေး သုံးခု ( DOC-EXAMPLE-BUCKET , <ACCOUNT-ID> , <REGION> ) ကိုတော့ ပြင်ပေးဖို့လိုပါတယ်။ နဲ့ အပေါ်ဆုံး အကြောင်းက alb_database ဆိုတဲ့နေရာမှာ ကိုယ်မပေါ်မှာ ဆောက်ခဲ့တဲ့ db name ကို ထည့်ပေးရပါမယ်။
DOC-EXAMPLE-BUCKET နေရာမှာ ကိုယ့်ရဲ့ s3 bucket name
<ACCOUNT-ID> နေရာမှာ ကိုယ့် AWS account ရဲ့ ID နဲ့
<REGION> နေရာမှာ ALB ရှိတဲ့ region ကို ထည့်ပေးရမှာပါ။
CREATE EXTERNAL TABLE IF NOT EXISTS alb_database.alb_logs (
type string,
time string,
elb string,
client_ip string,
client_port int,
target_ip string,
target_port int,
request_processing_time double,
target_processing_time double,
response_processing_time double,
elb_status_code int,
target_status_code string,
received_bytes bigint,
sent_bytes bigint,
request_verb string,
request_url string,
request_proto string,
user_agent string,
ssl_cipher string,
ssl_protocol string,
target_group_arn string,
trace_id string,
domain_name string,
chosen_cert_arn string,
matched_rule_priority string,
request_creation_time string,
actions_executed string,
redirect_url string,
lambda_error_reason string,
target_port_list string,
target_status_code_list string,
classification string,
classification_reason string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = '1',
'input.regex' = '([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*):([0-9]*) ([^ ]*)[:-]([0-9]*) ([-.0-9]*) ([-.0-9]*) ([-.0-9]*) (|[-0-9]*) (-|[-0-9]*) ([-0-9]*) ([-0-9]*) \"([^ ]*) (.*) (- |[^ ]*)\" \"([^\"]*)\" ([A-Z0-9-_]+) ([A-Za-z0-9.-]*) ([^ ]*) \"([^\"]*)\" \"([^\"]*)\" \"([^\"]*)\" ([-.0-9]*) ([^ ]*) \"([^\"]*)\" \"([^\"]*)\" \"([^ ]*)\" \"([^\s]+?)\" \"([^\s]+)\" \"([^ ]*)\" \"([^ ]*)\"'
)
LOCATION 's3://DOC-EXAMPLE-BUCKET/AWSLogs/<ACCOUNT-ID>/elasticloadbalancing/<REGION>/';
ပြင်စရာရှိတာပြင်ပြီး command လေး run လိုက် လို့ အောက်က ပုံထဲကလို ပေါ်လာရင်တော့ လိုအပ်တဲ့ table create လုပ်ပြီးသွားပါပြီ။
ကျွန်တော်တို့ query run ပြီး log တွေကို ဖတ်ဖို့ အဆင်သင့်ဖြစ်နေပါပြီ။ ဒီတော့ query run ကြည့်လိုက်ကြရအောင်။
Step 5: Run Queries
Query ALB Logs:
Athena Query Editor ထဲမှာ ဒီ query လေးအရင် run ကြည့်ပါမယ်။
SELECT * FROM alb_database.alb_logs LIMIT 1;
အောက်က ပုံထဲကလို result လေးထွက်လာတယ်ဆိုရင် ကျွန်တော်တို့ db + table လေးက အဆင်ပြေနေပါပြီ။
ဒါဆိုရင်တော့ လိုချင်တဲ့ data ကို SQL query ရေးပြီး ကြိုက်သလို ဆွဲထုတ်လို့ရပါပြီ။
အောက်က ဥပမာ ပေးထားတဲ့ query လေးကတော့ URL 50 အတွက် URL တစ်ခုခြင်းဆီကို client တွေက request လုပ်တဲ့ အရေအတွက်ကို ဆွဲထုတ်ကြည့်ထားတာပါ။ ထွက်လာတဲ့ result တွေကိုသိမ်းထားချင်ရင်လည်း download result ဆိုတာကိုနှိပ်ပြီး csv file အနေနဲ့ သိမ်းထားလို့ရပါတယ်။
SELECT
domain_name,
request_url,
COUNT(*) as request_count
FROM alb_database.alb_logs
GROUP BY domain_name, request_url
ORDER BY domain_name, request_count DESC
LIMIT 50;
အချိန်ပေးပြီး ဖတ်ရှုပေးတဲ့တွက် ကျေးဇူးတင်ပါတယ်။
