别闹了程序猿

JMeter中使用动态 Header 和 Request Body

Sun, 15 Jun 2025 17:00:00 +0800

本文介绍了如何在 JMeter 测试工具中使用动态的 Request Header 和 Request Body。

JMeter简介与使用

Apache JMeter 是 Apache 组织的开放源代码项目，是一个纯Java桌面应用，用于压力测试和性能测试。具体的使用方法可以参考之前的博文使用 JMeter 对 API 进行压力测试

HTTP Header Manager

在 JMeter 中，如果需要为 HTTP 请求添加 Header，可以使用 HTTP Header Manager 组件。具体步骤为：在 HTTP Request 组件右键 –> Add –> Config Element –> HTTP Header Manager

在 HTTP Header Manager 中，可以添加多个 Header 键值对。如果需要使用动态的 Header 值，可以使用 JMeter 的内置函数或变量。例如，使用 ${__time(YMDHMS)} 函数获取当前时间戳作为 Header 值。

JSR223 PreProcessor

如果需要为 HTTP 请求的 Body 部分使用动态内容，可以使用 JSR223 PreProcessor 组件。在 HTTP Request 组件右键 –> Add –> Pre Processors –> JSR223 PreProcessor

在 JSR223 PreProcessor 中，可以编写 Groovy 脚本来动态管理请求的 Header 和 Body。下面是一个示例脚本，展示了如何根据不同的 HTTP Method 动态生成 Cookie Header：

import org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase
import org.apache.jmeter.protocol.http.control.Header

if (sampler instanceof HTTPSamplerBase) {

    // 1. 根据 HTTP Method 区分 counter
    def method = sampler.getMethod()   // POST / GET / PUT ...

    def counterVar
    if (method == "POST") {
        counterVar = "token_create_counter"
    } else if (method == "GET") {
        counterVar = "token_get_counter"
    } else {
        counterVar = "token_other_counter"
    }

    // 2. 读取并递增对应 counter（线程内独立）
    def counter = vars.get(counterVar)
    if (counter == null) {
        counter = 1
    } else {
        counter = counter.toInteger() + 1
    }
    vars.put(counterVar, counter.toString())

    // 3. 构造 Cookie
    def cookieValue = "token=${counter}"

    // 4. 移除旧 Cookie，添加新 Cookie
    def headerManager = sampler.getHeaderManager()
    if (headerManager != null) {
        headerManager.removeHeaderNamed("Cookie")
        headerManager.add(new Header("Cookie", cookieValue))
    }
}

为了快速快速生成脚本，可以使用 Gen AI 工具，例如ChatGPT。

执行测试

./jmeter -n -t ./folder/test.jmx -l folder/result/test.txt -e -o test

完成上述配置后，即可执行测试。JMeter 会根据配置的动态 Header 和 Body 生成请求，并发送到目标服务器。可以通过监听器查看测试结果，验证动态 Header 和 Body 是否按预期工作。

关于博客访问请求数据可视化解决方案

Thu, 31 Oct 2024 18:00:00 +0800

本文介绍了如何使用AWS CloudFront访问日志、Athena和Grafana等工具，实现博客访问请求数据的可视化解决方案。

前置条件

本博客最初是参考 guangzhengli 大佬的如何 30 分钟搭建一套完整独立博客文章搭建的。这篇文章已经有了博客网站数据统计的解决方案，但是数据不在AWS，玩转性不高。

在博主将博客从Github Page迁移到AWS S3并启用了CloudFront加速后，博客文章的访问数据全部在AWS了，所以就在思考如何自己实现博客访问请求数据的可视化解决方案。

方案架构

博客网站的访问数据全部依托于AWS CloudFront的standard logs功能，CloudFront会将访问日志写入到S3中，我们可以通过Athena查询这些日志，然后通过Grafana展示出来，整体架构如下：

技术实现

配置CloudFront

首先需要在创建CloudFront中启用访问日志，将访问日志写入到S3中。在CloudFront中选择Distribution，找到Logging配置，选择Bucket和Prefix，如下图所示：

创建Athena表

根据cloudfront log中字段创建Athena table

CREATE EXTERNAL TABLE `cloudfront_logs`(
  `date` date,
  `time` string,
  `x_edge_location` string,
  `sc_bytes` bigint,
  `c_ip` string,
  `cs_method` string,
  `cs_host` string,
  `cs_uri_stem` string,
  `sc_status` int,
  `cs_referrer` string,
  `cs_user_agent` string,
  `cs_uri_query` string,
  `cs_cookie` string,
  `x_edge_result_type` string,
  `x_edge_request_id` string,
  `x_host_header` string,
  `cs_protocol` string,
  `cs_bytes` bigint,
  `time_taken` float,
  `x_forwarded_for` string,
  `ssl_protocol` string,
  `ssl_cipher` string,
  `x_edge_response_result_type` string,
  `cs_protocol_version` string,
  `fle_status` string,
  `fle_encrypted_fields` int,
  `c_port` int,
  `time_to_first_byte` float,
  `x_edge_detailed_result_type` string,
  `sc_content_type` string,
  `sc_content_len` bigint,
  `sc_range_start` bigint,
  `sc_range_end` bigint)
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY '\t'
STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://logs.hui61.com/'
TBLPROPERTIES (
  'skip.header.line.count'='2',
  'transient_lastDdlTime'='1707099337')

配置Grafana

创建AWS User

在AWS中创建User，给予Athena和S3的访问权限，获取Access Key和Secret Key。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "AthenaQueryAccess",
            "Effect": "Allow",
            "Action": [
                "athena:ListDatabases",
                "athena:ListDataCatalogs",
                "athena:ListWorkGroups",
                "athena:GetDatabase",
                "athena:GetDataCatalog",
                "athena:GetQueryExecution",
                "athena:GetQueryResults",
                "athena:GetTableMetadata",
                "athena:GetWorkGroup",
                "athena:ListTableMetadata",
                "athena:StartQueryExecution",
                "athena:StopQueryExecution"
            ],
            "Resource": [
                "*"
            ]
        },
        {
            "Sid": "GlueReadAccess",
            "Effect": "Allow",
            "Action": [
                "glue:GetDatabase",
                "glue:GetDatabases",
                "glue:GetTable",
                "glue:GetTables",
                "glue:GetPartition",
                "glue:GetPartitions",
                "glue:BatchGetPartition"
            ],
            "Resource": [
                "*"
            ]
        },
        {
            "Sid": "AthenaS3Access",
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketLocation",
                "s3:GetObject",
                "s3:ListBucket",
                "s3:ListBucketMultipartUploads",
                "s3:ListMultipartUploadParts",
                "s3:AbortMultipartUpload",
                "s3:PutObject"
            ],
            "Resource": [
                "arn:aws:s3:::logs.hui61.com"
            ]
        },
        {
            "Sid": "AthenaExamplesS3Access",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::athena-examples*"
            ]
        }
    ]
}

创建Grafana Data Source

使用上一步创建的Access Key和Secret Key，创建Grafana Data Source，选择Athena，填写Region、Access Key、Secret Key.

创建Grafana Visitor Number Panel

创建visitor number panel，其中Data Source选择Athena Data Source，图表类型选择Bar Chart，填写Athena Query

SELECT
    date_trunc('day', from_iso8601_timestamp(CAST(date AS varchar) || 'T' || time)) as day_range,
    COUNT(*) as record_count
FROM
    cloudfront_logs
GROUP BY
    date_trunc('day', from_iso8601_timestamp(CAST(date AS varchar) || 'T' || time))
ORDER BY
    day_range;

配置好之后点击查询按钮，并继续配置相关图表属性，最终效果如下图所示：

创建Grafana Visitor location Panel

创建visitor location panel，其中Data Source选择Athena Data Source，图表类型选择Geomap，填写Athena Query,其中hui61-blog-viewers table需要有longitude和latitude字段，可以根据Cloudfront文档配置Request Header

SELECT * FROM "default"."hui61-blog-viewers" order by timestamp desc;

配置好之后点击查询按钮，并继续配置相关图表属性，最终效果如下图所示：

问题

目前Grafana Cloud中Dashboard不支持public访问，需要登录Grafana Cloud才能访问，如果需要public访问，可以考虑使用Grafana on EC2或者其他方式。

参考资料

在AWS上构建基于Airflow Hadoop和Spark大数据平台

Thu, 11 Jan 2024 20:00:00 +0800

本文介绍了AWS云平台服务EMR Serverless，Airflow托管服务MWAA（Managed Workflows for Apache Airflow），构建了基于AWS云平台的大数据平台，最后以一个实例演示了大数据平台的工作流程。

大数据平台

现如今是一个数据时代，我们每天都在产生数据，海量数据的分析离不开大数据技术的支持。大数据是一个很宽泛的概念，但是一个大数据平台总结起来一般有三部分，数据接入，数据处理和数据分析。

数据接入：是将数据写入数据仓库中，AWS可以使用S3作为数据仓库存储数据。
数据处理：是对数据做清洗和ETL转化操作，是大数据的核心部分，常见的框架是 Apache Hadoop和 Apache Spark，AWS中 EMR 服务可以托管Hadoop和Spark框架，简化其运行过程。
数据分析：是大数据的应用部分，最直接的方法就是使用 Hive 以 SQL 的方式对数据进行查询分析，AWS中对应的服务是Athena。

本文主要着重于数据处理和分析部分，并且引入Airflow调度框架，构建了企业级的大数据处理分析平台。架构如下图：

EMR Serverless：Amazon EMR是一个托管集群平台，可简化在AWS上运行大数据框架（如 Apache Hadoop 和 Apache Spark）的过程，以处理和分析海量数据。而 Amazon EMR Serverless 是 Amazon EMR 的一个部署选项，可提供无服务器运行时环境，类似于AWS Lambda和EC2的关系，Serverless可以按需收费，极大的降低了成本。
MWAA：Amazon Managed Workflows for Apache Airflow 是一项适用于 Apache Airflow 的托管式编排服务，能够在AWS云中大规模设置和操作数据管道。
Glue 和 Athena：可以理解为 Hive，AWS 在 Hive 上做了一些封装，使其用起来更方便。

构建数据仓库

模板文件

使用 Cloudformation 模板构建 MWAA 和 EMR Serverless。模板比较长，其中还创建了 S3 Bucket 用来存储数据，IAM Role 用来赋予 Spark Job 读取和写入数据权限，以及VPC、Subnet、InternetGateway等网络资源，如果对于AWS基础网络资源感兴趣，可以查看这一篇博客 AWS多可用区的VPC网络环境。

点击显示代码

mwaa_emr_serverless.yaml file style="color:#f8f8f2;background-color:#272822;-moz-tab-size:4;-o-tab-size:4;tab-size:4;">

--- style="color:#f92672">AWSTemplateFormatVersion: 2010-09-09 style="color:#f92672">Resources: # S3 Bucket for logs EMRServerlessBucket: Type: AWS::S3::Bucket Properties: BucketName: mwaa-emr-serverless PublicAccessBlockConfiguration: BlockPublicAcls: True BlockPublicPolicy: True IgnorePublicAcls: True RestrictPublicBuckets: True VersioningConfiguration: Status: Enabled # IAM resources EMRServerlessJobRole: Type: AWS::IAM::Role Properties: AssumeRolePolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: Service: - emr-serverless.amazonaws.com Action: - "sts:AssumeRole" Description: "Service role for EMR Studio" Policies: - PolicyName: GlueAccess PolicyDocument: Version: "2012-10-17" Statement: - Effect: Allow Action: - "glue:GetDatabase" - "glue:DeleteTable" - "glue:GetDataBases" - "glue:CreateDatabase" - "glue:CreateTable" - "glue:GetTable" - "glue:GetTables" - "glue:GetPartition" - "glue:GetPartitions" - "glue:CreatePartition" - "glue:BatchCreatePartition" - "glue:GetUserDefinedFunctions" Resource: "*" - PolicyName: S3Access PolicyDocument: Version: "2012-10-17" Statement: - Effect: Allow Action: - "s3:GetObject" - "s3:ListBucket" Resource: "*" - Effect: Allow Action: - "s3:PutObject" - "s3:DeleteObject" Resource: - !Sub "arn:aws:s3:::${EMRServerlessBucket}/*" SparkApplication: Type: AWS::EMRServerless::Application Properties: Name: spark-3.2 ReleaseLabel: emr-6.6.0 Type: Spark MaximumCapacity: Cpu: 200 vCPU Memory: 100 GB AutoStartConfiguration: Enabled: true AutoStopConfiguration: Enabled: true IdleTimeoutMinutes: 100 InitialCapacity: - Key: Driver Value: WorkerCount: 3 WorkerConfiguration: Cpu: 2 vCPU Memory: 4 GB Disk: 21 GB - Key: Executor Value: WorkerCount: 4 WorkerConfiguration: Cpu: 1 vCPU Memory: 4 GB Disk: 20 GB MWAAEnvironment: Type: AWS::MWAA::Environment Properties: Name: !Join - "-" - - emr-serverless-demo - !Select [0, !Split [-, !Select [2, !Split [/, !Ref AWS::StackId]]]] EnvironmentClass: mw1.small AirflowVersion: 2.2.2 NetworkConfiguration: SubnetIds: - !Ref PrivateSubnet1 - !Ref PrivateSubnet2 SecurityGroupIds: - !Ref MWAASecurityGroupIngress DagS3Path: airflow/dags SourceBucketArn: !Sub "arn:aws:s3:::${EMRServerlessBucket}" ExecutionRoleArn: !GetAtt MWAAExecutionRole.Arn WebserverAccessMode: PUBLIC_ONLY LoggingConfiguration: WebserverLogs: Enabled: True LogLevel: INFO SchedulerLogs: Enabled: True LogLevel: INFO MWAASecurityGroupIngress: Type: AWS::EC2::SecurityGroup Properties: GroupDescription: "Inbound access to MWAA" VpcId: !Ref VPC MWAASecurityGroupSelfAllow: Type: AWS::EC2::SecurityGroupIngress Properties: GroupId: !Ref MWAASecurityGroupIngress IpProtocol: "-1" SourceSecurityGroupId: !Ref MWAASecurityGroupIngress MWAAExecutionRole: Type: AWS::IAM::Role Properties: AssumeRolePolicyDocument: Version: 2012-10-17 Statement: - Effect: Allow Principal: Service: - airflow.amazonaws.com - airflow-env.amazonaws.com Action: - "sts:AssumeRole" Description: "Service role for MWAA" Policies: - PolicyName: MWAA-Execution-Policy PolicyDocument: Version: "2012-10-17" Statement: - Effect: Allow Action: - "s3:GetObject*" - "s3:GetBucket*" - "s3:List*" Resource: - !Sub "arn:aws:s3:::${EMRServerlessBucket}" - !Sub "arn:aws:s3:::${EMRServerlessBucket}/*" - Effect: Allow Action: - "airflow:PublishMetrics" Resource: !Sub "arn:aws:airflow:${AWS::Region}:${AWS::AccountId}:environment/emr-serverless-demo" - Effect: Allow Action: - "logs:CreateLogStream" - "logs:CreateLogGroup" - "logs:PutLogEvents" - "logs:GetLogEvents" - "logs:GetLogRecord" - "logs:GetLogGroupFields" - "logs:GetQueryResults" Resource: !Sub "arn:aws:logs:${AWS::Region}:${AWS::AccountId}:log-group:airflow-emr-serverless-demo-*" - Effect: Allow Action: - "logs:DescribeLogGroups" - "cloudwatch:PutMetricData" Resource: "*" - Effect: Allow Action: - "sqs:ChangeMessageVisibility" - "sqs:DeleteMessage" - "sqs:GetQueueAttributes" - "sqs:GetQueueUrl" - "sqs:ReceiveMessage" - "sqs:SendMessage" Resource: !Sub "arn:aws:sqs:${AWS::Region}:*:airflow-celery-*" - Effect: Allow Action: - "kms:Decrypt" - "kms:DescribeKey" - "kms:GenerateDataKey*" - "kms:Encrypt" NotResource: !Sub "arn:aws:kms:*:${AWS::AccountId}:key/*" Condition: StringLike: "kms:ViaService": !Sub "sqs.${AWS::Region}.amazonaws.com" - PolicyName: AirflowEMRServerlessExecutionPolicy PolicyDocument: Version: "2012-10-17" Statement: - Effect: Allow Action: - "emr-serverless:CreateApplication" - "emr-serverless:GetApplication" - "emr-serverless:StartApplication" - "emr-serverless:StopApplication" - "emr-serverless:DeleteApplication" - "emr-serverless:StartJobRun" - "emr-serverless:GetJobRun" Resource: "*" - Effect: Allow Action: - "iam:PassRole" Resource: - !GetAtt EMRServerlessJobRole.Arn Condition: StringLike: "iam:PassedToService": "emr-serverless.amazonaws.com" # Network resources VPC: Properties: # Default CIDR block for public subnet CidrBlock: 172.31.0.0/16 EnableDnsHostnames: "true" Tags: - Key: for-use-with-amazon-emr-managed-policies Value: true Type: AWS::EC2::VPC VPCDHCPAssociation: Properties: DhcpOptionsId: { Ref: VPCDHCPOptions } VpcId: { Ref: VPC } Type: AWS::EC2::VPCDHCPOptionsAssociation VPCDHCPOptions: Properties: DomainName: "${AWS::Region}.compute.internal" DomainNameServers: [AmazonProvidedDNS] Type: AWS::EC2::DHCPOptions # CIDR block for private subnets VpcCidrBlock1: Type: AWS::EC2::VPCCidrBlock Properties: VpcId: { Ref: VPC } CidrBlock: 172.16.0.0/16 GatewayAttachment: Properties: InternetGatewayId: { Ref: InternetGateway } VpcId: { Ref: VPC } Type: AWS::EC2::VPCGatewayAttachment InternetGateway: { Type: "AWS::EC2::InternetGateway" } PublicRouteTableIGWRoute: Properties: DestinationCidrBlock: 0.0.0.0/0 GatewayId: { Ref: InternetGateway } RouteTableId: { Ref: PublicRouteTable } Type: AWS::EC2::Route PublicRouteTable: Properties: Tags: - Key: Name Value: Public Route Table VpcId: { Ref: VPC } Type: AWS::EC2::RouteTable PublicSubnetRouteTableAssociation: Properties: RouteTableId: { Ref: PublicRouteTable } SubnetId: { Ref: PublicSubnet1 } Type: AWS::EC2::SubnetRouteTableAssociation PublicSubnet1: DependsOn: VpcCidrBlock1 Properties: Tags: - Key: Name Value: PublicSubnet1 - Key: for-use-with-amazon-emr-managed-policies Value: true VpcId: { Ref: VPC } MapPublicIpOnLaunch: "true" AvailabilityZone: Fn::Select: - 0 - Fn::GetAZs: { Ref: "AWS::Region" } CidrBlock: 172.16.0.0/20 Type: AWS::EC2::Subnet NATGateway: Type: AWS::EC2::NatGateway Properties: AllocationId: !GetAtt ElasticIPAddress.AllocationId SubnetId: !Ref PublicSubnet1 Tags: - Key: Name Value: NAT ElasticIPAddress: Type: AWS::EC2::EIP Properties: Domain: VPC # private subnets PrivateRouteTable: Type: AWS::EC2::RouteTable Properties: Tags: - Key: Name Value: Private Route Table VpcId: { Ref: VPC } PrivateRoute: Type: AWS::EC2::Route Properties: RouteTableId: { Ref: PrivateRouteTable } DestinationCidrBlock: 0.0.0.0/0 NatGatewayId: { Ref: NATGateway } PrivateSubnet1: DependsOn: VpcCidrBlock1 Type: AWS::EC2::Subnet Properties: Tags: - Key: Name Value: PrivateSubnet1 - Key: for-use-with-amazon-emr-managed-policies Value: true VpcId: { Ref: VPC } MapPublicIpOnLaunch: "false" AvailabilityZone: Fn::Select: - 0 - Fn::GetAZs: { Ref: "AWS::Region" } CidrBlock: 172.31.0.0/20 PrivateSubnetRouteTableAssociation1: Type: AWS::EC2::SubnetRouteTableAssociation Properties: RouteTableId: { Ref: PrivateRouteTable } SubnetId: { Ref: PrivateSubnet1 } PrivateSubnet2: DependsOn: VpcCidrBlock1 Type: AWS::EC2::Subnet Properties: Tags: - Key: Name Value: PrivateSubnet2 - Key: for-use-with-amazon-emr-managed-policies Value: true VpcId: { Ref: VPC } MapPublicIpOnLaunch: "false" AvailabilityZone: Fn::Select: - 1 - Fn::GetAZs: { Ref: "AWS::Region" } CidrBlock: 172.31.16.0/20 PrivateSubnetRouteTableAssociation2: Type: AWS::EC2::SubnetRouteTableAssociation Properties: RouteTableId: { Ref: PrivateRouteTable } SubnetId: { Ref: PrivateSubnet2 }

模板准备好了之后，使用下面的 shell 脚本执行，注意替换模板路径，其中创建 MWAA 需要较长时间。
aws cloudformation deploy \
    --stack-name "mwaa-emr-serverless" \
    --template-file "./src/aws/mwaa_emr_serverless.yaml" \
    --capabilities CAPABILITY_IAM
配置 Airflow
Airflow 创建完成后，还需要对其进行配置，点击 Edit 按钮进行配置，如下图：



配置 Airflow 配置运行依赖



requirements.txt文件中依赖如下，需要将改文件上传至 S3 进行配置，配置完成后点击 Next 并 Save 使其生效。
apache-airflow-providers-amazon==6.0.0
boto3>=1.23.9
实例演示
环境配置好之后，我们就可以用 Airflow 提交 Spark Job 到 EMR 了。按照下面步骤分别配置 Airflow 和 EMR 的任务。
Airflow Dag
首先是准备 Airflow Dag 文件，将文件上传至s3://mwaa-emr-serverless/airflow/dags/
from datetime import datetime

from airflow import DAG
from airflow.models import Variable
from airflow.providers.amazon.aws.operators.emr import EmrServerlessStartJobOperator

APPLICATION_ID = Variable.get("emr_serverless_application_id")
JOB_ROLE_ARN = Variable.get("emr_serverless_job_role")
S3_LOGS_BUCKET = Variable.get("emr_serverless_log_bucket")

with DAG(
        dag_id='example_emr_serverless_job',
        schedule_interval=None,
        start_date=datetime(2021, 1, 1),
        tags=['example'],
        catchup=False,
) as dag:
    job_starter = EmrServerlessStartJobOperator(
        task_id="start_job",
        application_id=APPLICATION_ID,
        execution_role_arn=JOB_ROLE_ARN,
        job_driver={
            "sparkSubmit": {
                "entryPoint": "s3://mwaa-emr-serverless/scripts/person.py",
                "entryPointArguments": ["s3://mwaa-emr-serverless/output/"]
            }
        },
        configuration_overrides={
            "monitoringConfiguration": {
                "s3MonitoringConfiguration": {
                    "logUri": f"s3://{S3_LOGS_BUCKET}/logs/"
                }
            },
        },
        config={"name": "sample-job"}
    )
这个 Dag 十分简单，使用 EmrServerlessStartJobOperator 提交一个 spark 任务，其中 entryPoint 和 entryPointArguments 是任务路径和参数。
Airflow Dag中用到了三个 Variable，

emr_serverless_application_id: 为 EMR Application ID 需要在AWS Console 中 EMR Studio 界面找到，本例为：00fg6k1re8jj6525
emr_serverless_job_role: 为 EMRServerlessJobRole arn 我们在 cloudformation 中创建了，可以在AWS console中找到，本例为：arn:aws:iam::320123455241:role/mwaa-emr-serverless-EMRServerlessJobRole-hGGPdYlKx3jF
emr_serverless_log_bucket: 为 Bucket Name，本例为：mwaa-emr-serverless

需要对其进行配置，如下图创建 Airflow Variable



Spark Job Script
其次准备 Spark 任务的脚本，将脚本上传至 s3://mwaa-emr-serverless/scripts/person.py
import os
import sys

from pyspark.sql import SparkSession
from pyspark.sql.functions import lower

if __name__ == "__main__":
    spark = (SparkSession
             .builder
             .appName("person")
             .config("spark.hadoop.hive.metastore.client.factory.class",
                     "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory")
             .config("spark.hadoop.hive.metastore.glue.catalogid", "320123455241")
             .config("spark.hadoop.fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
             .enableHiveSupport()
             .getOrCreate())

    output_path = None

    if len(sys.argv) > 1:
        output_path = sys.argv[1]
    else:
        print("S3 output location not specified printing top 10 results to output stream")

    region = os.getenv("AWS_REGION")
    reader = spark.read.format("json")

    df = reader.load("s3://mwaa-emr-serverless/input/")
    lower_first_name_df = df.withColumn("first_name", lower(df["first_name"]))
    lower_last_name_df = lower_first_name_df.withColumn("last_name", lower(lower_first_name_df["last_name"]))
    # 创建 Glue database
    spark.sql("create database if not exists test_database")

    if output_path:
        lower_last_name_df.write \
            .option("path", output_path) \
            .mode("overwrite") \
            .format("parquet") \
            .saveAsTable("test_database.person")

        print("person job completed successfully. Refer output at S3 path: " + output_path)
    else:
        print("person job completed successfully.")

    spark.stop()
这段 spark job 是从 s3://mwaa-emr-serverless/input/ 读取数据，然后将数据中 first_name 和 last_name 转为小写。所以我们还要准备需要处理的数据。
将下面3个json文件保存在 s3://mwaa-emr-serverless/input/
// 4.json
{"first_name": "Louis", "last_name": "Hui", "age": 31, "describe": "A programmer"}

// 5.json
{"first_name": "Jack", "last_name": "Zhang", "age": 30, "describe": "A engineer"}

// 6.json
{"first_name": "Mike", "last_name": "Luo", "age": 31, "describe": "A singer"}
{"first_name": "Marry", "last_name": "Zhan", "age": 19, "describe": "A dancer"}
结果展示
触发 Airflow Dag 后会提交 Spark Job，执行会有一段时间，因为 EMR Serverless 是按需收费，所以启动需要时间，可以在AWS Console中查看任务执行状态



执行完毕后，我们就可以在 S3 Bucket 里面查看处理后的数据



并且可以在 Athena 中使用 SQL 查询数据



值得一提的是本次 Demo 的花费，得益于 AWS EMR Serverless 的低成本，本次演示的花费仅为0.39$，MWAA 的花费是根据时长收费的，所以不使用的时候最好删掉。



参考资料

https://docs.aws.amazon.com/zh_cn/emr/latest/ManagementGuide/emr-what-is-emr.html
https://docs.aws.amazon.com/zh_cn/mwaa/latest/userguide/configuring-dag-folder.html#configuring-dag-folder-mwaaconsole
https://docs.aws.amazon.com/mwaa/latest/userguide/what-is-mwaa.html
https://docs.aws.amazon.com/zh_cn/glue/latest/dg/what-is-glue.html
https://docs.aws.amazon.com/zh_cn/athena/latest/ug/what-is.html



2023年终总结
Sun, 31 Dec 2023 18:00:00 +0800
一年时间又匆匆过去，站在年尾的我似乎还没有做好准备。回首一年，事件已为回忆，永远留在了过去。
工作
近一年是我在思特沃克换项目最频繁的一年，短短一年时间我换了三个项目。从最开始的集成开发项目，接着是短暂的两个月后段开发项目，再到目前的大数据项目。项目换得很频繁，也学到了不少东西。
大数据项目其实一直是我的兴趣点，这次也算如愿成为一个大数据boy，之前大数据在脑中的影像也有了具体映射。希望能够深耕大数据领域，提升在大数据领域解决问题的能力，提升个人影响力。
爱好
技术


无聊网站freeupdateme.com，折腾自己的一个想法，后面对于这个网站还有一些想法，还会继续折腾。


个人博客hui61.com，探索了一个比较稳定的个人博客方案，后面也会分享出来。


拓宽了AWS的服务领域，像新接触的EMR、Glue、Athena等都是大数据领域的，还有自己在折腾网站时也有很多新发现，后面有机会也都会分享出来。


读书
很惭愧，今年读的书很少，只读了两本。

《置身事内：中国政府与经济发展》：比较枯燥，但是能够一定程度解答自己对于中国宏观经济的一些疑问。
《高效能人士的七个习惯》：ChatGPT推荐，值得一看，希望自己能够成为一个高效能人士。

汽车
今年对我的RAV4做了很多改造，在小红书上有六篇关于RAV4改造的笔记，有兴趣可以关注我的小红书：别闹了老司机。




            RAV4的帅照
        


旅游
今年去了汉中和青岛两个地方。

            汉中
        



            青岛
        


生活
今年初我们的房子交付了，在房子装修上花了不少时间。精装改造、全屋定制、大小家具和家电，十分费钱费精力，不过好在目前大部分已经搞定，只等甲醛挥发差不多就可以入住了，期待……


使用JMeter对API进行压力测试
Fri, 15 Dec 2023 17:00:00 +0800
本文介绍了JMeter，一款Java编写的API压力测试工具。以访问wikipedia主页为例，图文介绍了如何构建测试用例。
JMeter简介
Apache JMeter 是Apache组织的开放源代码项目，是一个纯Java桌面应用，用于压力测试和性能测试。
下载与启动
因为JMeter是Java桌面应用，所以需要提前安装并配置好Java环境。博主使用的是Mac，所以下载apache-jmeter-5.6.2.tgz.
下载完成后双击解压，进入bin目录，使用./jmeter.sh启动软件
创建测试
Thread Group
在Test Plan右键 –> Add –> Threads(Users) –> Thread Group



Thread Group配置



HTTP Request
在Thread Group右键 –> Add –> Sampler –> HTTP Request



HTTP Request配置



Response Assertion
在Thread Group右键 –> Add –> Assertionis –> Response Assertion



Response Assertion Config配置



View Results Tree
在Thread Group右键 –> Add –> Listener –> View Results Tree



View Results Tree界面



Summary Report
在Thread Group右键 –> Add –> Listener –> Summary Report



Summary Report界面



最后需要将测试保存为*.jmx文件，这里将访问wikipedia的请求保存为wikipedia.jmx



命令行执行测试
命令说明
jmeter -n -t [jmx file] -l [results file] -e -o [Path to web report folder]
具体执行命令
./jmeter -n -t ./wikipedia.jmx -l wikipedia/result/wikipedia.txt -e -o wikipedia
执行过程



测试结果
命令行执行测试完毕后，可以在wikipedia/index.html中查看执行的具体情况





AWS多可用区的VPC网络环境
Thu, 12 Oct 2023 16:47:12 +0800
本文介绍了AWS Region、Available zone、VPC及其Subnet、Internet Gateway和Route Table等概念，创建了一个多可用区的VPC，并介绍多可用区如何保证服务高可用性。
Region
AWS Region即AWS地区，是AWS提供的基础设施服务的物理部署地点。每个Region都是独立于其他Region，这样能够最大限度保证容错率和可用性。
Available zone
AWS Available zone即AWS可用区，每个Region都拥有多个Available zone，每个Available zone都是独立的物理数据中心，拥有独立的电力、网络、安全等设施。
全球现拥有25个亚马逊云科技地理区域和81个可用区，如下图所示：



VPC
AWS VPC即AWS虚拟私有网络，可以理解为在AWS云中创建了一块自己的专有网路环境。创建VPC时，需要指定VPC的CIDR。CIDR是一个IP地址段，CIDR的格式为：x.x.x.x/x，其中x.x.x.x为IP地址，/x为子网掩码，表示该IP地址段中有多少个IP地址。可以使用cidr.xyz网站来计算CIDR的IP地址段和可用IP数量。
在Asia Pacific (Singapore) ap-southeast-1区域中创建VPC，输入10.0.0.0/16表示IP地址段10.0.0.0到10.0.255.255，共有65,536个IP地址。如下图所示：



Subnet
子网是 VPC 内的 IP 地址范围。创建子网时，必须提供子网名称、CIDR和可用区（如果不指定，AWS会自动指定）。在添加子网后，您可以在 VPC 中部署 AWS 资源。子网可以公开或私有。公开子网内的资源可以有公共 IPv4 地址，可访问 Internet。私有子网内资源无法访问 Internet。
根据我们上面创建的VPC，我们设计了3个私有子网和3个公开子网，如下表所示：



子网名称
CIDR
可用IP范围
可用IP数量
BASE IP
BROADCAST IP




subnet-public-a
10.0.0.0/20
10.0.0.1 - 10.0.15.254
4094
10.0.0.0
10.0.15.255


subnet-public-b
10.0.16.0/20
10.0.16.1 - 10.0.31.254
4094
10.0.16.0
10.0.31.255


subnet-public-c
10.0.32.0/20
10.0.32.1 - 10.0.47.254
4094
10.0.32.0
10.0.47.255


subnet-private-a
10.0.128.0/20
10.0.128.1 - 10.0.143.254
4094
10.0.128.0
10.0.143.255


subnet-private-b
10.0.144.0/20
10.0.144.1 - 10.0.159.254
4094
10.0.144.0
10.0.159.255


subnet-private-c
10.0.160.0/20
10.0.160.1 - 10.0.175.254
4094
10.0.160.0
10.0.175.255



在AWS console中创建3个公开子网和3个私有子网，下图是创建一个私有子网的示例：



Internet Gateway
Internet Gateway 是 VPC 组件，可使 VPC 实例与 Internet 通信。如下图创建一个Internet Gateway。



创建Internet Gateway后，需要将Internet Gateway与VPC进行关联，如下图所示：



Route Table
路由表是一组规则，用于确定网络流量的目的地。目前我们创建的公开子网，还不拥有访问Internet的能力，因为还没有配置路由规则。创建路由表并指定VPC



然后再将路由表和子网进行关联，如下图所示：



对于public路由表，需要添加一条路由规则，将目的地为0.0.0.0/0的流量指向Internet Gateway，如下图所示：



AWS Console快速创建VPC
AWS console中提供了快速的创建VPC网络环境的功能，如下图所示：



当配置好需要创建的资源后，点击Create VPC即可创建所有资源。
多可用区的VPC网络环境
经过上面的操作，我们已经创建了基于三个可用区的VPC网络环境。多可用区的VPC网络环境，是AWS服务高可用的基础。
当创建了多可用区的VPC网络环境后，我们可以在多个可用区中创建多个相同的资源。当某个可用区出现故障时，其他可用区的资源可以继续提供服务，从而保证了服务的高可用性。
需要注意的是如何配置应用在多个可用区之间的切换。以EC2实例为例，我们在多个可用区中创建相同的EC2实例，通过Application Load Balancer（ALB）分发流量。当某个可用区出现故障时，ALB会将流量切换到其他可用区中的EC2实例上，从而保证了服务的高可用性。




一个无聊的网站
Thu, 14 Sep 2023 16:47:12 +0800
本文是无聊网站的第一篇，主要介绍了无聊网站freeupdateme.com的建站起因、网站功能、网站架构、技术难点、代码模板和参考资料。
建站起因
很久之前，在网上看到过一篇文章，讲述了一个无意义的网站。这个网站只有一个按钮，一个倒计时和一行文字。如果用户在一定的时间内（也没有具体说明是多久）不点击这个按钮，该网站将永远关闭，据说到发文为止，网站也不曾关闭。可惜，我从未找到这个网站。但是某一天当我又想起这个事情的时候，突然意识到，我可以自己去验证这个事情。
网站功能
基本功能
网站的功能其实很简单，主要是为了统计用户操作网页这个动作之间的时间间隔。用户需要操作一个输入框，输入并确认。然后将用户输入的内容显示在页面上。当用户再次输入时，显示内容会被覆盖。后台数据库会保存用户输入内容，输入时间和IP地址。这样就可以拿到用户输入的内容和时间，进行分析。
趣味功能
为了更好玩，我增加了下面的一些功能，并附上了网站截图：

添加了一个计时器，显示最后一次输入到当前的时间
添加了IP地址信息，利用ip2region解析IP地址获得
添加了今日剩余更新次数，今日更新次数和总更新次数
添加了词云图，使用结巴中文分词，图片绘制使用wordcloud2在线生成。




网站架构
功能确定后，就需要确定网站架构。在这里我们使用AWS云，主要服务有Route53, API Gateway、Lambda、DynamoDB和S3，整体架构如下图。



网站响应流程：

浏览器发送请求到Route53，S3（用于加载页面的图片资源）
Route53将请求路由到API Gateway
API Gateway触发Lambda
Lambda运行并处理逻辑

技术难点
在构建网站时遇到了一个问题，VPC内Lambda不能够访问Dynamodb。解决这个问题可以有三个思路

给Lambda访问公网能力，这样通过公网连接Dynamodb。


这个方案在执行后还是不能够连接Dynamodb，原因是Lambda作为serverless不能够有public ip，参考stackoverflow的回答


使用dynamoDB的VPC endpoint，Lambda不通过公网连接Dynamodb。


这个方案可行，但是需要创建额外资源，而且Lambda实际上是可以不部署在VPC内的。所以就有了第三个方案。


将Lambda部署在非VPC环境内，这样Lambda和Dynamodb在同一个环境，就可以访问了


这个方案架构简单，仅部署需要的资源，不需要配置VPC和Subnet，省事了不少。

代码模板
在这里仅展示可复用的代码，AWS资源创建cloudformation和部署脚本
资源模板


  click here to show resources.yml file
  ---
AWSTemplateFormatVersion: "2010-09-09"
Description: Free update me
Transform: "AWS::Serverless-2016-10-31"
Parameters:
  AppName:
    Type: String
Resources:
  API:
    Type: AWS::Serverless::Api
    Properties:
      StageName: api
      TracingEnabled: true
      OpenApiVersion: 3.0.2
  LambdaFunction:
    Type: "AWS::Serverless::Function"
    Properties:
      CodeUri: ../dist/
      FunctionName: !Ref AppName
      Environment:
        Variables:
          REGION: !Ref "AWS::Region"
      Handler: freeUpdateMeHandler.handler
      MemorySize: 128
      Runtime: nodejs18.x
      Timeout: 60
      Policies:
        - Version: '2012-10-17'
          Statement:
            - Effect: Allow
              Action:
                - dynamodb:PutItem
                - dynamodb:GetItem
              Resource: !GetAtt FreeUpdateMeDynamoDBTable.Arn
      Tracing: Active
      Events:
        getEndpoint:
          Type: Api
          Properties:
            RestApiId: !Ref API
            Path: /
            Method: GET
        postEndpoint:
          Type: Api
          Properties:
            RestApiId: !Ref API
            Path: /
            Method: POST
  LogGroup:
    Type: "AWS::Logs::LogGroup"
    DependsOn: LambdaFunction
    Properties:
      LogGroupName: !Join
        - /
        - - /aws/lambda
          - !Ref LambdaFunction
      RetentionInDays: 1
  FreeUpdateMeDynamoDBTable:
    Type: "AWS::DynamoDB::Table"
    Properties:
      TableName: free-update-me
      BillingMode: PAY_PER_REQUEST
      AttributeDefinitions:
        - AttributeName: id
          AttributeType: S
      KeySchema:
        - AttributeName: id
          KeyType: HASH




脚本
aws cloudformation package \
  --region $AWS_REGION \
	--template-file $ORIGINAL_TEMPLATE_PATH \
	--output-template-file $COMPILED_TEMPLATE_PATH \
	--s3-bucket $BUCKET \
	--s3-prefix $APP_NAME \
	--use-json

aws cloudformation deploy \
    --region $AWS_REGION \
    --stack-name $APP_NAME \
    --template-file $COMPILED_TEMPLATE_PATH \
    --parameter-overrides file://$PARAMETER_FILE_PATH \
    --tags $TAGS \
    --capabilities CAPABILITY_IAM
参考资料

what-is-the-downside-of-not-running-aws-lambda-functions-in-a-vpc
why-cant-an-aws-lambda-function-inside-a-public-subnet-in-a-vpc-connect-to-the- internet



基于Docker的Hadoop和Spark环境搭建
Mon, 21 Aug 2023 16:47:12 +0800
本文主要介绍了如何在docker中快速搭建Hadoop和Spark环境。如果想入门大数据，那么一个Docker环境下的大数据平台是最佳学习方式。
环境
环境：MacOS Ventura 13.5
机型：MacBook Pro (M1, 2021)
准备工作

hadoop-3.3.1-aarch64
JDK1.8-aarch64
scala-2.12.14
spark-3.2.1-bin-hadoop3.2
pyspark-3.4.1

Move hadoop-3.3.1-aarch64.tar.gz、jdk-8u301-linux-aarch64.tar.gz、scala-2.12.14.tgz、spark-3.2.1-bin-hadoop3.2.tgz and pyspark-3.4.1.tar.gz to resources folder
构建
build Dockerfile


  点击显示代码 Dockerfile file
  FROM ubuntu:20.04

LABEL maintainer="puppets"

WORKDIR /root

# install openssh-server, openjdk and wget
RUN apt-get update && apt-get install -y openssh-server wget

RUN apt install python-is-python3

RUN apt install python3-pip -y

RUN apt install -y mysql-server

ADD resources/hadoop-3.3.1-aarch64.tar.gz /usr/local/hadoop
ADD resources/jdk-8u301-linux-aarch64.tar.gz /usr/local/hadoop
ADD resources/scala-2.12.14.tgz /usr/local/hadoop
ADD resources/spark-3.2.1-bin-hadoop3.2.tgz /usr/local/hadoop
COPY resources/pyspark-3.4.1.tar.gz /usr/local/hadoop
COPY resources/apache-hive-3.1.3-bin.tar.gz /usr/local/hadoop
COPY resources/mysql-connector-java-8.0.28.jar /usr/local/hadoop

RUN tar -zxvf /usr/local/hadoop/apache-hive-3.1.3-bin.tar.gz -C /usr/local/hadoop/

RUN mv /usr/local/hadoop/hadoop-* /usr/local/hadoop/hadoop && \
    mv /usr/local/hadoop/jdk* /usr/local/hadoop/jdk1.8 && \
    mv /usr/local/hadoop/scala* /usr/local/hadoop/scala2.12 && \
    mv /usr/local/hadoop/spark* /usr/local/hadoop/spark3.2.1 && \
    mv /usr/local/hadoop/mysql-connector-java-8.0.28.jar /usr/local/hadoop/apache-hive-3.1.3-bin/lib/.

# set environment variable
ENV JAVA_HOME=/usr/local/hadoop/jdk1.8
ENV JRE_HOME=$JAVA_HOME/jre
ENV CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
ENV PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

ENV HADOOP_HOME=/usr/local/hadoop/hadoop
ENV PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

ENV SCALA_HOME=/usr/local/hadoop/scala2.12
ENV PATH=$PATH:$SCALA_HOME/bin:$HADOOP_HOME/sbin

ENV SPARK_HOME=/usr/local/hadoop/spark3.2.1
ENV PATH=$PATH:$SPARK_HOME/bin:$HADOOP_HOME/sbin

ENV HIVE_HOME=/usr/local/hadoop/apache-hive-3.1.3-bin
ENV PATH=$PATH:$HIVE_HOME/bin


# ssh without key
RUN ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

RUN mkdir -p ~/hdfs/namenode && \
    mkdir -p ~/hdfs/datanode && \
    mkdir $HADOOP_HOME/logs && \
    mkdir $HADOOP_HOME/tmp

COPY config/* /tmp/

RUN mv /tmp/ssh_config ~/.ssh/config && \
    mv /tmp/hadoop-env.sh $HADOOP_HOME/etc/hadoop/hadoop-env.sh && \
    mv /tmp/hdfs-site.xml $HADOOP_HOME/etc/hadoop/hdfs-site.xml && \
    mv /tmp/core-site.xml $HADOOP_HOME/etc/hadoop/core-site.xml && \
    mv /tmp/mapred-site.xml $HADOOP_HOME/etc/hadoop/mapred-site.xml && \
    mv /tmp/yarn-site.xml $HADOOP_HOME/etc/hadoop/yarn-site.xml && \
    mv /tmp/slaves $HADOOP_HOME/etc/hadoop/slaves && \
    mv /tmp/workers $HADOOP_HOME/etc/hadoop/workers && \
    mv /tmp/start-hadoop.sh ~/start-hadoop.sh && \
    mv /tmp/update-mysql-password.sh ~/update-mysql-password.sh && \
    mv /tmp/stop-hadoop.sh ~/stop-hadoop.sh && \
    mv /tmp/run-wordcount.sh ~/run-wordcount.sh && \
    mv /tmp/hive-site.xml $HIVE_HOME/conf/hive-site.xml

RUN chmod +x ~/start-hadoop.sh && \
    chmod +x ~/stop-hadoop.sh && \
    chmod +x ~/run-wordcount.sh && \
    chmod 700 ~/.ssh && \
    chmod 600 ~/.ssh/* && \
    chmod +x $HADOOP_HOME/sbin/start-dfs.sh && \
    chmod +x $HADOOP_HOME/sbin/start-yarn.sh && \
    chmod +x ~/update-mysql-password.sh

RUN sed -i 1a\HDFS_DATANODE_USER=root $HADOOP_HOME/sbin/start-dfs.sh && \
    sed -i 2a\HDFS_NAMENODE_USER=root $HADOOP_HOME/sbin/start-dfs.sh && \
    sed -i 3a\HDFS_SECONDARYNAMENODE_USER=root $HADOOP_HOME/sbin/start-dfs.sh && \
    sed -i 4a\YARN_RESOURCEMANAGER_USER=root $HADOOP_HOME/sbin/start-dfs.sh && \
    sed -i 5a\YARN_NODEMANAGER_USER=root $HADOOP_HOME/sbin/start-dfs.sh && \
    sed -i 1a\HDFS_DATANODE_USER=root $HADOOP_HOME/sbin/stop-dfs.sh && \
    sed -i 2a\HDFS_NAMENODE_USER=root $HADOOP_HOME/sbin/stop-dfs.sh && \
    sed -i 3a\HDFS_SECONDARYNAMENODE_USER=root $HADOOP_HOME/sbin/stop-dfs.sh && \
    sed -i 4a\YARN_RESOURCEMANAGER_USER=root $HADOOP_HOME/sbin/stop-dfs.sh && \
    sed -i 5a\YARN_NODEMANAGER_USER=root $HADOOP_HOME/sbin/stop-dfs.sh && \
    sed -i 1a\YARN_RESOURCEMANAGER_USER=root $HADOOP_HOME/sbin/start-yarn.sh && \
    sed -i 2a\HADOOP_SECURE_DN_USER=yarn $HADOOP_HOME/sbin/start-yarn.sh && \
    sed -i 3a\YARN_NODEMANAGER_USER=root $HADOOP_HOME/sbin/start-yarn.sh && \
    sed -i 1a\YARN_RESOURCEMANAGER_USER=root $HADOOP_HOME/sbin/stop-yarn.sh && \
    sed -i 2a\HADOOP_SECURE_DN_USER=yarn $HADOOP_HOME/sbin/stop-yarn.sh && \
    sed -i 3a\YARN_NODEMANAGER_USER=root $HADOOP_HOME/sbin/stop-yarn.sh

RUN cat /tmp/profile >> /etc/profile && \
    rm -rf $HADOOP_HOME/share/doc \

RUN echo "alias python=python3" >> ~/.bashrc

RUN pip install /usr/local/hadoop/pyspark-3.4.1.tar.gz

# format namenode
RUN $HADOOP_HOME/bin/hdfs namenode -format

CMD [ "sh", "-c", "service ssh start; bash"]




docker build -f Dockerfile -t puppets/hadoop:1.1 .
create hadoop network
sudo docker network create --driver=bridge hadoop
start container


  点击显示代码 start-container.sh file
  #!/bin/bash

echo "start hadoop-master container..."
sudo docker run -itd \
  --net=hadoop \
  -p 9870:9870 \
  -p 9860-9866:9860-9866 \
  -p 9000:9000 \
  -p 4040:4040 \
  --name hadoop-master \
  --hostname hadoop-master \
  puppets/hadoop:1.1

echo "start hadoop-slave1 container..."
sudo docker run -itd \
  --net=hadoop \
  --name hadoop-slave1 \
  --hostname hadoop-slave1 \
  puppets/hadoop:1.1

echo "start hadoop-slave2 container..."
sudo docker run -itd \
  -p 8088:8088 \
  --net=hadoop \
  --name hadoop-slave2 \
  --hostname hadoop-slave2 \
  puppets/hadoop:1.1




sudo ./start-container.sh
output:
start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
Start
docker exec -it hadoop-master bash
./start-hadoop.sh
因为yarn配置在hadoop-slave2节点，所以还需要去hadoop-slave2启动
docker exec -it hadoop-slave2 bash
./start-hadoop.sh

HDFS UI -> http://localhost:9870/

  

SPARK UI -> http://localhost:8088/

  


测试
在master节点运行任务
./run-wordcount.sh 3.3.1
output
input file1.txt:
Hello Hadoop

input file2.txt:
Hello Docker

wordcount output:
Docker    1
Hadoop    1
Hello    2

子网名称	CIDR	可用IP范围	可用IP数量	BASE IP	BROADCAST IP
subnet-public-a	10.0.0.0/20	10.0.0.1 - 10.0.15.254	4094	10.0.0.0	10.0.15.255
subnet-public-b	10.0.16.0/20	10.0.16.1 - 10.0.31.254	4094	10.0.16.0	10.0.31.255
subnet-public-c	10.0.32.0/20	10.0.32.1 - 10.0.47.254	4094	10.0.32.0	10.0.47.255
subnet-private-a	10.0.128.0/20	10.0.128.1 - 10.0.143.254	4094	10.0.128.0	10.0.143.255
subnet-private-b	10.0.144.0/20	10.0.144.1 - 10.0.159.254	4094	10.0.144.0	10.0.159.255
subnet-private-c	10.0.160.0/20	10.0.160.1 - 10.0.175.254	4094	10.0.160.0	10.0.175.255