在AWS上构建基于Airflow Hadoop和Spark大数据平台

2024年1月11日

本文介绍了AWS云平台服务EMR Serverless，Airflow托管服务MWAA（Managed Workflows for Apache Airflow），构建了基于AWS云平台的大数据平台，最后以一个实例演示了大数据平台的工作流程。

2023年终总结

2023年12月31日

一年时间又匆匆过去，站在年尾的我似乎还没有做好准备。回首一年，事件已为回忆，永远留在了过去。

使用JMeter对API进行压力测试

2023年12月15日

本文介绍了JMeter，一款Java编写的API压力测试工具。以访问wikipedia主页为例，图文介绍了如何构建测试用例。

AWS多可用区的VPC网络环境

2023年10月12日

本文介绍了AWS Region、Available zone、VPC及其Subnet、Internet Gateway和Route Table等概念，创建了一个多可用区的VPC，并介绍多可用区如何保证服务高可用性。

一个无聊的网站

2023年9月14日

本文是无聊网站的第一篇，主要介绍了无聊网站freeupdateme.com的建站起因、网站功能、网站架构、技术难点、代码模板和参考资料。

基于Docker的Hadoop和Spark环境搭建

2023年8月21日

本文主要介绍了如何在docker中快速搭建Hadoop和Spark环境。如果想入门大数据，那么一个Docker环境下的大数据平台是最佳学习方式。