ker

二、Kafka三、StarRocks四、Redis五、Rabbitmq六、Emqx6.1

前言6.2

https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shroothadoop:~#

bash

Miniconda3-latest-Linux-x86_64.shroothadoop:~#

source

information.exit()可参考Miniconda安装教程

1.4

scala-2.11.12.tgz修改配置要运行本地模式的话可忽略

/usr/local/spark-2.4.0-bin-hadoop2.7/conf

spark-env.sh

JAVA_HOME/usr/java/jdk1.8.0_212

export

SCALA_HOME/usr/local/scala-2.11.12

export

SPARK_HOME/usr/local/spark-2.4.0-bin-hadoop2.7

export

HADOOP_INSTALL/usr/local/hadoop-3.0.0

export

HADOOP_CONF_DIR$HADOOP_INSTALL/etc/hadoop注默认没有

vim

SPARK_HOME/usr/local/spark-2.4.0-bin-hadoop2.7

export

org.apache.spark.examples.SparkPi

$SPARK_HOME/examples/jars/spark-examples_2.11-2.4.0.jar

20二、Kafka

KAFKA_CFG_PROCESS_ROLESbroker,controller

KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAPCONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

KAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER

KAFKA_CFG_LISTENERSPLAINTEXT://:9092,CONTROLLER://:9093

KAFKA_CFG_CONTROLLER_QUORUM_VOTERS1127.0.0.1:9093

KAFKA_KRAFT_CLUSTER_IDjkUlhzQmQkic54LMxrB1oV

KAFKA_BROKER_ID1

bitnami/kafka:3.6.0-d选项以守护程序模式运行容器。

--name

(org.apache.kafka.common.utils.AppInfoParser)

[2024-09-25

(org.apache.kafka.common.utils.AppInfoParser)

[2024-09-25

(org.apache.kafka.common.utils.AppInfoParser)

[2024-09-25

(kafka.server.KafkaRaftServer)创建主题

docker

starrocks/allin1-ubuntu:3.1.13运行容器

docker

starrocks/allin1-ubuntu:3.1.13#

进入容器

/home/bigdata/redis/redis.conf使

Redis

10000stop-writes-on-bgsave-error

yes

appendonly.aofno-appendfsync-on-rewrite

100

/home/bigdata/redis/redis.conf:/etc/redis/redis.conf

-itd

max-size100m】意味着一个容器日志大小上限是100M;【–log-opt

max-file2】意味着一个容器有2个日志分别是id.json、id1.json;【-p

6379:6379】

强烈建议设置密码并且将密码设置为高强度复杂【redis-server

docker

127.0.0.1:6379[1]参考Docker安装redis(保姆级教程图文并茂)

五、Rabbitmq

rabbitmq:3.8-management创建目录授权文件夹

创建目录

/data/rabbitmq/{conf,data,log}创建

RabbitMQ

/data/rabbitmq/data:/var/lib/rabbitmq

/data/rabbitmq/conf:/etc/rabbitmq

/data/rabbitmq/log:/var/log/rabbitmq

docker

/data/rabbitmq/data:/var/lib/rabbitmq:

数据持久化-v

/data/rabbitmq/conf:/etc/rabbitmq:

配置文件持久化-v

/data/rabbitmq/log:/var/log/rabbitmq:

日志文件持久化-d:

http://172.29.32.233:15672/访问发现无法访问开启控制台管理

RabbitMQ

Transport消息队列遥测传输协议是一种基于发布/订阅publish/subscribe模式的轻量级通讯协议关键词通讯协议

EMQ

MGMT是网络管理端口可以直接用网线连接登陆进防火墙以网页模式管理。

6.2

emqx/emqx-enterprise:5.7.1运行以下命令启动

Docker

emqx/emqx-enterprise:5.7.1如果需要持久

Docker

JOB_MANAGER_RPC_ADDRESSjobmanagertaskmanager:image:

flink:1.17.2expose:-

jobmanager:jobmanagerenvironment:-

JOB_MANAGER_RPC_ADDRESSjobmanagerscale:

docker-compose

手把手教你在Docker中如何使用flink实现将mySQL数据同步写入kafka中

八、Nacos

nacos/nacos-server:v2.1.1创建目录创建容器拷贝文件授权文件删除容器

创建目录

-p[宿主机端口号][容器内部端口]此处我使用了主机80端口映射容器80端口0839

ID前4位