域名映射ip和端口（将kafka集群端口映射到公网访问）

场景假设比如你有一个kafka集群，在同一个vpc(私有网络)里面也即是在一个内网环境里，该kafka集群有3个broker，broker1、broker2和broker3。kafka集群信息如下：broker1 IP: 192.168.xxx.1broker2 IP: 192.168.xxx.2broker3 IP: 192.168.xxx.3kafka集群各个节点 server.properties配置config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://192.168.xxx.1:19092

config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://192.168.xxx.2:19092

config/server-3.properties:
broker.id=3
listeners=PLAINTEXT://192.168.xxx.3:19092
现在希望通过配置vpc公网ip做端口转发（也可以通过nginx做端口转发），就可以通过外网访问了（但是实际用kafka客户端连接会报超时）想通过vpc外的机器来访问kafka集群，也就想访问192.168.xxx.1:19092,192.168.xxx.2:19092,192.168.xxx.3:19092在vpc上做端口转发，vpc公网ip为192.168.xxx.xx，并在相应防火墙打开对应端口(19092、19093、19093)，比如：192.168.xxx.xx:19092  -> 192.168.xxx.1:19092
192.168.xxx.xx:19093  -> 192.168.xxx.2:19092
192.168.xxx.xx:19094 -> 192.168.xxx.2:19092测试这时，如果你通过vpc的公网ip和对应端口连接私有网络（内网）内的kafka集群，192.168.xxx.xx:19092、192.168.xxx.xx:19093、192.168.xxx.xx:19094端口都是通的，但是访问kafka发送或消费消息时，会报网络超时，这是为什么呢？kafka producer端（客户端）和server之间有个类似协商的阶段, server会把lkafka配置文件里listeners这里的地址直接返给producer，producer再发数据给这个listeners地址。因为kafka客户端是主动发现集群地址的，当你通过192.168.xxx.xx:19092、192.168.xxx.xx:19093、192.168.xxx.xx:19094确实是连接到kafka集群了，kafka集群返回给你的ip列表是你listeners配置的，也就是192.168.xxx.1:19092
192.168.xxx.2:19092
192.168.xxx.3:19092客户端producer 在vpc这个私有网络以外，producer 端通过ip转发和端口都没有用，producer 和vpc对应的公网ip是通的，但是与vpc内私有网络不通，这就是访问kafka发送或消费消息时会报网络超时等等的本质原因。解决一种解决方式是客户端通过域名映射的方式。1.kafka配置：修改kafka集群服务端各个节点的server.properties配置，注意listeners之后的ip和端口配置config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://kafka-1:19092

config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://kafka-2:19093

config/server-3.properties:
broker.id=3
listeners=PLAINTEXT://kafka-3:19094
kafka集群的各个节点在服务端配置hostscat /etc/hosts192.168.xxx.1 kafka-1192.168.xxx.2 kafka-2192.168.xxx.3 kafka-32.vpc做端口映射kafka-1 映射至 192.168.xxx.1：19092
kafka-2 映射至 192.168.xxx.2：19093
kafka-3 映射至 192.168.xxx.3：190943.客户端配置：客户端在host文件中把kafka01、kafka02、kafka03都映射到公网地址。这个很关键，上面提到过客户端会获取到kafka配置的元数据 ，客户端会获取到 kafka-1、kafka-2、kafka-3 这3个hostname，之后生产或消费数据会直接通过这个地址访问。如果不把这三个hostname重新映射到公网IP，就不能成功生产或者消费数据。#/etc/hosts
192.168.xxx.xx kafka01 kafka02 kafka03客户端访问kafka集群时，获取的是kafka-1:19092，kafka-2:19093，kafka-3:19094，通过客户端配置的hosts映射，都转成了对应的外网的ip，因此就可以访问了。注意：端口要一致，hosts映射只转ip。