K8s搭建Flink集群并用StreamPark管理
前面文章中,成功搭建了K8s集群。这篇文章就开始来搭建组件了!
实时即未来 Apache Flink被普遍认为是下一代大数据流计算引擎。官网地址:https://flink.apache.orgApache StreamPark之前也叫做 Streamx。是Flink开发利器。官网地址:https://streampark.apache.org
所以本文内容:K8s搭建Flink集群并用StreamX管理。
前提说明官方文档地址如下:
K8s Flink : https://nightlies.apache.org/flink/flink-docs-stable/docs/deployment/resource-providers/native_kubernetes
StreamX : https://streampark.apache.org/zh-CN/docs/user-guide/deployment
依托于 StreamX一站式管理 和 K8s强大的调度管理。Flink集群的搭建算是比较简单了,按照官方文档一步一步就可以完成搭建。
K8s Flink 有要求 Kubern ...
k8s集群管理面板dashboard部署
在上一篇文章中,已经完成了K8s集群的搭建,现在再加上一个可视化的webUI来进行管理和方便查看。这里选择kubernetes/dashboard 通过官方的配置可以一键部署。
安装访问下载页面: https://github.com/kubernetes/dashboard/releases选择自己K8s集群的兼容版本,进行安装
执行安装命令
1kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml
查看启动状态
1kubectl get pods -n=kubernetes-dashboard -o wide
都为Running状态就可以了
123NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GAT ...
使用kubeadm方式搭建K8s集群
从零开始搭建K8s集群,一般网上的教程都会让大家提前准备三台机器,分别进行环境的安装。其实我们可以通过VMware虚拟机的克隆机制直接复制得到虚拟机。这样就只需要处理一台的环境即可。
k8s环境安装并配置VMware安装centos7之后, 用这台虚拟机用作master,安装并配置环境之后,再直接克隆出两个node即可
角色
IP
备注
k8smaster
192.168.31.190
安装环境只做一次即可
k8snode1
192.168.31.191
克隆虚拟机,并改MAC地址、改hostname
k8snode2
192.168.31.192
克隆虚拟机,并改MAC地址、改hostname
环境配置防火墙、selinux、swap部署k8s,需要关闭防火墙、禁用selinux、swap
关闭防火墙的原因(nftables后端兼容性问题,产生重复的防火墙规则)
禁用selinux的原因(关闭selinux以允许容器访问宿主机的文件系统)
禁用swap的原因(swap将部分内存数据存放到磁盘中,这样会使性能下降)
依次执行下列命令
123456789101 ...
群晖7.0安装Transmission4.0挂PT(docker版)
最近把NAS升级了一下,关于群晖7.0和docker安装Transmission4.0,这种最新版本的安装教程较少,同时Transmission4.0的配置和3.0是有很大区别的,汉化目录、WEB授权方式和路径都变了。所以在这里记录一下。
群晖套件安装Docker这一步很简单,在套件中心,搜索Docker,安装即可
下载Transmission镜像选择第一个镜像下载,选择latest版本。从右上角可以点击跳转详细页面,能看到最新版就是4.0.2
配置容器参数首先在docker目录下创建transmission文件夹。同时给予权限everyone然后在子目录下再创建三个目录 downloads,config,watch 分别挂载到容器的对应目录
/downloads :下载目录
/config :配置目录
/watch :种子目录
环境变量(重点)
TRANSMISSION_WEB_HOME :自定义web页面目录
USER :web页面的登录用户名
PASS :we ...
qbittorrent内网穿透解决端口阻塞
前提场景在qbittorrent没有公网IP,并且也开不了路由器端口转发的情况下,通过一台公网服务器中转,进行Socket5代理和内网穿透,解决qbittorrent端口阻塞问题。主要用到以下软件:
Frp内网穿透
gost代理
公网机器配置
公网机器 用来让内网中的qbittorrent客户端机器获取公网IP,同时转发客户端的端口流量。
启动gost1234./gost -L=qbadmin:123456@blog.dollcode.cn:8081//执行之后会输出如下日志就是正常成功了2022/12/01 03:11:45 route.go:694: auto://blog.dollcode.cn:8081 on xxx.xxx.xxx.xxx:8081
配置说明:
代表开启一个Socket5代理
用户名是:qbadmin;密码是:123456
IP是:blog.dollcode.cn(可以用域名也可以用IP)
端口是:8081
启动frpsfrp有两个包:frps是服务器端;frpc是客户端。这里我们配置frps的配置
1234567891011121314151 ...
linux 软连接link的使用
当我们需要在不同的目录,用到相同的文件场景中:我们不需要在每一个需要的目录下都放一个相同的文件,我们只要在其它的目录下用ln命令链接(link)就可以,不必重复的占用磁盘空间。软连接是linux中一个常用命令,它的功能是为某一个文件在另外一个位置建立一个同不的链接。
创建软链
命令:ln -s [源文件] [目标文件]
比如:将存放在/home/books目录下的书籍,软链到/opt/shu目录,实现在/opt/shu下也能使用查看书籍,也可以创建多个软链。如下:shu、shu1、shu2三个软链。
123456789101112131415root@Blog:/home/books# ls三国.txt 水浒传.txtroot@Blog:/home/books# ln -s /home/books /opt/shuroot@Blog:/home/books# cd /opt/shu/root@Blog:/opt/shu# ls三国.txt 水浒传.txtroot@Blog:/opt/shu# ln -s /home/books /opt/shu1root@Blog:/opt/sh ...
记一次FlinkSQL中Could not forward element to next operator异常
在Flink SQL 开发过程中,遇到这样一个错误:Caused by: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator
错误日志1234567Caused by: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator at org.apache.flink.streaming.runtime.tasks.ChainingOutput.pushToOperator(ChainingOutput.java:114) ~[flink-dist_2.11-1.13-vvr-4.0.13-1-SNAPSHOT.jar:1.13-vvr-4.0.13-1-SNAPSHOT] at org.apache.flink.str ...
cloudflared内网穿透实现Windows远程桌面
个人经常会有远程Windows的需要,没有找到中意的远程软件
用过向日葵,三天两头服务器奔溃,账户莫名登录不上,直接劝退。
TeamViewer就厉害了,识别到国内IP就是特供版,不验证手机号直接不让用,也劝退了。
Todesk就直接告辞了,你以为在白嫖它的服务,殊不知电脑的网络被它一直在白嫖
偶然看到Cloudflare Tunnel穿透,配合Freenom的免费域名,通过windows远程桌面就可以直接远程了
提前准备
Cloudflare账号,注册地址:https://www.cloudflare.com
自定义域名并托管到Cloudflare(使用Freenom免费域名)
下载 Cloudflare可执行文件 下载地址:https://github.com/cloudflare/cloudflared/releases
被控端电脑配置将 下载好的可执行文件(cloudflared-windows-amd64.exe) 复制到 自己定义的目录 并改短名称为(cloudflared.exe),方便操作
在当前目录打开 cmd 窗口,输入如下命令进行登录验证,会自动打开游览 ...
nginx配置返回json或html
最近刚好需要清理一些旧接口,不让外界访问。通过Nginx直接拦截接口,返回接口不可用信息。记录一下操作
配置参数说明default_type
配置
说明
application/json
返回json格式
text/html
返回text/html格式
配置直接返回数据需要配置 default_type,不然游览器无法识别数据类型,会触发游览器下载
格式:return HTTP状态码 数据内容
配置返回JSON1234location = /blog/choose { default_type application/json; return 200 '{"code": -1, "msg": "接口已升级,请重新配置"}';}
配置返回HTML如果出现中文乱码,应该是Server没有配置字符集。增加 charset utf-8;
12345server { listen 80 server_ ...
Win10设置开机自启
在Windows操作系统中,经常有场景需要开机时 自动启动某个软件 或者 执行一段脚本
对于软件自身没有自启选项的。我们可以通过Windows自带的自启文件夹目录实现。也可以通过windows任务计划程序实现。
前言,通过windows任务计划程序实现详细请看之前的文章 >>>Windows任务计划程序配置<<<
第一步:进入自启目录目录:C:\Users\xxx\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup
可以复制上面的地址到 文件资源管理器 打开
也可以通过快捷键 win + R 打开 运行窗口,并输入 shell:startup 回车。即可打开自启目录
第二步:放入软件快捷方式以vscode软件为例,我们找到vscode软件的快捷方式(.lnk),复制到自启目录下
然后到 设置-应用-启动 就可以看到vscode已经被设置为开机自启了
扩展除了放入快捷方式,也可以直接放入exe文件(用快捷方式是为了避免占用C盘空间)
当然,也可以直接放 脚本文件,可以看看之前的 ...