DB-GPT本地部署体验讯飞星火大模型V3.5
首先我们从 DB-GPT官网,可以得到的https://docs.dbgpt.site/docs/latest/quickstartDB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。目的是构建大模型领域的基础设施,通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单,更方便。数据3.0 时代,基于模型、数据库,企业/开发者可以用更少的代码搭建自己的专属应用
本次 我们通过代理模型方式,使用讯飞星火大模型3.5版本,来进行验证部署。
需要提前将Miniconda环境安装
环境配置首先根据官方文档说明,下载源码,并配置环境(python >= 3.10)
1234// 拉取源码git clone https://github.c ...
PostgreSQL UPSERT(insert on conflict do)和pgpass使用说明
PostgreSQL INSERT INTO ON CONFLICT语法。UPSERT(insert on conflict do) 记录存在就更新,不存在就更新。在某些业务场景中,需要把插入语句和更新组合到一起,一条SQL同时完成插入和更新逻辑。这个时候就需要用到 INSERT ON CONFLICT语法特性了。可以实现根据主键或者唯一约束,来插入或指定条件更新。
官方语法说明12345678910111213141516171819202122Command: INSERT Description: create new rows in a table Syntax: [ WITH [ RECURSIVE ] with_query [, ...] ] INSERT INTO table_name [ AS alias ] [ ( column_name [, ...] ) ] { DEFAULT VALUES | VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | que ...
搭建PostgreSQL主从架构
PostgreSQL是一个功能非常强大的、源代码开放的客户/服务器关系型数据库管理系统(RDBMS),被业界誉为“先进的开源数据库”,支持NoSQL数据类型,主要面向企业复杂查询SQL的OLTP业务场景。并且提供PostGIS地理信息引擎,也是我本次使用它的原因。经常在网上看到“PostgreSQL —— 世界上最流行的数据库”这一次 从零开始 搭建PG主从架构,做读写分离。
1. 配置PostgreSQL下载源首先准备两台服务器,安装PostgreSQL主从。版本选择这块,选了中间版本13 (详细版本是:13.12)。各版本信息可以在官网查看:https://www.postgresql.org/docs/
12345// 首先下载PostgreSQL的RPM文件包wget --no-check-certificate https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm// 安装RPM包rpm -ivh pgdg-redha ...
K8s搭建Flink集群并用StreamPark管理
前面文章中,成功搭建了K8s集群。这篇文章就开始来搭建组件了!
实时即未来 Apache Flink被普遍认为是下一代大数据流计算引擎。官网地址:https://flink.apache.orgApache StreamPark之前也叫做 Streamx。是Flink开发利器。官网地址:https://streampark.apache.org
所以本文内容:K8s搭建Flink集群并用StreamX管理。
前提说明官方文档地址如下:
K8s Flink : https://nightlies.apache.org/flink/flink-docs-stable/docs/deployment/resource-providers/native_kubernetes
StreamX : https://streampark.apache.org/zh-CN/docs/user-guide/deployment
依托于 StreamX一站式管理 和 K8s强大的调度管理。Flink集群的搭建算是比较简单了,按照官方文档一步一步就可以完成搭建。
K8s Flink 有要求 Kubern ...
k8s集群管理面板dashboard部署
在上一篇文章中,已经完成了K8s集群的搭建,现在再加上一个可视化的webUI来进行管理和方便查看。这里选择kubernetes/dashboard 通过官方的配置可以一键部署。
安装访问下载页面: https://github.com/kubernetes/dashboard/releases选择自己K8s集群的兼容版本,进行安装
执行安装命令
1kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml
查看启动状态
1kubectl get pods -n=kubernetes-dashboard -o wide
都为Running状态就可以了
123NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GAT ...
使用kubeadm方式搭建K8s集群
从零开始搭建K8s集群,一般网上的教程都会让大家提前准备三台机器,分别进行环境的安装。其实我们可以通过VMware虚拟机的克隆机制直接复制得到虚拟机。这样就只需要处理一台的环境即可。
k8s环境安装并配置VMware安装centos7之后, 用这台虚拟机用作master,安装并配置环境之后,再直接克隆出两个node即可
角色
IP
备注
k8smaster
192.168.31.190
安装环境只做一次即可
k8snode1
192.168.31.191
克隆虚拟机,并改MAC地址、改hostname
k8snode2
192.168.31.192
克隆虚拟机,并改MAC地址、改hostname
环境配置防火墙、selinux、swap部署k8s,需要关闭防火墙、禁用selinux、swap
关闭防火墙的原因(nftables后端兼容性问题,产生重复的防火墙规则)
禁用selinux的原因(关闭selinux以允许容器访问宿主机的文件系统)
禁用swap的原因(swap将部分内存数据存放到磁盘中,这样会使性能下降)
依次执行下列命令
123456789101 ...
群晖7.0安装Transmission4.0挂PT(docker版)
最近把NAS升级了一下,关于群晖7.0和docker安装Transmission4.0,这种最新版本的安装教程较少,同时Transmission4.0的配置和3.0是有很大区别的,汉化目录、WEB授权方式和路径都变了。所以在这里记录一下。
群晖套件安装Docker这一步很简单,在套件中心,搜索Docker,安装即可
下载Transmission镜像选择第一个镜像下载,选择latest版本。从右上角可以点击跳转详细页面,能看到最新版就是4.0.2
配置容器参数首先在docker目录下创建transmission文件夹。同时给予权限everyone然后在子目录下再创建三个目录 downloads,config,watch 分别挂载到容器的对应目录
/downloads :下载目录
/config :配置目录
/watch :种子目录
环境变量(重点)
TRANSMISSION_WEB_HOME :自定义web页面目录
USER :web页面的登录用户名
PASS :we ...
qbittorrent内网穿透解决端口阻塞
前提场景在qbittorrent没有公网IP,并且也开不了路由器端口转发的情况下,通过一台公网服务器中转,进行Socket5代理和内网穿透,解决qbittorrent端口阻塞问题。主要用到以下软件:
Frp内网穿透
gost代理
公网机器配置
公网机器 用来让内网中的qbittorrent客户端机器获取公网IP,同时转发客户端的端口流量。
启动gost1234./gost -L=qbadmin:123456@blog.dollcode.cn:8081//执行之后会输出如下日志就是正常成功了2022/12/01 03:11:45 route.go:694: auto://blog.dollcode.cn:8081 on xxx.xxx.xxx.xxx:8081
配置说明:
代表开启一个Socket5代理
用户名是:qbadmin;密码是:123456
IP是:blog.dollcode.cn(可以用域名也可以用IP)
端口是:8081
启动frpsfrp有两个包:frps是服务器端;frpc是客户端。这里我们配置frps的配置
1234567891011121314151 ...
linux 软连接link的使用
当我们需要在不同的目录,用到相同的文件场景中:我们不需要在每一个需要的目录下都放一个相同的文件,我们只要在其它的目录下用ln命令链接(link)就可以,不必重复的占用磁盘空间。软连接是linux中一个常用命令,它的功能是为某一个文件在另外一个位置建立一个同不的链接。
创建软链
命令:ln -s [源文件] [目标文件]
比如:将存放在/home/books目录下的书籍,软链到/opt/shu目录,实现在/opt/shu下也能使用查看书籍,也可以创建多个软链。如下:shu、shu1、shu2三个软链。
123456789101112131415root@Blog:/home/books# ls三国.txt 水浒传.txtroot@Blog:/home/books# ln -s /home/books /opt/shuroot@Blog:/home/books# cd /opt/shu/root@Blog:/opt/shu# ls三国.txt 水浒传.txtroot@Blog:/opt/shu# ln -s /home/books /opt/shu1root@Blog:/opt/sh ...
记一次FlinkSQL中Could not forward element to next operator异常
在Flink SQL 开发过程中,遇到这样一个错误:Caused by: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator
错误日志1234567Caused by: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator at org.apache.flink.streaming.runtime.tasks.ChainingOutput.pushToOperator(ChainingOutput.java:114) ~[flink-dist_2.11-1.13-vvr-4.0.13-1-SNAPSHOT.jar:1.13-vvr-4.0.13-1-SNAPSHOT] at org.apache.flink.str ...