提交新项目到gitlab
gitlab创建项目 clone到本地 复制ssh 链接，在空目录下打开控制台 1git clone git@gitlab.hpcang.com:hpcbigdata/data-process-center.git clone 文件到本地后，将未用git创建的项目问题移动到当前目录下，或者将当前目录下的.git 文件移动到项目下，用pychram打开当前目录
windows gitlab
安装git下载git: https://git-scm.com/downloads/win 安装完成后双击解压 解压后文件：  配置环境变量复制 git 解压后路径的bin目录 D:\谷歌下载\PortableGit\bin 此电脑->设置->系统->环境变量 系统变量中的 Path -> 新建 复制git bin 目录 打开控制台，输入git 配置gitlab免密1.windows 创建用户密钥对1ssh-keygen -t rsa -C "your_email@youremail.com" 2.复制密钥对进入目录 1C:\Users\artemis\.ssh 记事本打开**id_rsa.pub**复制文本 3.密钥输入gitlabsetting->SSH...
yarn 队列
yarn 不用重启刷新队列配置文件 1yarn rmadmin -refreshQueues
doris表优化
12# 优化时序数据的压缩策略 compaction 优化ALTER TABLE hpcang_ods.ods_stock_center_stock_history SET("compaction_policy" = "time_series") tablet 相关 123456789#查看表 tablet SHOW tablets FROM dbname.ods_stock_center_stock_history -- 查看表tablet详情show tablet tabletID-- 查看表version countSHOW PROC '/dbs/2358600/2775394/partitions/2775393/2775395/2775396';
linux文本操作
替换 1sed -i 's/旧内容/新内容/g' 文件名
flink常用命令
session模式 1234567#启动./bin/yarn-session.sh --detached#重启./bin/yarn-session.sh -id application_#停止echo "stop" | ./bin/yarn-session.sh -id application_ 任务管理 12345678910111213#任务监控 ./bin/flink list #创建savepoint./bin/flink savepoint $JOB_ID hdfs://hadoop-01:9000/flink_savepoint/savepoint-e24855-64847000b217 #优雅停止任务./bin/flink stop $JOB_ID --savepointPath hdfs://hadoop-01:9000/flink_savepoint/savepoint-e24855-64847000b217 ...
perf分析进程堆栈
perf 基本命令 实时显示系统中占用 CPU 最多的函数 1perf top 1perf record -g ./your_program
flink配置
12345678910111213141516171819202122232425262728293031jobmanager.rpc.port: 6123jobmanager.bind-host: 0.0.0.0jobmanager.memory.process.size: 2048mtaskmanager.bind-host: 0.0.0.0taskmanager.memory.process.size: 6gtaskmanager.numberOfTaskSlots: 4parallelism.default: 4state.backend: filesystem # 使用文件系统作为状态后端（可选：rocksdb, filesystem）state.checkpoints.dir: hdfs://hadoop-01:9000/flink_checkpoint # Checkpoint 的存储路径state.savepoints.dir: hdfs://hadoop-01:9000/flink_savepoint #...
常用正则表达式
匹配所有空行 1^\s*(?=\r?$)\n 匹配所有注释 1\*(.|\r\n|\n)*?\*/|\/\/.*
hdfs 常用命令
HA模式下管理节点 12345678# 查看namenode节点状态hdfs haadmin -getAllServiceState #切换节点为standby hdfs haadmin -transitionToStandby [serviceId]#切换节点为active hdfs haadmin -transitionToActive [serviceId]