编译python环境
下载python源码 1234wget https://www.python.org/ftp/python/3.10.18/Python-3.10.18.tgz#解压tar xzf Python-3.10.18.tgz 安装依赖包 123456789# CentOS/RHEL/Rocky Linuxsudo dnf groupinstall -y "Development Tools"sudo dnf install -y zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel libffi-devel wget# Debian/Ubuntusudo apt-get updatesudo apt-get install -y build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev...
安装rke2
卸载rke2一键卸载 1bash /usr/bin/rke2-uninstall.sh 一键安装 12curl -sfL https://get.rke2.io | sh - 修改配置文件 1234567# /etc/rancher/rke2/config.yamlwrite-kubeconfig-mode: "0644"tls-san: - <你的主机名或 IP># 修改监听端口https-listen-port: 7443 配置镜像源 1vim /etc/rancher/rke2/registries.yaml 1234567891011mirrors: "docker.io": endpoint: - "https://registry.aliyuncs.com"configs: "registry.aliyuncs.com": tls: insecure_skip_verify: true
python整理不需要的依赖
步骤 1️⃣：重新生成实际需要的依赖列表 12pip install pipreqspipreqs ./ --force --ignore .venv 这会在当前目录生成一个基于实际代码 import 的 requirements.txt，只包含用到的包。 步骤 2️⃣：创建新虚拟环境并重新安装依赖（干净） 123python -m venv clean_envsource clean_env/bin/activatepip install -r requirements.txt 这样只保留用到的依赖，未使用的自然就被删除了。
安装docker
123sudo yum remove -y podman runc containerd.iosudo rm -rf /etc/containers /usr/share/containers ~/.config/containers 配置阿里云镜像源 12345678sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://<你的阿里云加速ID>.mirror.aliyuncs.com"]}EOF 安装 docker 12345sudo yum install -y docker-ce docker-ce-cli containerd.iosudo systemctl enable --now dockerdocker versiondocker info nginx 支持 stream 转发 12sudo yum install...
提交新项目到gitlab
gitlab创建项目 clone到本地 复制ssh 链接，在空目录下打开控制台 1git clone git@gitlab.hpcang.com:hpcbigdata/data-process-center.git clone 文件到本地后，将未用git创建的项目问题移动到当前目录下，或者将当前目录下的.git 文件移动到项目下，用pychram打开当前目录
windows gitlab
安装git下载git: https://git-scm.com/downloads/win 安装完成后双击解压 解压后文件：  配置环境变量复制 git 解压后路径的bin目录 D:\谷歌下载\PortableGit\bin 此电脑->设置->系统->环境变量 系统变量中的 Path -> 新建 复制git bin 目录 打开控制台，输入git 配置gitlab免密1.windows 创建用户密钥对1ssh-keygen -t rsa -C "your_email@youremail.com" 2.复制密钥对进入目录 1C:\Users\artemis\.ssh 记事本打开**id_rsa.pub**复制文本 3.密钥输入gitlabsetting->SSH...
yarn 队列
yarn 不用重启刷新队列配置文件 1yarn rmadmin -refreshQueues
doris表优化
12# 优化时序数据的压缩策略 compaction 优化ALTER TABLE hpcang_ods.ods_stock_center_stock_history SET("compaction_policy" = "time_series") tablet 相关 123456789#查看表 tablet SHOW tablets FROM dbname.ods_stock_center_stock_history -- 查看表tablet详情show tablet tabletID-- 查看表version countSHOW PROC '/dbs/2358600/2775394/partitions/2775393/2775395/2775396';
linux文本操作
替换 1sed -i 's/旧内容/新内容/g' 文件名
flink常用命令
session模式 1234567#启动./bin/yarn-session.sh --detached#重启./bin/yarn-session.sh -id application_#停止echo "stop" | ./bin/yarn-session.sh -id application_ 任务管理 12345678910111213#任务监控 ./bin/flink list #创建savepoint./bin/flink savepoint $JOB_ID hdfs://hadoop-01:9000/flink_savepoint/savepoint-e24855-64847000b217 #优雅停止任务./bin/flink stop $JOB_ID --savepointPath hdfs://hadoop-01:9000/flink_savepoint/savepoint-e24855-64847000b217 ...