小陈运维

一、webvirtmgr介绍及环境说明 温馨提示：安装KVM是需要2台都操作的，因为我们是打算将2台都设置为宿主机所有都需要安装KVM相关组件 github地址https://github.com/retspen/webvirtmgr WebVirtMgr是一个基于libvirt的Web界面，用于管理虚拟机。它允许您创建和配置新域，并调整域的资源分配。VNC查看器为来宾域提供完整的图形控制台。KVM是目前唯一支持的虚拟机管理程序。 查看服务器版本号 12[root@webc ~]# cat /etc/redhat-releaseCentOS Linux release 7.9.2009 (Core) 内核版本 12[root@webc ~]# uname -r3.10.0-1160.42.2.el7.x86_64 关闭Selinux & 防火墙 12345[root@webc ~]# systemctl stop firewalld[root@webc ~]# systemctl disable firewalld[root@webc ~]# setenforce 0se ...

项目简介 Exchangis是一个轻量级的、高扩展性的数据交换平台，支持对结构化及无结构化的异构数据源之间的数据传输，在应用层上具有数据权限管控、节点服务高可用和多租户资源隔离等业务特性，而在数据层上又具有传输架构多样化、模块插件化和组件低耦合等架构特点。 Exchangis的传输交换能力依赖于其底层聚合的传输引擎，其顶层对各类数据源定义统一的参数模型，每种传输引擎对参数模型进行映射配置，转化为引擎的输入模型。每聚合一种引擎，都将增加Exchangis一类特性，对某类引擎的特性强化，都是对Exchangis特性的完善。默认聚合以及强化Alibaba的DataX传输引擎。 核心特点 数据源管理 以绑定项目的方式共享自己的数据源； 设置数据源对外权限，控制数据的流入和流出。 多传输引擎支持 传输引擎可横向扩展； 当前版本完整聚合了离线批量引擎DataX、部分聚合了大数据批量导数引擎SQOOP 近实时任务管控 快速抓取传输任务日志以及传输速率等信息，实时关闭任务； 可根据带宽状况对任务进行动态限流 支持无结构化传输 DataX框架改造，单独构建二进制流快速通道，适用于无数据转换的纯数据同步场 ...

ELK简介 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称（但是后期出现的Filebeat（beats中的一种）可以用来替代Logstash的数据收集功能，比较轻量级）。市面上也被成为Elastic Stack。 Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取单个日志以获取新内容，并将新日志数据发送到libbeat，libbeat将聚集事件，并将聚集的数据发送到为Filebeat配置的输出。 Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。Logstash能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用Grok从 ...

Hadoop 简介 Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。 Hive简介 Apache Hive是一个构建于Hadoop顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。需要注意的是，Hive它并不是数据库。 Hive依赖于HDFS和MapReduce，其对HDFS的操作类似于SQL，我们称之为HQL，它提供了丰富的SQL查询方式来分析存储在HDFS中的数据。HQL可以编译转为MapReduce作业，完成查询、汇总、分析数据等工作。这样一来，即使不熟悉MapReduce 的用户也可以很方便地利用SQL 语言查询、汇总、分析数据。而MapReduce开发人员可以把己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。 Apache Spark 简介 用 ...

使用 Istioctl 安装 istio 下载 Istio 转到 Istio 发布 页面，下载针对你操作系统的安装文件， 或用自动化工具下载并提取最新版本（Linux 或 macOS）： 123[root@k8s-master-node1 ~]# curl -L https://istio.io/downloadIstio | sh - 若无法下载可以手动写入文件进行执行 脚本内容： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613 ...

KubeSphere 升级 123root@master1:~# export KKZONE=cnroot@master1:~# kk upgrade --with-kubernetes v1.22.1 --with-kubesphere v3.2.0 -f sample.yaml 启用插件 用户可以使用 KubeSphere Web 控制台查看和操作不同的资源。要在安装后启用可插拔组件，只需要在控制台中进行略微调整。对于那些习惯使用 Kubernetes 命令行工具 kubectl 的人来说，由于该工具已集成到控制台中，因此使用 KubeSphere 将毫无困难。 以 admin 身份登录控制台。点击左上角的平台管理 ，然后选择集群管理。 集群管理 点击 CRD，然后在搜索栏中输入 clusterconfiguration，点击搜索结果进入其详情页面。 CRD 编辑配置文件 在该配置文件中，将对应组件 enabled 的 false 更改为 true，以启用要安装的组件。完成后，点击更新以保存配置。 我的内容： 123456789101112131415161718192 ...

介绍 Python 深度学习AI - 声音克隆、声音模仿，是一个三阶段的深度学习框架，允许从几秒钟的音频中创建语音的数字表示，并用它来调节文本到语音模型，该模型经过培训，可以概括到新的声音。 环境准备与安装 原始英文版地址： https://github.com/CorentinJ/Real-Time-Voice-Cloning 中文二次开发版（本文使用该版本）： https://github.com/babysor/MockingBird pycharm环境下载： https://www.jetbrains.com/pycharm/download/#section=windows conda虚拟环境： https://www.anaconda.com/products/individual FFmpeg ： https://github.com/BtbN/FFmpeg-Builds/releases 模型文件： https://pan.baidu.com/s/1PI-hM3sn5wbeChRryX-RCQ 提取码 2021 在电脑系统上安装 FFmpeg 工具 下载zip压缩包连接 ...

Web 界面 (Dashboard) Dashboard 是基于网页的 Kubernetes 用户界面。你可以使用 Dashboard 将容器应用部署到 Kubernetes 集群中，也可以对容器应用排错，还能管理集群资源。你可以使用 Dashboard 获取运行在集群中的应用的概览信息，也可以创建或者修改 Kubernetes 资源 （如 Deployment，Job，DaemonSet 等等）。例如，你可以对 Deployment 实现弹性伸缩、发起滚动升级、重启 Pod 或者使用向导创建新的应用。 Dashboard 同时展示了 Kubernetes 集群中的资源状态信息和所有报错信息。 kubernetes官方提供的可视化界面 https://github.com/kubernetes/dashboard 一键执行 12kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.4.0/aio/deploy/recommended.yaml 先下载后执行 12root@master1:~ ...

Ubuntu下安装命令 123456root@master1:~# apt install -y bash-completionReading package lists... DoneBuilding dependency tree Reading state information... Donebash-completion is already the newest version (1:2.10-1ubuntu1).0 upgraded, 0 newly installed, 0 to remove and 29 not upgraded. centos下安装命令 1234567[root@dss ~]# yum install bash-completion -yLoaded plugins: fastestmirror, langpacksLoading mirror speeds from cached hostfile * epel: mirrors.tuna.tsinghua.edu.cnPackage 1:bash-completion-2.1-8. ...

介绍 Deepface是一个轻量级的python人脸识别和人脸属性分析（年龄、性别、情感和种族）框架。它是一种混合人脸识别框架缠绕状态的最先进的模型：VGG-Face，Google FaceNet，OpenFace，Facebook DeepFace，DeepID，ArcFace和Dlib。那些模型已经达到并通过了人类水平的准确性。该库主要基于 TensorFlow 和 Keras。 环境准备与安装 项目地址： https://github.com/serengil/deepface pycharm环境下载： https://www.jetbrains.com/pycharm/download/#section=windows conda虚拟环境： https://www.anaconda.com/products/individual 数据集： https://github.com/serengil/deepface\_models/releases/download/v1.0/vgg\_face\_weights.h5 https://github.com/serengil/ ...