记录下今天的活动,主要是去参加了腾讯举办的一个关于云计算的培训或者说宣传活动。从9点开始到下午6点半,一直在听胥老师的讲课,老师非常给力,全程都是站着的。也有很多的干货:
- 云计算
- 容器和虚拟化技术
- 云数据库
- ……
嘿!年轻人!你打算什么时候开始改变?下辈子吗?你来到这世上,懒懒散散得过且过,有意思吗?除了一天天变老,你还改变了什么?醒醒吧!好好努力,加油!——抖音语录
云计算
企业自建EDC
- L4:业务应用层
- L3:
- 应用支撑层
- 数据分析层
- L2:IT基础设施
- L1
- L0
IDC托管/租用
IDC资源出租、分为托管型和租用型
- 成本更低
- 上线更快
- 标准化
- 运维管理
定义
- 2006年AWS成立,谷歌提出云计算概念
- 云计算是一种按需使用、按量计费的服务模式(NIST)
- 提供可用的、便捷的、按需的网络访问,可配置的计算资源共享池
特征
- 超大规模:公有云的机器规模大
- 高可靠性:多副本容错机制
- 多租户隔离:共享底层的硬件资源,上层逻辑上式隔离的
- 弹性扩展:动态的弹性伸缩功能,满足应用和用户规模的增长需求
- 按需服务:用户按需购买
- 低成本:用户无需担心数据中心管理成本
- 资源可监控计算:可监控和计量
云计算对比
自建EDC、传统IDC、云计算
- 租用范围
- 总体成本
- 上线时间
- 运维管理
关键特点
- 按需服务
- 资源池化
- 弹性扩展
- 泛网络访问:随时随地、高质量
- 服务可度量:服务计费、精细化运营
服务模式
SaaS:软件即服务
PaaS:平台即服务
IaaS:基础设施即服务
部署方式
公有云:AWS\腾讯云
私有云:某行私有云
混合云:多云互通
社区云:金融社区和教育社区
云计算技术
计算虚拟化
全虚拟化:guestOS直接运行在虚拟化层上,ESXI、KVM
半虚拟化:guestOS需要安装额外驱动,Xen(全虚拟化也可以的)
- KVM负责CPU和内存虚拟化
- QEMU负责IO虚拟化
分布式数据存储
- 运行在多台节点上,自动整合
- 整合集群内部的存储空间资源
- 扩展性、容量、大规模的性能需求
- HDFS:Hadoop分布式文件系统
- 多副本容错机制
- 可运行在廉价机器上
网络虚拟化
基础设施层:网络设备,通过控制数据接口OpenFlow和控制层相连
控制层:SDN软件,通过API和应用层相连
应用层:业务应用
软件定义网络SDN、网络功能虚拟化NFV
OpenStack
各种模块的功能
Nova:计算服务
Neutron:网络服务
Keystone:认证与授权服务
Glance:镜像服务
Cinder:块存储服务
劣势 | 优势 |
---|---|
部署运维升级复杂 | 开源项目 |
扩展性能差 | 标准统一规范 |
容灾能力差 | 兼容各种平台 |
容器技术
对比传统虚拟化技术
轻量级的虚拟化技术,进程隔离,将依赖的资源和配置进行打包封装,提供独立可移植的运行环境
传统虚拟化:共享底层硬件,每个应用有自己的操作系统
容器技术:共享底层硬件和操作系统
技术:
- Docker技术
- 容器编排K8s:容器编排管理调度技术
优势
极其轻量:轻量打包、资源少、性能佳
秒级部署:毫秒和秒之间
易于移植:标准化、一次构建、随处部署
弹性伸缩:通过编排工具快速扩展和收缩
大数据和AI
大数据
- 数据量大volume
- 多样化variety
- 高速产生 velocity
- 价值密度低value
人工智能
人工智能的4大要素
- 算法
- 计算力
- 边界清晰
- 大数据
云服务器基础
地域与可用区
可用区:城市+ 编号
地域:覆盖范围+机房所在城市
25个城市,53个可用区
- 就近接入
- 隔离故障点
- 保障高可用
- 负载均衡
云服务器实例
标准型:中小型企业web应用和数据库
高IO型:NoSQL、
内存型:Hadoop
计算型
GPU型
大数据型
云服务器镜像
CVM镜像类型
- 公有镜像
- 服务市场镜像
云服务器演进
- 虚拟主机
网络服务器划出一部分磁盘空间
- 独立主机
租用服务器
-
VPS主机
-
云服务器
产品
-
CVM:弹性伸缩性的计算服务
-
GPU
-
基于FPGA:现场可编程阵列
- 部署方便
- 灵活计费
- 产权交易平台
- 深度学习、实时图像压缩处理
-
专用宿主机CDH(CVM Dedicated Host)
-
黑石物理服务器CPM2.0(cloud physical machine)
- 包年包月的裸金属服务
- 无虚拟化、安全隔离
- 弹性伸缩设置物理服务器的数量
场景:
- 大数据
- 虚拟化
- 游戏
计费方案
官网购买、API购买
- 包年包月
- 按量计费
- 梯价计费
私有网络VPC
Virtual Private Cloud ,用户自定义的、逻辑隔离的专属云上的网络空间
- IP网卡
- 子网
- 私有网段
- 10.0.0.0-10.255.255.255(掩码16-28)
- 172.16.0.0-172.16.255.255
- 192.168.0.0-192.168.255.255
- 安全组:放行和拒绝的端口或者协议(第一层)
- 网络ACL:控制进出子网的数据流(第二层)
- VPC路由表
弹性网卡
弹性网卡ENI,Elastic Network Interface:VPC内部的弹性网络接口,可在云服务器之间自由移动
- 多网卡
- 网络隔离
- 灵活迁移
公网接入
VPC里面有私有IP,无法访问公网,通过绑定公网来实现
- 普通公网 :CVM上申请绑定,与账号无关,解绑后立即释放
- 弹性公网
- 可申请独立,绑定CVM
- 与账号相关,解绑后继续保留
- 可通过控制或者API自动释放,或者欠费自动释放
没有公网IP的云服务器,可以通过位于不同子网的公网网关访问网络
公网网关开启了公网转发功能的云主机
NAT网关
- 通过IP地址转换
- SNAT,源网络
- DNAT,目的网络
- 网关流控、流量告警灯
类型
-
小型,最大100万连接数
-
中型,300万
-
大型,1000万
VPN连接
安全加密的网络隧道,实现本地和云服务器上的资源连通
专线接入和VPN连接对比
- 网络质量
- 高可靠
- 安全性
- 部署时间
- NAT支持
对等连接Peering connection
- 大带宽、高质量的云上资源互通服务
- 支持多VPC、多区域、多账户等
- PC互通性不连接
- VPC两端的网络不能重叠
云联网
- 全网互联
- 路由自动下发
- 对等互通连接不对等性
- 将各地的VPC、专线网关等连接起来,构成大的网络
负载均衡
CLB cloud load balancer,流量分发服务。
工作原理
- 虚拟VIP:接收访问请求
- CLB实例:通过监听器监听并分发流量
- 后端CVM:处理访问请求并返回结果
- 云监控:监控CVM运行并同步到监听器
主要特性
- 高性能、高吞吐
- 高可用性
- 安全保障
分发算法
- 加权轮询WPRS
- 加权最小连接WLCS
- 源地址散列IP-Hash
存储
基础知识
分布式存储serverSAN
软件定义存储SDS
类型
- 块存储
- 文件存储
- 对象存储
存储介质
- HDD机械盘
- 盘片旋转,磁头读写数据
- 160MB/s
- 删除后借助软件可恢复
- 高速旋转磁头抗震差
- SDD固态硬盘
- 通过块地址LBA并发读写
- 500+MB/s
- 删除后无法恢复
- 芯片存储超强抗震
存储分级
数据访问频率、性能要求和成本
- 标准存储:高频高速访问
- 低频存储:低频少量访问
- 离线存储(归档存储):极少访问
云存储产品
- 云硬盘CBS
用于CVM实例的持久性数据块级存储
- 普通云硬盘
- 高性能云硬盘
- SSD云硬盘
几个特点:
笔记:支持快照,属于是增量备份,仅保存前一次快照后更改过后的数据。应用场景:
- 数据日常备份
- 数据快速恢复
- 数据多副本应用
- 文件存储CFS
为多个CVM实例提供共享的数据源,高可用、高可靠的分布式文件系统。适合于大数据分析、媒体处理和内容管理等。
- 集成管理
- 自动扩展
- 安全设置
- 按需付费
- 对象存储COS
存储非结构化的数据,如视频、音频、文件等
- 多点上传的UGC场景
- 频繁的IO场景
- 大数据分析和处理
冷数据存储问题
- 大部分数据集中在少量的热数据上
- 绝大部分数据出现在迅速变“冷”
- 冷数据归档备份困难
- 归档存储CAS
Cloud Archive Storage,低成本、高可靠、易管理的云端离线存储服务。通过Vault(存储容器)来存取档案Archive(存储对象),数据的写入和取回
- 用户
- 临时缓存集群
- 持久化冷数据集群
云存储服务
- 存储网关CSG
cloud storage gateway,混合云存储方案,实现本地存储和云存储的无缝连接。
- 卷网关
- 文件网关
- 磁带网关
- 云数据迁移CDM
Cloud Data Migration,安全性、高效性、低成本
- 日志服务CLS
cloud log service,一站式日志服务平台
CDN内容分发网络
特点
腾讯自研12年发展,腾讯云9年开放。
- 加速可靠
- 快速接入
- 配置全面
- 计费灵活
- 低延时、高可用性
GSLB
智能调度系统
接入步骤
-
添加加速域名
-
配置源站信息
-
选择加速产品
-
修改CNAME
安全机制
- 移动解析HttpDNS
- SSL安全证书
- 顶级CA证书:与国际顶级的CA机构合作
- 100%兼容性:Symantec根证书签发
- 提升搜索排名:采用HTTPS有利于网站的搜索排名及站点可信度
- 数据加密传输:防止被篡改等
访问控制
- 过滤参数设置
- 防盗链设置
- 黑白名单
- IP访问限频
加速产品
- 网站加速
- 下载加速
- 音视频加速
- 海外加速
- 全站网络加速
- 全球应用加速GAAP
计费方案
- 带宽计费
- 流量计费
云数据库
数据库分类
- 数据组织方式
- 关系型
- 非关系型
- 数据架构和网络架构
- 集中式
- 分布式
关系型数据库:mysql、MariaDB、SQL server、postgresql
Nosql数据库:Redis、MongoDB、Memcached
时序数据库:CTSDB
游戏数据库:TcaplusDB
- OLAP和OLTP
日常交易处理 | |
面向实时交易类 | |
磁盘IO | |
实时读写要求高 |
-
TDSQL-nothing 架构
-
云数据库CynosDB
计费方式
- 包年包月
- 按量计费
云安全产品
体系和标准
- 机密性
- 完整性
- 可用性
《云安全指南4.0》、《云等级保护标准2.0》、《可信云服务》(TRUCS)、Gartner
常见威胁
-
病毒攻击
-
木马病毒
-
APP漏洞
-
DDoS攻击
-
渗透
云主机安全
面临的挑战:
- 入侵途径分散
- 安全边界不清晰
- …
网站安全
WAF,web application firewall,最常用的保护方案。
- 特征识别
- 模式识别
- AI算法
计费方式:基础套餐+扩展包
2019年12月21日写于深圳宝安