Fork me on GitHub

充实的一天

记录下今天的活动,主要是去参加了腾讯举办的一个关于云计算的培训或者说宣传活动。从9点开始到下午6点半,一直在听胥老师的讲课,老师非常给力,全程都是站着的。也有很多的干货:

  • 云计算
  • 容器和虚拟化技术
  • 云数据库
  • ……

嘿!年轻人!你打算什么时候开始改变?下辈子吗?你来到这世上,懒懒散散得过且过,有意思吗?除了一天天变老,你还改变了什么?醒醒吧!好好努力,加油!——抖音语录

云计算

企业自建EDC

  • L4:业务应用层
  • L3:
    • 应用支撑层
    • 数据分析层
  • L2:IT基础设施
  • L1
  • L0

IDC托管/租用

IDC资源出租、分为托管型和租用型

  • 成本更低
  • 上线更快
  • 标准化
  • 运维管理

定义

  1. 2006年AWS成立,谷歌提出云计算概念
  2. 云计算是一种按需使用、按量计费的服务模式(NIST)
  3. 提供可用的、便捷的、按需的网络访问,可配置的计算资源共享池

特征

  • 超大规模:公有云的机器规模大
  • 高可靠性:多副本容错机制
  • 多租户隔离:共享底层的硬件资源,上层逻辑上式隔离的
  • 弹性扩展:动态的弹性伸缩功能,满足应用和用户规模的增长需求
  • 按需服务:用户按需购买
  • 低成本:用户无需担心数据中心管理成本
  • 资源可监控计算:可监控和计量

云计算对比

自建EDC、传统IDC、云计算

  1. 租用范围
  2. 总体成本
  3. 上线时间
  4. 运维管理

关键特点

  • 按需服务
  • 资源池化
  • 弹性扩展
  • 泛网络访问:随时随地、高质量
  • 服务可度量:服务计费、精细化运营

服务模式

SaaS:软件即服务

PaaS:平台即服务

IaaS:基础设施即服务

部署方式

公有云:AWS\腾讯云

私有云:某行私有云

混合云:多云互通

社区云:金融社区和教育社区

云计算技术

计算虚拟化

全虚拟化:guestOS直接运行在虚拟化层上,ESXI、KVM

半虚拟化:guestOS需要安装额外驱动,Xen(全虚拟化也可以的)

  • KVM负责CPU和内存虚拟化
  • QEMU负责IO虚拟化

分布式数据存储

  • 运行在多台节点上,自动整合
  • 整合集群内部的存储空间资源
  • 扩展性、容量、大规模的性能需求
  • HDFS:Hadoop分布式文件系统
    • 多副本容错机制
    • 可运行在廉价机器上

网络虚拟化

基础设施层:网络设备,通过控制数据接口OpenFlow和控制层相连

控制层:SDN软件,通过API和应用层相连

应用层:业务应用

软件定义网络SDN网络功能虚拟化NFV


OpenStack

各种模块的功能

Nova:计算服务

Neutron:网络服务

Keystone:认证与授权服务

Glance:镜像服务

Cinder:块存储服务

劣势 优势
部署运维升级复杂 开源项目
扩展性能差 标准统一规范
容灾能力差 兼容各种平台

容器技术

对比传统虚拟化技术

轻量级的虚拟化技术,进程隔离,将依赖的资源和配置进行打包封装,提供独立可移植的运行环境

传统虚拟化:共享底层硬件,每个应用有自己的操作系统

容器技术:共享底层硬件和操作系统

技术:

  • Docker技术
  • 容器编排K8s:容器编排管理调度技术
优势

极其轻量:轻量打包、资源少、性能佳

秒级部署:毫秒和秒之间

易于移植:标准化、一次构建、随处部署

弹性伸缩:通过编排工具快速扩展和收缩

大数据和AI

大数据
  • 数据量大volume
  • 多样化variety
  • 高速产生 velocity
  • 价值密度低value
人工智能

人工智能的4大要素

  • 算法
  • 计算力
  • 边界清晰
  • 大数据

云服务器基础

地域与可用区

可用区:城市+ 编号

地域:覆盖范围+机房所在城市

25个城市,53个可用区

  • 就近接入
  • 隔离故障点
  • 保障高可用
  • 负载均衡

云服务器实例

标准型:中小型企业web应用和数据库

高IO型:NoSQL、

内存型:Hadoop

计算型

GPU型

大数据型

云服务器镜像

CVM镜像类型

  • 公有镜像
  • 服务市场镜像

云服务器演进

  1. 虚拟主机

网络服务器划出一部分磁盘空间

  1. 独立主机

租用服务器

  1. VPS主机

  2. 云服务器

产品

  1. CVM:弹性伸缩性的计算服务

  2. GPU

  3. 基于FPGA:现场可编程阵列

  • 部署方便
  • 灵活计费
  • 产权交易平台
  • 深度学习、实时图像压缩处理
  1. 专用宿主机CDH(CVM Dedicated Host)

  2. 黑石物理服务器CPM2.0(cloud physical machine)

  • 包年包月的裸金属服务
  • 无虚拟化、安全隔离
  • 弹性伸缩设置物理服务器的数量

场景:

  • 大数据
  • 虚拟化
  • 游戏

计费方案

官网购买、API购买

  • 包年包月
  • 按量计费
  • 梯价计费

私有网络VPC

Virtual Private Cloud ,用户自定义的、逻辑隔离的专属云上的网络空间

  • IP网卡
  • 子网
  • 私有网段
    • 10.0.0.0-10.255.255.255(掩码16-28)
    • 172.16.0.0-172.16.255.255
    • 192.168.0.0-192.168.255.255
  • 安全组:放行和拒绝的端口或者协议(第一层)
  • 网络ACL:控制进出子网的数据流(第二层)
  • VPC路由表

弹性网卡

弹性网卡ENI,Elastic Network Interface:VPC内部的弹性网络接口,可在云服务器之间自由移动

  • 多网卡
  • 网络隔离
  • 灵活迁移

公网接入

VPC里面有私有IP,无法访问公网,通过绑定公网来实现

  • 普通公网 :CVM上申请绑定,与账号无关,解绑后立即释放
  • 弹性公网
    • 可申请独立,绑定CVM
    • 与账号相关,解绑后继续保留
    • 可通过控制或者API自动释放,或者欠费自动释放

没有公网IP的云服务器,可以通过位于不同子网的公网网关访问网络

公网网关开启了公网转发功能的云主机

NAT网关

  1. 通过IP地址转换
  2. SNAT,源网络
  3. DNAT,目的网络
  4. 网关流控、流量告警灯

类型

  • 小型,最大100万连接数

  • 中型,300万

  • 大型,1000万

VPN连接

安全加密的网络隧道,实现本地和云服务器上的资源连通

专线接入和VPN连接对比

  • 网络质量
  • 高可靠
  • 安全性
  • 部署时间
  • NAT支持

对等连接Peering connection

  • 大带宽、高质量的云上资源互通服务
  • 支持多VPC、多区域、多账户等
  • PC互通性不连接
  • VPC两端的网络不能重叠

云联网

  • 全网互联
  • 路由自动下发
  • 对等互通连接不对等性
  • 将各地的VPC、专线网关等连接起来,构成大的网络

负载均衡

CLB cloud load balancer,流量分发服务。

工作原理

  1. 虚拟VIP:接收访问请求
  2. CLB实例:通过监听器监听并分发流量
  3. 后端CVM:处理访问请求并返回结果
  4. 云监控:监控CVM运行并同步到监听器

主要特性

  • 高性能、高吞吐
  • 高可用性
  • 安全保障

分发算法

  1. 加权轮询WPRS
  2. 加权最小连接WLCS
  3. 源地址散列IP-Hash

存储

基础知识

分布式存储serverSAN

软件定义存储SDS

类型

  1. 块存储
  2. 文件存储
  3. 对象存储

存储介质

  1. HDD机械盘
    1. 盘片旋转,磁头读写数据
    2. 160MB/s
    3. 删除后借助软件可恢复
    4. 高速旋转磁头抗震差
  2. SDD固态硬盘
    1. 通过块地址LBA并发读写
    2. 500+MB/s
    3. 删除后无法恢复
    4. 芯片存储超强抗震

存储分级

数据访问频率、性能要求和成本

  • 标准存储:高频高速访问
  • 低频存储:低频少量访问
  • 离线存储(归档存储):极少访问

云存储产品

  1. 云硬盘CBS

用于CVM实例的持久性数据块级存储

  • 普通云硬盘
  • 高性能云硬盘
  • SSD云硬盘

几个特点:

笔记:支持快照,属于是增量备份,仅保存前一次快照后更改过后的数据。应用场景

  • 数据日常备份
  • 数据快速恢复
  • 数据多副本应用
  1. 文件存储CFS

为多个CVM实例提供共享的数据源,高可用、高可靠的分布式文件系统。适合于大数据分析、媒体处理和内容管理等。

  • 集成管理
  • 自动扩展
  • 安全设置
  • 按需付费
  1. 对象存储COS

存储非结构化的数据,如视频、音频、文件等

  • 多点上传的UGC场景
  • 频繁的IO场景
  • 大数据分析和处理

冷数据存储问题

  1. 大部分数据集中在少量的热数据上
  2. 绝大部分数据出现在迅速变“冷”
  3. 冷数据归档备份困难
  1. 归档存储CAS

Cloud Archive Storage,低成本、高可靠、易管理的云端离线存储服务。通过Vault(存储容器)来存取档案Archive(存储对象),数据的写入和取回

  • 用户
  • 临时缓存集群
  • 持久化冷数据集群

云存储服务

  1. 存储网关CSG

cloud storage gateway,混合云存储方案,实现本地存储和云存储的无缝连接。

  • 卷网关
  • 文件网关
  • 磁带网关
  1. 云数据迁移CDM

Cloud Data Migration,安全性、高效性、低成本

  1. 日志服务CLS

cloud log service,一站式日志服务平台

CDN内容分发网络

特点

腾讯自研12年发展,腾讯云9年开放。

  • 加速可靠
  • 快速接入
  • 配置全面
  • 计费灵活
  • 低延时、高可用性

GSLB

智能调度系统

接入步骤

  1. 添加加速域名

  2. 配置源站信息

  3. 选择加速产品

  4. 修改CNAME

安全机制

  • 移动解析HttpDNS
  • SSL安全证书
    • 顶级CA证书:与国际顶级的CA机构合作
    • 100%兼容性:Symantec根证书签发
    • 提升搜索排名:采用HTTPS有利于网站的搜索排名及站点可信度
    • 数据加密传输:防止被篡改等

访问控制

  1. 过滤参数设置
  2. 防盗链设置
  3. 黑白名单
  4. IP访问限频

加速产品

  • 网站加速
  • 下载加速
  • 音视频加速
  • 海外加速
  • 全站网络加速
  • 全球应用加速GAAP

计费方案

  1. 带宽计费
  2. 流量计费

云数据库

数据库分类

  1. 数据组织方式
    1. 关系型
    2. 非关系型
  2. 数据架构和网络架构
    1. 集中式
    2. 分布式

关系型数据库:mysql、MariaDB、SQL server、postgresql

Nosql数据库:Redis、MongoDB、Memcached

时序数据库:CTSDB

游戏数据库:TcaplusDB

  1. OLAP和OLTP
日常交易处理
面向实时交易类
磁盘IO
实时读写要求高
  1. TDSQL-nothing 架构

  2. 云数据库CynosDB

计费方式

  • 包年包月
  • 按量计费

云安全产品

体系和标准

  • 机密性
  • 完整性
  • 可用性

《云安全指南4.0》、《云等级保护标准2.0》、《可信云服务》(TRUCS)、Gartner

常见威胁

  • 病毒攻击

  • 木马病毒

  • APP漏洞

  • DDoS攻击

  • 渗透

云主机安全

面临的挑战:

  1. 入侵途径分散
  2. 安全边界不清晰

网站安全

WAF,web application firewall,最常用的保护方案。

  • 特征识别
  • 模式识别
  • AI算法

计费方式:基础套餐+扩展包

2019年12月21日写于深圳宝安

本文标题:充实的一天

发布时间:2019年12月21日 - 19:12

原始链接:http://www.renpeter.cn/2019/12/21/%E5%85%85%E5%AE%9E%E7%9A%84%E4%B8%80%E5%A4%A9.html

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

Coffee or Tea