前有Gitlab删库,后有AWS误删服务器,乌龙频发我们该如何防范?

  • 时间:
  • 浏览:0

Windows的删除有个回收站功能,是个不错的法律法律依据,它也有立即删除,以后恢复又快,不知是是否是都可不还可以 借鉴一下?

浮生递归 克隆qq好友好友链接去分享

bearyes 已获得淘公仔 克隆qq好友好友链接去分享

绝世傲立 已获得定制笔记本 克隆qq好友好友链接去分享

淘公仔 x 3

大伙认为理想的环境,应该是那种即使你犯了错误删了数据,都可不还可以 轻易恢复,并保证对系统影响最小的环境。这就要求帮我日常执行有些流程,以后要容易测试,容易回滚。

无缘无故以来,我都未必直接到生产线上敲命令是本身非常不好的习惯。我认为,一一有一个 多公司的运维能力的强弱和你上线上环境敲命令是有关的,你越是喜欢上线敲命令你的运维能力就越弱,越是通过自动化来防止哪此的现象,你的运维能力就越强。

采用raid磁盘阵列存储系统来进行相应的存储工作。采用raid磁盘阵列存储都可不还可以 减少相关哪此的现象产生,加强服务器的磁盘容错功能。即便趋于稳定服务器瘫痪、自然灾害等极为恶劣的情况表下,我希望硬盘依然健在,不都可不还可以 ,就都可不还可以 第一时间恢复其正常操作。

把还要删除的数据移动到某个特定文件夹下,计划任务定时清理有些文件夹

vling 克隆qq好友好友链接去分享

为嘛哪此大公司 不做 多重备份以及实时备份,将会有难度?

fourmi 克隆qq好友好友链接去分享

任何事情都不都可不还可以 十全十美的 鱼和熊掌不可兼得 实时更新bug当然还要线上操作 主要还是应该分情况表而定吧

理由如下:

是是否是应该做好多重备份?

想要防止误操作。首先应该确保工作人员的休息时间。国内互联网崇尚加班,容易让开发人员疲劳工作。对于开车,大伙知道不都可不还可以 疲劳驾驶,操作服务器也是一样的。此外,大伙还要有些手段,来提醒相关的人员,大伙的服务器特别要,比如生产环境的shell使用红色,开发环境使用黄色,测试环境使用绿色等等,不同的颜色都可不还可以 让大伙的维护人员提高警惕。也要注意,对于有些操作,尽将会的选着由机器完成,而也什么什么都这么人工完成,降低人员出错的将会。

杨周 克隆qq好友好友链接去分享

比如:

程序池池员是是否是应该在线上环境直接敲命令?

什么什么都这么人说,都可不还可以 ,以后干要是的事情时,得一一有一个 多人干,要是人在旁边看着。

ghost-ai 克隆qq好友好友链接去分享

似水的時光电视剧 已获得淘公仔 克隆qq好友好友链接去分享

线上运维操作的以前 设计影响系统黑名单。系统难以知道运维人员是也有真的要进行相应操作,还是打错字母误操作,以后针对有些系统的更改在日常运维权限下一定是不可接受的,如本次故障中被影响的核心系统Index和Placement,系统检查到命令会影响相应黑名单中系统应拒绝当前命令执行。

其一,将会说对代码的改动也有一次发布的话,不都可不还可以 ,对生产环境的任何改动(包括硬件、操作系统、网络、软件配置……),也都是是否是一次发布。不都可不还可以 要是的发布就应该走发布系统和发布流程,要被很好的测试、上线和回滚计划。

关键是,走发布过程是都可不还可以 被记录、追踪和回溯的,而在线上敲命令是详细无法追踪的。不都可不还可以 知道你敲了哪此命令。

其二,真正良性的运维能力是——人管代码,代码管机器,而也什么什么都这么人管机器。你敲了哪此命令不都可不还可以 知道,就想要写个工具做变更线上系统,有些工具干了哪此事,看看工具的源码就知道了。

始终未必操作出显了差错以前 就使流程复杂化化、投入更多人力有些行为是比较蠢的,比如找一一有一个 多人在旁边看着,一一有一个 多人double check

改进大伙的灾备机制,并在主机上凸显出数据恢复的作用。太满,大伙何必 会从“阻止工程师在生产主机上运行某个命令“有些深度图来实现安全。将会,即使大伙把禁用rm命令,要是都可不还可以 是阻止工程师何必 犯运行 rm -rf /important-data 命令的错误,以后有些法律法律依据何必 能阻止诸如磁盘损坏,将会有些将会由于数据丢失的情况表趋于稳定。

keller.zhou 已获得淘公仔 克隆qq好友好友链接去分享

从来不赞同线上模式敲代码,这详细要是不负责任。记得学git的以前 看见过的话,不都可不还可以 提交的代码,也有白敲的。随时备份,以及代码审核是真的好习惯!

王坚新著《在线》 x 1

瓜跑跑丶 克隆qq好友好友链接去分享

定制笔记本 x 1

要防止错误操作所造成的数据丢失和服务器故障,首先加强权限的管理,要想防止数据丢失所造成的损失,每天也有对重要的数据进行必要的数据备份。防止数据库故障引起的数据丢失。将数据库存储在单独的服务器中,防止应用服务器故障引起的数据丢失。

操作执行的严格度对应所产生行为的后果的重要度

把各种操作行为及命令分成不同的级别

1级行为或命令,负责人1人防止

2级行为或命令,处负责人外,换成一一有一个 多监督员确认后再执行

3级,再增加团队主管

4级,部门主管

5级,更高级别

以此类推

有些倒霉的程序池池员会被开除吗?

1461587759184916 克隆qq好友好友链接去分享

2.线上运维操作的以前 设计影响系统黑名单。系统难以知道运维人员是也有真的要进行相应操作,还是打错字母误操作,以后针对有些系统的更改在日常运维权限下一定是不可接受的,如本次故障中被影响的核心系统Index和Placement,系统检查到命令会影响相应黑名单中系统应拒绝当前命令执行。

程序池池员在线上环境直接敲命令,当在执行时还要另外一一有一个 多人授权确认后都可不还可以 运行,将会机器识别出来是危险的指令也有有警告,要是的话都可不还可以 减少同类于于事故的趋于稳定。多重备份未必好,以后它也要是一段时间执行备份,2次备份底下会有一定的时间间隔,将会恢复到最近的一一有一个 多备份点,不都可不还可以 备份点到事故趋于稳定的数据不都可不还可以 了,也会造成一定的损失。

1012988794233826 克隆qq好友好友链接去分享

我把etc拖走了 livecd进去修了一下午

shizeqing 克隆qq好友好友链接去分享

1953688799298128 克隆qq好友好友链接去分享

什么什么都这么人说,当然!但也什么什么都这么人质疑,多重备份就安全何时?就算所有的备份都可用,要是可防止地会有数据的丢失,或是也会有太满哪此的现象。

应该还要审核机制,当执行命令输入复审下。

减少非必要错误的操作。减少操作出错的将会性,管理好服务器用户的权限,防止操作失误引起数据丢失

秋水鸣蛙 克隆qq好友好友链接去分享

cnssr4bb1t 克隆qq好友好友链接去分享

让要是人去审核,看上去都可不还可以 防止有些错误,以后人及总会犯错误的,以后让职位更高级别的人来审核,他不一定知道具体的技术细节,以至于审核到底下就要是走个过场罢了。

防止结果:下午1:54分恢复正常。

西秦说云 已获得王坚新著《在线》 克隆qq好友好友链接去分享

是人总会犯错,不都可不还可以 机器太满。不都可不还可以 低级的失误由于不都可不还可以 严重后果充分暴露了大公司执行工作程序池池漏洞,这哥们惨了……

我干过同类于的……shell脚本修改权限,传值没获取到,由于整个服务器所有文件都变成0777权限……

寒心 克隆qq好友好友链接去分享

让机器去判断,以后机器咋样知道你是真的要去删哪此服务器,还是打错字母了呢?

传说中的打错一一有一个 多字母瘫痪半个互联网!

大伙先来回顾一下3月2日事件

3月2日AWS声称,输错命令由于了亚马逊网络服务(AWS)出显持续数小时的故障事件。

故障由于:亚马逊简单存储服务(S3)团队当时在调试一一有一个 多哪此的现象,该哪此的现象由于S3计费系统的防止时延比预期来得慢。太平洋标准时(PST)上午9:37,一名获得授权的S3团队成员使用以前 编写的playbook,执行二根命令,该命令旨在为S3计费流程使用的其中一一有一个 多S3子系统删除几滴 服务器。遗憾的是,输入命令时输错了一一有一个 多字母,结果删除了一大批本不该删除的服务器。

1892988267967496 克隆qq好友好友链接去分享

授权要是够,将会授权了代表我同意这次操作,以后我无法监管到这次操作的正确性,太满对于有些一一有一个 多命令改变未来的指令将会少进行,将会增加有些操作的流程,共同再执行命令中要得到更深度图次的审核

也有马后炮,装叉犯,删了就删了嘛,多大点事情,谁太满犯点错。还煞有介事地在这里说些不着调的法律法律依据。

建立第二机制,所有操作不都可不还可以 对第一序列有效。第二序列与第一序列共用控制机制,但只具有次时效的记忆。第一序列失败,控制机制解除对第一序列的控制,控制第二序列,

1.思路同类于大楼备用发电机,整栋停电的以前 备用发电机接管来提供必要的电力,不致于造成恐慌,在有些case场景下,即使线上命令删除一大批核心服务器,也应有响应的备份服务器接管,以后这批资源正常运维权限下不可被删除,以确保出显误操作的以前 服务不至于彻底挂掉。

不都可不还可以 ,有些程序池池猿打错命令有不都可不还可以 责任?肯定有。以后,在防止深度图可靠的云服务时,每一次操作都应该按照严格的程序池池,每一一有一个 多命令也有经过足够的审核。除非有些程序池池员在操作过程中将会偷懒省略了有些必要的步骤,以后,这次事故更多是系统的责任,将会系统不都可不还可以 足够的机制来防止错误的趋于稳定。人,也有会犯错的,不都可不还可以 机器太满。

小柒2012 克隆qq好友好友链接去分享