9025-715951 最新这部分关于计算机设备的内容有很大问题吧
北朝旧贴 | cc5233 | 共 21360 字 | 2017-08-31 | | 编辑本页
cc5233 于 2017-8-25 23:42:51 发表了：
pb级的数据这种玩法千万能够？
20年根本没可能吧。
这里我觉得很大程度上忽视了一个根本问题啊。
临高的计算机系统是个读写量极少（只有500人深入使用，哪怕有几千归化民平时会录入数据，对于旧时空的北朝论坛这种小众地方，都是小水坑级别的访问量），存储量极大（pb级的数据，20年内有多少数据从来没被访问过？）的严重畸形结构。再加上整个系统是悬空孤立的（输入输出设备基本上就是键盘和显示器，网络基本上约等于不存在），导致与现实生产生活之间的实时性关联是很低的（每秒1b级别的信息输入输出速度能满足绝大多数实际应用需求）。怎么会玩出刀片加n多硬盘多个数据中心这种结构啊。。电你都保证不起。
sth4nothing 于 2017-8-26 07:34:11 发表了：
大图书馆=论坛服务器？主要数据不是旧时空的资料吗？
cc5233 于 2017-8-26 08:35:21 发表了：
本帖最后由 cc5233 于 2017-8-26 08:38 编辑
sth4nothing 发表于 2017-8-26 07:34
大图书馆=论坛服务器？主要数据不是旧时空的资料吗？
我是拿北朝打个比方。
北朝是访问量不大的地方，不用多少服务器。元老院那个比北朝还差很多。
但是元老院那个存储的没人看的数据却多得很。
结构很极端。
Igor 于 2017-8-26 09:22:28 发表了：
按照304章的说法，似乎计算中心和数据中心的结构是不一样的？另外高山岭还有一个备份，应该不只是硬件，可能也包括备份的资料吧
cc5233 于 2017-8-26 10:52:55 发表了：
Igor 发表于 2017-8-26 09:22
按照304章的说法，似乎计算中心和数据中心的结构是不一样的？另外高山岭还有一个备份，应该不只是硬件，可 …
数据中心肯定比计算中心奇葩很多。
计算中心其实也应该很奇葩。
繁华烬燃 于 2017-8-26 11:55:27 发表了：
现在是500人，十几年后，小元老都成长起来的时候，几十年后小小元老们也成长起来之后……还是可以的
cc5233 于 2017-8-26 13:45:36 发表了：
繁华烬燃 发表于 2017-8-26 11:55
现在是500人，十几年后，小元老都成长起来的时候，几十年后小小元老们也成长起来之后……还是可以的 …
能超过一万人吗？
你能提供多少键盘显示器？
adol 于 2017-8-26 14:34:53 发表了：
本帖最后由 adol 于 2017-8-26 14:52 编辑
嗯，原来设想是两种设备。
其一是几套刀片机群+胖节点+高速磁盘阵列，比如15000/SAS/900G，这个是所谓的计算中心，目的是工程计算和大规模仿真，比如林汉隆元老搞过的光学仿真，我觉得材料、机械、土木甚至化学这些学科应该也有相关需求，我不太懂，不过我觉得诸如金属冶炼的温控工艺、锅炉铆接加工的形状、工事堡垒的强度、化学反应的控制等等都可能用到。如果设备坚持的时间能长些，以后军工口设计枪械、火炮、车辆、舰船、飞行器的外壳啥的也是用得着的。（当然500元老有没这个设计和研发能力另说。）
其二是普通服务器/机头+大容量低速磁盘阵列，比如7200/SATA/4T，这个是给数据中心用。我也考虑过Hadoop集群的形式，不过感觉不适合数据中心的用法，Hadoop集群毕竟是分布式计算用的，实际上是同时在大规模的数据上并行运算，还是机头+大容量存储好些，最多自己搞个信息管理检索系统。
从需求讲PB级也不算大，我说了数P，吹牛改成是以PB计，他其实比我更靠谱，大致意思也就是1PB多，如果是三套镜像互相备份的话，再去掉热备，实际也没多少，几百T而已。至于说有没有那么多资料好放，我觉得是有的，只要想想光是视频资料（即使不算小黄片）就要带多少。图纸资料其实也不少，从一个试图涵盖工业时代全面自然科学知识乃至社会科学和文艺财富积累的“大图书馆”的角度来讲，几百T的资料不算多。
还有三套镜像互相备份的策略，我觉得这是穿越集团的命根子，万一头两年就因为不可抗力玩完大家就只能投降了，三套镜像不算过分。供电问题，因为极早期，甚至在船上的时候这个东西就很重要，所以我自己盘算过（没写），这套设备穿越前期应该都在船上运行。百仞的安全和供电都相当稳定后才逐步移过去。
当然从使用率来讲是不是应该采用磁盘阵列的形式，这是另一个问题。我觉得是这样，肯定是存在不均衡情形的，少数资料，比如各专业教科书、超星图书馆肯定是很频繁。而绝大部分资料可能没那么常用。从这个角度讲，磁带机是个比较好的选择。不过，磁带机的查询毕竟还是比不了磁盘系统方便，而且成本也有限，可以作为后备设备与磁盘阵列系统并存。穿越后，特别是穿越早期，我认为数据中心的效率还是很重要的，磁盘阵列互作镜像更方便，热备盘多些，也更安全。
最后，成本，这个楼主说的对，我无言以对。如果按2009年的价格算，只是千万预算的话，怕是拿不下这套设备，每套刀片机、胖节点和高速存储大概得100万左右吧，数据中心那块就有点紧张了，更不用说当时可能还没有4T的SATA和900G的SAS，而且还要考虑未来许多年用的备盘。所以刚才我说吹牛写的其实比我靠谱。不过，成本这个问题嘛，小意思，我们是要拿3千万设备的大客户，预付款1/3够意思了吧，后续货款就请供货商跟时空管理局要吧。
深潜者 于 2017-8-26 15:38:30 发表了：
cc5233 发表于 2017-8-26 13:45能超过一万人吗？
你能提供多少键盘显示器？
其实终端可以靠自制键盘和电传打字机吧？
cqduoluo 于 2017-8-26 18:15:42 发表了：
本帖最后由 cqduoluo 于 2017-8-26 18:23 编辑
没有PB的，不说08年了，就现在的大学超星读秀万方等中文电子资料库加一起也就几十TB。
这些电子图书和互联网公司的数据中心是两码事，我的硬盘里超星电子书6万多册，才2G多，超星的电子书目前是300多万册，08年的时候200多万，论文啥的一个才几百KB最多几M就不说了。
cc5233 于 2017-8-26 19:16:23 发表了：
cqduoluo 发表于 2017-8-26 18:15
没有PB的，不说08年了，就现在的大学超星读秀万方等中文电子资料库加一起也就几十TB。
这些电子图书和互联 …
你看正文
cc5233 于 2017-8-26 19:19:35 发表了：
深潜者 发表于 2017-8-26 15:38
其实终端可以靠自制键盘和电传打字机吧？
是 但是这种级别的终端对主机需求很低很低的。。。
想想20年前那会银行、邮政一类的单位比这还高级点吧。
深潜者 于 2017-8-26 19:26:58 发表了：
cc5233 发表于 2017-8-26 19:19
是 但是这种级别的终端对主机需求很低很低的。。。
想想20年前那会银行、邮政一类的单位比这还高级点吧。 …
当然考虑到那个时候能造出来的电传打字机只能打英文，还是上显像管显示器吧，这样可以很容易的显示中文和图片。但问题是对主机的需求（严格的说应该算格式转换器）要高出不少，因为得输入电视制式的模拟信号。
cc5233 于 2017-8-26 19:37:03 发表了：
深潜者 发表于 2017-8-26 19:26
当然考虑到那个时候能造出来的电传打字机只能打英文，还是上显像管显示器吧，这样可以很容易的显示中文和 …
我是觉得没啥太大必要。
因为整个计算机系统会越来越都是都是专业人员才会使用。
没中文就是一种变相的打孔带。对纯专业人员来说还是可以接受。
然后系统实时性也是越来越低。数据源基本上都是纸质的或者类似的非电子介质，输出的话也不可能再用个u盘传递，都要翻到其他介质。
横剑浮云 于 2017-8-26 23:52:49 发表了：
其实如果从方便使用和维护的话，当初直接以直接从欧美俄和本朝各大图书馆采购缩微胶片，阅读器套件和缩微胶片翻拍印制设备，可以作为大图书馆的一个备份。
cc5233 于 2017-8-27 08:05:41 发表了：
横剑浮云 发表于 2017-8-26 23:52
其实如果从方便使用和维护的话，当初直接以直接从欧美俄和本朝各大图书馆采购缩微胶片，阅读器套件和缩微胶 …
这个与计算机系统没有太大关联
计算机系统重在用
重在存储数据那就是吃枣药丸。
深潜者 于 2017-8-27 08:11:02 发表了：
横剑浮云 发表于 2017-8-26 23:52
其实如果从方便使用和维护的话，当初直接以直接从欧美俄和本朝各大图书馆采购缩微胶片，阅读器套件和缩微胶 …
微缩胶片检索起来很不方便呀！
深潜者 于 2017-8-27 08:12:29 发表了：
cc5233 发表于 2017-8-27 08:05
这个与计算机系统没有太大关联
计算机系统重在用
重在存储数据那就是吃枣药丸。
用微缩胶片系统的话，应该还要配置一套装微缩胶片文件摘要的计算机数据检索系统吧？
cc5233 于 2017-8-27 08:15:13 发表了：
深潜者 发表于 2017-8-27 08:12
用微缩胶片系统的话，应该还要配置一套装微缩胶片文件摘要的计算机数据检索系统吧？
…
检索系统不需要很大硬盘空间呀，这就是个重在使用的系统
实际上就算用磁带存储，肯定也要用这种方式。
不然用个硬盘阵列天天开着，在没有800电话的时代能活几年哦
横剑浮云 于 2017-8-27 09:44:25 发表了：
深潜者 发表于 2017-8-27 08:11
微缩胶片检索起来很不方便呀！
目录检索呀，图书馆都有成熟的系统了，不会是狒狒们太宅了大学期间都没去图书馆翻过小卡片？
深潜者 于 2017-8-27 09:47:09 发表了：
横剑浮云 发表于 2017-8-27 09:44
目录检索呀，图书馆都有成熟的系统了，不会是狒狒们太宅了大学期间都没去图书馆翻过小卡片？
…
大学图书馆现在不都是用电脑搜书的吗？
讲真，那个卡片检索法真心好慢。搜书还好，通常从分类往下找就行。要是论文、报告之类的要用关键词进行搜索的……
横剑浮云 于 2017-8-27 09:47:27 发表了：
cc5233 发表于 2017-8-27 08:05
这个与计算机系统没有太大关联
计算机系统重在用
重在存储数据那就是吃枣药丸。
呵，信息存储需求向来比计算需求大得多，狒狒们最多只需要十九世纪的工程计算能力和计算量而已，但是他们需要21世纪的信息存储量
横剑浮云 于 2017-8-27 09:58:03 发表了：
深潜者 发表于 2017-8-27 09:47
大学图书馆现在不都是用电脑搜书的吗？
讲真，那个卡片检索法真心好慢。搜书还好，通常从分类往下找就行 …
图书馆出现计算机检索系统才多少年，我小的时候市图书馆还没有电脑检索，21世纪上大学了还要到图书馆维护卡片系统挣劳动实践课学分。。。
深潜者 于 2017-8-27 10:01:56 发表了：
横剑浮云 发表于 2017-8-27 09:58
图书馆出现计算机检索系统才多少年，我小的时候市图书馆还没有电脑检索，21世纪上大学了还要到图书馆维护 …
求图书馆卡片检索的资料，能进行关键词检索吗？
没事乱溜达 于 2017-8-27 10:17:19 发表了：
cqduoluo 发表于 2017-8-26 18:15
没有PB的，不说08年了，就现在的大学超星读秀万方等中文电子资料库加一起也就几十TB。
这些电子图书和互联 …
视频 图片.工艺录像电影电视….
横剑浮云 于 2017-8-27 10:52:06 发表了：
深潜者 发表于 2017-8-27 09:47
大学图书馆现在不都是用电脑搜书的吗？
讲真，那个卡片检索法真心好慢。搜书还好，通常从分类往下找就行 …
没有计算机的卡片时代，文献整理和检索就挺费事了，图书馆自己要整理，科研院所都有专门的科技情报研究室，工业研发和工程勘探设计单位也有资料室一类，都是干这个活的。图书馆还好，做通用的编目就好了。情报研究室，资料室等等就要根据自己单位的技术方向编写综述，做文献摘编，建分类目录，还要给科研单位和科研人员建库等等。
105206p0mnch70hzb3zhah.jpg(108.53 KB, 下载次数: 0)
2017-8-27 10:52 上传
cc5233 于 2017-8-27 10:55:51 发表了：
横剑浮云 发表于 2017-8-27 09:47
呵，信息存储需求向来比计算需求大得多，狒狒们最多只需要十九世纪的工程计算能力和计算量而已，但是他们 …
但是使用21世纪的存储方法就是个大错误。
abc950309 于 2017-8-27 14:39:52 发表了：
大家想的都太夸张了。在 2008 年，1000 万可以非常容易的做到 PB 级储存。
公司内有一个 2.8PB 的 MFS，已经运行几年，据我所知成本也就是 100 万左右。
在 2008 年的话，如果使用硬盘阵列来进行计算，1TB 的企业级硬盘，零售价格大概在 800~900 元，即使按照双备份，也就是一份数据拷贝两份（共 3 份数据）计算，1PB 的成本也只有 250 万左右。况且使用 Raid 或 GFS、MFS 之类的技术，用不到双备份也可以可靠。
如果使用磁带进行数据保存（单磁带的可靠寿命可达 50 年，且价格更低），LTO-4 磁带在 2008 年下半年的零售报价在 58 美元到 65 美元之间，按当时的汇率计算，大概 435 人民币一盘，可以储存 1.6TB（压缩）或 800GB（不压缩）的数据。1PB 在双备份下的成本大概是 83.5 万人民币。
以上价格没有计算读取用设备。按照 2 倍计算总价，1000 万也足够 2PB 的磁盘列阵或者 6PB 的磁带库了。
abc950309 于 2017-8-27 14:43:08 发表了：
考虑性价比和取用方便程度的平衡，可以把磁盘和磁带混合起来，3PB 的磁带库加上 1PB 的磁盘列阵，内容储存在磁带库中，需要用的时候读取到磁盘列阵，总体 1000 万成本可以持久化 3PB 的数据，不是很困难。
abc950309 于 2017-8-27 14:46:06 发表了：
CAD 图纸动辄几百兆，不能只看电子书的体积啊~~
cc5233 于 2017-8-27 17:13:18 发表了：
abc950309 发表于 2017-8-27 14:46
CAD 图纸动辄几百兆，不能只看电子书的体积啊~~
这个有啥关系吗？你一次调用100个图纸才多大。
cqduoluo 于 2017-8-27 17:17:50 发表了：
cc5233 发表于 2017-8-26 19:16
你看正文
我就是说小说正文不严谨啊，基于这个错误的数据来讨论当然不行了。
楼上说什么视频啊CAD啥的，关键是元老能买到的商业数字图书馆就那么大，国图那些珍藏的艺术品数字档案是很大，问题是那些买不到，何况买了也没用。
cc5233 于 2017-8-27 17:22:24 发表了：
cqduoluo 发表于 2017-8-27 17:17
我就是说小说正文不严谨啊，基于这个错误的数据来讨论当然不行了。
楼上说什么视频啊CAD啥的，关键是元老 …
这个倒不必太深究了，就当文学作品就是了。毕竟写作需要什么拿什么，跟两个时空连着网线差不多。
没事乱溜达 于 2017-8-27 17:25:52 发表了：
cc5233 发表于 2017-8-27 17:13这个有啥关系吗？你一次调用100个图纸才多大。
占硬盘容量
没事乱溜达 于 2017-8-27 17:29:09 发表了：
cqduoluo 发表于 2017-8-27 17:17我就是说小说正文不严谨啊，基于这个错误的数据来讨论当然不行了。
楼上说什么视频啊CAD啥的，关键是元老 …
不需要买也可能很大。比如钟博士自己手里的图纸，从设计院搞拷贝的图纸。网络上的工艺视频资料。百仞电影院放的电影
cc5233 于 2017-8-27 17:33:34 发表了：
没事乱溜达 发表于 2017-8-27 17:25
占硬盘容量
只有需要使用的东西才占硬盘容量因为你只有在使用的时候才对读写速度有要求
其他时候可以存在磁带一类便宜但是读写慢的介质上
没事乱溜达 于 2017-8-27 17:42:26 发表了：
cc5233 发表于 2017-8-27 17:33只有需要使用的东西才占硬盘容量因为你只有在使用的时候才对读写速度有要求
其他时候可以存在磁带一类便 …
那就占磁带容量。可以每天或者每两天汇总一次请求，统一读一次磁带。个人电脑保存专业资料，大图书馆保存私人目录，发现谁有，直接找个人拷贝，节省大图书馆读写。
cc5233 于 2017-8-27 17:45:04 发表了：
没事乱溜达 发表于 2017-8-27 17:42
那就占磁带容量。可以每天或者每两天汇总一次请求，统一读一次磁带。个人电脑保存专业资料，大图书馆保存 …
嗯 但是磁带便宜多了。而且寿命本身也远大于磁盘
cqduoluo 于 2017-8-27 18:08:59 发表了：
没事乱溜达 发表于 2017-8-27 17:29
不需要买也可能很大。比如钟博士自己手里的图纸，从设计院搞拷贝的图纸。网络上的工艺视频资料。百仞电影 …
普通人手里就更少了，我有10多个硬盘，也就30G的数据量，把网盘里的都算上也没上100G。
500元老里有几个能有我这种数据量的？大部分人恐怕就1、2硬盘而已，几G数据量。
这还是现在，如果到08年，我就5个硬盘而已。
cqduoluo 于 2017-8-27 18:10:07 发表了：
cc5233 发表于 2017-8-27 17:22
这个倒不必太深究了，就当文学作品就是了。毕竟写作需要什么拿什么，跟两个时空连着网线差不多。
…
关键就是没意义，整那么大的硬盘到17世纪根本没用，也就是一个无趣的编造数字罢了。。。
没事乱溜达 于 2017-8-27 18:17:01 发表了：
cqduoluo 发表于 2017-8-27 18:08普通人手里就更少了，我有10多个硬盘，也就30G的数据量，把网盘里的都算上也没上100G。
500元老里有几个 …
我乱七八糟的存了一t，自己家的照片录像几十g 没问题。但是我要穿越，资料肯定是能拷贝多少拷多少，详细整理不可能，涉及其他专业的，有些也无法判断价值。光是单位的服务器能扒下来的也不少，只要是个工程项目，资料都是成堆成堆的。
没事乱溜达 于 2017-8-27 18:23:37 发表了：
cc5233 发表于 2017-8-27 17:45嗯 但是磁带便宜多了。而且寿命本身也远大于磁盘
读一次时间太长，太长，太长。小磁带，多带几盘还好找。
cqduoluo 于 2017-8-27 18:36:34 发表了：
没事乱溜达 发表于 2017-8-27 18:17
我乱七八糟的存了一t，自己家的照片录像几十g 没问题。但是我要穿越，资料肯定是能拷贝多少拷多少，详细 …
我上面打错了，我的硬盘最小的都1T。。。
前面是我印象错了，我把PB当成EB了，PB只是1024TB，那确实不算多。
没事乱溜达 于 2017-8-27 19:07:59 发表了：
cqduoluo 发表于 2017-8-27 18:36
我上面打错了，我的硬盘最小的都1T。。。
前面是我印象错了，我把PB当成EB了，PB只是1024TB，那确实不算 …
我差点都想赞助你硬盘了
cqduoluo 于 2017-8-27 19:38:41 发表了：
没事乱溜达 发表于 2017-8-27 19:07
我差点都想赞助你硬盘了
那硬盘多了也麻烦，总是担心坏，我本来想上nas的，但是那玩意太不划算，所以现在是多硬盘加多移动硬盘，互相备份，坏了就换。
cc5233 于 2017-8-28 08:59:51 发表了：
没事乱溜达 发表于 2017-8-27 18:23
读一次时间太长，太长，太长。小磁带，多带几盘还好找。
那么夸张倒没有了 属于在胶卷和磁盘之间的折中方案
cc5233 于 2017-8-28 09:02:40 发表了：
cqduoluo 发表于 2017-8-27 19:38
那硬盘多了也麻烦，总是担心坏，我本来想上nas的，但是那玩意太不划算，所以现在是多硬盘加多移动硬盘，互 …
但是如果是数据中心 事情就大了
硬盘坏掉是司空见惯的事情
这对临高压力太大了。
abc950309 于 2017-8-28 10:10:43 发表了：
cc5233 发表于 2017-8-28 09:02
但是如果是数据中心 事情就大了
硬盘坏掉是司空见惯的事情
这对临高压力太大了。
刚刚计算了嘛，压力其实不是很大的。
1000 万 2PB 磁盘列阵，还是按照 6 倍计算总价得出的结果。实际上大概 3~4 倍就够了。
cc5233 于 2017-8-28 10:23:15 发表了：
abc950309 发表于 2017-8-28 10:10
刚刚计算了嘛，压力其实不是很大的。
1000 万 2PB 磁盘列阵，还是按照 6 倍计算总价得出的结果。实际上大 …
不够。
硬盘本身只是成本的一部分。
一套几pb级别的磁带阵列，设备加上备件就上千万级别了。
abc950309 于 2017-8-28 18:08:09 发表了：
cc5233 发表于 2017-8-28 10:23
不够。
硬盘本身只是成本的一部分。
一套几pb级别的磁带阵列，设备加上备件就上千万级别了。
还请阅读下之前的计算，每 PB 硬盘其实只需要 1024 * 800 = 819,200 元。每 PB 500 万已经是大大超出正常程度的备件下的成本了。
cqduoluo 于 2017-8-28 21:15:23 发表了：
cc5233 发表于 2017-8-28 09:02
但是如果是数据中心 事情就大了
硬盘坏掉是司空见惯的事情
这对临高压力太大了。
数据中心都是NAS吧，坏了直接换硬盘啊，多带空硬盘备份。
不然上磁带机啥的，不一样出了问题彻底完蛋么。。。
cc5233 于 2017-8-28 23:13:12 发表了：
cqduoluo 发表于 2017-8-28 21:15
数据中心都是NAS吧，坏了直接换硬盘啊，多带空硬盘备份。
不然上磁带机啥的，不一样出了问题彻底完蛋么。 …
你直接理解磁带机也是一种nas就是了。一样的。
cc5233 于 2017-8-28 23:16:09 发表了：
abc950309 发表于 2017-8-28 18:08
还请阅读下之前的计算，每 PB 硬盘其实只需要 1024 * 800 = 819,200 元。每 PB 500 万已经是大大超出正常 …
你真是想歪了。
由于介质损坏，损失了一部分数据是可以接受的损失。
但是损坏了读写设备会导致所有数据都无效了。
一台pb级别的磁阵设备几十万，你准备3 5套可以满足20年不坏了？
abc950309 于 2017-8-29 13:35:18 发表了：
cc5233 发表于 2017-8-28 23:16
你真是想歪了。
由于介质损坏，损失了一部分数据是可以接受的损失。
但是损坏了读写设备会导致所有数据都 …
这是犯了想当然的毛病。
现代的大型文件储存系统并不是使用类似 Raid 这种单机高可靠的思路，事实上在工业上（较大型的 IT 企业），NAS 这种专用设备已经逐渐退出一般用途市场了，只在银行、金融等有较严重的路径依赖的市场上应用。
2003 年 Google 发布了一篇论文，主要内容 Google File System 的技术实现。GFS 及其模仿者（HDFS、MFS等）使用大量不可靠的节点，依靠副本来确保可用和速度。开源的 HDFS 在 2008 年虽然没有进入正式版本，但是已经可用了。
在分布式文件系统的前提下，所谓的“读写设备”变为了一般的 x86 服务器，而不是早期使用的专业设备。事实上，磁盘和服务器的使用寿命并没有数量级的差距。而集群中的 x86 服务器虽然对性能有一定要求，还是比专用的 NAS 要便宜很多。况且这种低读写密度的系统没必要使用过高的配置，还能够进一步降低成本。
再者说，磁盘是可以从机器上拔下来插到另一个机器上的，所以这个“损坏了读写设备”并不是很重要。2008 年的 1PB 存储需要 80-90 台左右的服务器，剩余的预算还可以额外准备 60-70 台。需要注意的是，80~90 台已经是 300% 的冗余了。
磁带方面就不用说了，只需要多准备几套磁带库就好。
abc950309 于 2017-8-29 13:45:29 发表了：
没事乱溜达 发表于 2017-8-27 18:23
读一次时间太长，太长，太长。小磁带，多带几盘还好找。
磁带是有索引的，不会出现这个情况的~~
没事乱溜达 于 2017-8-29 14:26:26 发表了：
abc950309 发表于 2017-8-29 13:45磁带是有索引的，不会出现这个情况的~~
要读最后的数据，是不是要绕到底才能读。中间不读的也要转一遍。再读前面的，还要倒带。
abc950309 于 2017-8-29 14:37:32 发表了：
没事乱溜达 发表于 2017-8-29 14:26
要读最后的数据，是不是要绕到底才能读。中间不读的也要转一遍。再读前面的，还要倒带。 …
是的，但是倒带的速度比正常读取要快很多很多
钟利时 于 2017-8-29 15:36:40 发表了：
本帖最后由 钟利时 于 2017-8-29 15:47 编辑
没事乱溜达 发表于 2017-8-27 17:29
不需要买也可能很大。比如钟博士自己手里的图纸，从设计院搞拷贝的图纸。网络上的工艺视频资料。百仞电影 …
在临高我用这个，不用CAD……
微缩胶卷比计算机实用多了。因为无论是计算机还是微缩胶卷，都要用笔画出来。
“拷贝”图纸的手段基本就是画。有时甚至是草图，不求比例准确，只要把必要的数据标出来就可以了。
回去按草图的样子，比照标注的数据可以重绘出原图。
（这款纯铜的“普发”已经绝版了，我淘了一套永久收藏的。临高一定要复刻出来！）
2016-08-20 123941.jpg(466.76 KB, 下载次数: 0)
2017-8-29 15:33 上传
没事乱溜达 于 2017-8-29 17:01:17 发表了：
钟利时 发表于 2017-8-29 15:36在临高我用这个，不用CAD……
微缩胶卷比计算机实用多了。因为无论是计算机还是微缩胶卷，都要用笔画出来 …
这么多圆规，用法有什么区别？
机械加工瓶颈很大吧？王主席说钳工出徒要五年
SonicBBC 于 2017-8-29 17:16:30 发表了：
按正常算，没啥问题，pb而已
但是文中的机房环境，电源环境才是会不会出问题的关键
你要是时不时异常断电，环境高温潮湿加高度灰尘
你准备再多设备都没用，一样全玩完
钟利时 于 2017-8-29 18:00:02 发表了：
没事乱溜达 发表于 2017-8-29 17:01
这么多圆规，用法有什么区别？
大圆规+加长杆，画不太精确的大半径圆。小圆规，画不太精确的中小半径圆。
弹簧圆规，画比较精密的中小半径圆。比如你要画10×10（100个）圆，它调好了纹丝不动。
点圆规，画精密的特小半径的圆。
大、小分规，分度、打格扎点的，但不太准容易活动。干粗活用的。
弹簧分规，比上述两种用得多，比较精确。
（比如你要在一根直线上分10个10mm的格子，如果一个误差0.1mm，打到第11个点偏差累计到1mm。弹簧分规相对精确点，可以一定范围内克服这种问题）
鸭嘴笔，画不同宽度墨线（其实一支就可以画出各种宽度的，与大小并无绝对关系。三支不用总调，方便点）。
鸭嘴头，画墨线的
铅笔头，不用细说
针尖头，主要价值在大圆规配合加长杆。平时用处不大（或者分规丢了临时顶一下）。
鸭嘴头磨钝了要掰开用油石磨刃，磨到最后磨秃了就要换。鸭嘴头画出来的直线，尤其是粗线非常规整漂亮。
现在国内仅存的“英雄”牌的绘图仪器，鸭嘴头都是死的，不能摇开。现在用这种东西只有学生做个手工制图课短暂用一下，即使这样都嫌麻烦，恨不得要取消手工制图课。恐怕也没人会把鸭嘴头用到需要磨刃的程度了。美术领域用绘图笔，不用这种只适合画直线的鸭嘴笔。
cc5233 于 2017-8-29 19:37:11 发表了：
abc950309 发表于 2017-8-29 13:35
这是犯了想当然的毛病。
现代的大型文件储存系统并不是使用类似 Raid 这种单机高可靠的思路，事实上在工 …
这里的矛盾你自己写了但是没看出来啊
我的设想是存储只用1-2 台几pb级别的磁带阵列。为这设备再备上几倍的备件。起码10倍。
跟你的想法之间就两个问题
1 单设备能力强的，成本确实高些。但是优点是对附属设施要求低。
2 多设备，80-90台设备对环境和附属设施要求太高。就临高这种电力条件，不靠谱
当然，你这种方案优点也很明确，临高对于读写速度和性能需求很低。安全性够就好。
cc5233 于 2017-8-29 19:38:59 发表了：
SonicBBC 发表于 2017-8-29 17:16
按正常算，没啥问题，pb而已
但是文中的机房环境，电源环境才是会不会出问题的关键
主要是电，有电其他的都好说。
abc950309 于 2017-8-30 09:40:16 发表了：
cc5233 发表于 2017-8-29 19:37
这里的矛盾你自己写了但是没看出来啊
我的设想是存储只用1-2 台几pb级别的磁带阵列。为这设备再备上几倍 …
按照临高的环境，恰恰需要使用统一的通用设备来实现。专用的磁盘列阵和普通服务器无法转换，相当于一般的服务器和磁盘列阵需要单独备份。在备件存在问题的情况下，应当尽量同意需要准备的备件才是。况且 x86 服务器对环境的要求反而比大型专用设备要低，08 年也的确没有单机能够实现 PB 级储存的方案。即使有，把鸡蛋放在一个篮子里也太危险了。
关于电力的问题，我们只能假设电力有保障，因为假如电力无保障的话，无论什么方案，都已经坏掉 10000 遍了，完全没有意义。
cc5233 于 2017-8-30 09:45:45 发表了：
abc950309 发表于 2017-8-30 09:40
按照临高的环境，恰恰需要使用统一的通用设备来实现。专用的磁盘列阵和普通服务器无法转换，相当于一般的 …
08 09年设备有啊。注意 是磁带阵列，不是磁盘阵列。磁盘阵列只需要很小规模，作为磁带阵列（存储）与计算设备之间的CACHE就行了。这个倒是无所谓了。
弄个3 5T的空间基本上都够用了。
SonicBBC 于 2017-8-30 09:54:40 发表了：
cc5233 发表于 2017-8-29 19:38
主要是电，有电其他的都好说。
湿度，温度，灰尘特别是湿度和温度（这个出严重问题，如受潮，电路损坏，损坏率翻倍没问题，就算不怎么严重，然你损耗率涨个百分之二三十，轻轻松松），这个搞起来都要成本
你要求30年后的可用性20%（就是30年后有20%的东西还可用）
你的月损耗率要小于0.45%，年损耗率5.4%以下
在给你的现行服务器机房的硬盘损坏周期是6年（6年硬盘坏一半），你还觉得环境问题对于实现你的目标，好说？
abc950309 于 2017-8-30 10:22:32 发表了：
cc5233 发表于 2017-8-30 09:45
08 09年设备有啊。注意 是磁带阵列，不是磁盘阵列。磁盘阵列只需要很小规模，作为磁带阵列（存储）与计算 …
Sorry，之前没看清……磁带那个叫磁带库，不叫磁带列阵。其实没有磁带库也一样用，只不过不能够自动取用磁带进行读取，而是需要手动取用磁带进行读取，没有本质上的差别。磁带库一个几万块也有，几百万也有，而且有容量的限制。现在脱出磁带库这个观点，还不如搞 50~100 个 1 万出头的磁带机，培训 20 个初小毕业生做“人工磁带库”，怎么都够用了。
cc5233 于 2017-8-30 10:25:23 发表了：
本帖最后由 cc5233 于 2017-8-30 10:27 编辑
SonicBBC 发表于 2017-8-30 09:54
湿度，温度，灰尘特别是湿度和温度（这个出严重问题，如受潮，电路损坏，损坏率翻倍没问题，就算不怎么严 …
减小机房规模啊
建1个小规模机房可以带旧时空材料
另外 磁盘的使用量要控制在比较低的水平
这个我觉得完全可以的。日常工作的磁盘控制在50块我觉得差不多够了。
cc5233 于 2017-8-30 10:26:46 发表了：
abc950309 发表于 2017-8-30 10:22
Sorry，之前没看清……磁带那个叫磁带库，不叫磁带列阵。其实没有磁带库也一样用，只不过不能够自动取用 …
那样你不是把问题复杂化么，再说磁带也得有数据保护措施啊，磁带也得建RAID啊。。
SonicBBC 于 2017-8-30 10:39:01 发表了：
cc5233 发表于 2017-8-30 10:25
减小机房规模啊
建1个小规模机房可以带旧时空材料
另外 磁盘的使用量要控制在比较低的水平
能控制需求端，那啥问题都没有
直接全数据进磁带，收集累计需求，等每年做数据安全检查时，再把查询需求解决，其他时间，不接受需求（只做热机和点检，不上负载，或极低负载），这样我估摸着挺上50到100年问题不大，只要需求端接受
abc950309 于 2017-8-30 11:03:30 发表了：
cc5233 发表于 2017-8-30 10:26
那样你不是把问题复杂化么，再说磁带也得有数据保护措施啊，磁带也得建RAID啊。。
…
磁带没办法建 Raid 的哈，每一个磁带是分立的，建 Raid 本质上就不可行。
磁带的数据保护措施就是多备几份。之前给的成本计算就是按照备份 2 份（共三份）来计算的。
我在参加工作之前，一直以为 IT 企业的数据是储存在 Raid10、Raid5 或者 Raid6 列阵中的。然而事实上，我工作过的这几家企业基本不用 Raid，即使使用，也是可靠性非常低的 Raid0，以加快反应速度。如果一个节点的 Raid0 列阵损坏，数据直接抹掉，更换损坏硬盘，从其他节点恢复即可。
可靠性依靠单个节点的系统，是不能够称作“高可用”的。况且 Raid 列阵有很多缺点。比如 Raid5 的“要么一块不坏，坏就坏两块”，虽然看起来很玄学，但是是有数学原理的。
事实上，即使是磁盘，Raid 也没有想象的那么安全，因为 Raid 中的数据在 Raid 列阵损坏后，基本就不可恢复了。如果一定要恢复，是非常麻烦的。Raid 系统对磁盘的完整性要求非常的高。由此得来的结论是，可靠性其实远不如现代的分布式文件系统。
abc950309 于 2017-8-30 11:06:23 发表了：
cc5233 发表于 2017-8-30 10:26
那样你不是把问题复杂化么，再说磁带也得有数据保护措施啊，磁带也得建RAID啊。。
…
磁带本身是一盒一盒的，磁带库就是一个架子加一个机械臂，根据需求自动将磁带装载到磁带机里，和手动加载的区别就是人力成本比较低。如果不计算人力成本，根本没什么区别。
cc5233 于 2017-8-30 11:06:42 发表了：
SonicBBC 发表于 2017-8-30 10:39
能控制需求端，那啥问题都没有
直接全数据进磁带，收集累计需求，等每年做数据安全检查时，再把查询需求 …
肯定可以接受
因为整个系统与需求之间实际上联系不紧密。
我们不可能到处布设终端设备，因为既没有那么多设备，也没有建设网络的能力。
绝大多数情况下，都是纸上写的东西送过来要求查询，然后输出查询结果，时间久了，这个查询结果估计都没法
按较高水平打印出来，难说还得借助手工辅助绘制。
需求的收集可能也都是人力做的，1个月整1个报告送过来做个查询或者计算，然后结果又花很长时间送到各需求部门
一来一去，时间上对于计算机这边压力低得很。
而且使用上很显然不可能像现在这样，推广人人会用计算机，所以软件、操作都是可以不用面向易学易用的。
cc5233 于 2017-8-30 11:07:48 发表了：
abc950309 发表于 2017-8-30 11:06
磁带本身是一盒一盒的，磁带库就是一个架子加一个机械臂，根据需求自动将磁带装载到磁带机里，和手动加载 …
没这么简单。这个设备本身也是具备数据完整性检查保护能力的。
这些人力没法很好去完成的。
cc5233 于 2017-8-30 11:09:04 发表了：
本帖最后由 cc5233 于 2017-8-30 11:16 编辑
abc950309 发表于 2017-8-30 11:03
磁带没办法建 Raid 的哈，每一个磁带是分立的，建 Raid 本质上就不可行。
磁带的数据保护措施就是多备几 …
你这不是瞎扯淡么
我工作的单位就没有不用数据保护机制的
我这是银行。
临高的数据，丢了就不可能再有了，数据保护工作非常重要建RAID是可以的，不过需要磁盘辅助。
我主要是强调需要有数据保护机制，下次不用RAID这个词
cc5233 于 2017-8-30 11:20:08 发表了：
abc950309 发表于 2017-8-30 11:03
磁带没办法建 Raid 的哈，每一个磁带是分立的，建 Raid 本质上就不可行。
磁带的数据保护措施就是多备几 …
我们无法建设分布式存储系统的。。。这不符合临高能提供的其他设施
分布式计算系统倒是可以考虑，作为应对大需求的一种暂时提升计算能力的方法。
大量的服务器同时工作，需要电力、环境的支持，还需要建设网络。
SonicBBC 于 2017-8-30 11:21:37 发表了：
cc5233 发表于 2017-8-30 11:06
肯定可以接受
因为整个系统与需求之间实际上联系不紧密。
我们不可能到处布设终端设备，因为既没有那么多 …
那就是没啥问题啊
1kw的投资肯定是够了
cc5233 于 2017-8-30 11:22:38 发表了：
SonicBBC 发表于 2017-8-30 11:21
那就是没啥问题啊
1kw的投资肯定是够了
我怕保存数据不够
计算能力是其实也没那么大所谓，无非是时间和项目实施上要求会变高。
从总体拥有成本来看，保存 250TB 数据放在磁带设备上十年要花的总成本是大约是 94 万美金。总体成本包括设备采购、维护、人员费用等，以美国成本为基础计算的。同样 250TB 数据如果是放在 SATA 盘上的话，10 年所需费用约 630 万美金，这个相当于前者 6 倍左右。
我这有个数据，某个存储大厂的宣传。 不知道人工成本能减去多少？
abc950309 于 2017-8-30 11:45:46 发表了：
cc5233 发表于 2017-8-30 11:07
没这么简单。这个设备本身也是具备数据完整性检查保护能力的。
这些人力没法很好去完成的。
…
根本没那么麻烦。数据完整性、修复什么的功能正常磁带机都有，磁带本身就有校验。定期检查就好。
磁带和磁盘是有本质不同的。磁带相当于光盘，只是可以读可以写，随机寻道能力更烂。光盘也有光盘库，但是我手动拿个光盘，放在光驱里当然也可以。
abc950309 于 2017-8-30 11:52:18 发表了：
cc5233 发表于 2017-8-30 11:09
你这不是瞎扯淡么
我工作的单位就没有不用数据保护机制的
我这是银行。
数据保护机制就是多拷贝几份，我说了好几遍了。
先给文件打个 sha1，取用的时候，sha1 不一致就换一个拷贝取，并把错误的那个删掉重建。这就是分布式文件系统的原理。
Raid 已经是落后的技术了。银行金融机构有闲钱买高端阵列卡，有闲钱搞 Raid1 甚至 “Raid11”，数据量也不大。临高没这个闲钱，也不是一个环境。低端阵列卡连巡检都没有，根本没法玩；高端卡和磁盘一样贵，根本没意义。
磁带基本没有随机寻道的能力，怎么玩 Raid？原理上就不通。根本不是像你想的那样的。
abc950309 于 2017-8-30 12:04:05 发表了：
本帖最后由 abc950309 于 2017-8-30 12:05 编辑
cc5233 发表于 2017-8-30 11:20
我们无法建设分布式存储系统的。。。这不符合临高能提供的其他设施
分布式计算系统倒是可以考虑，作为应 …
分布式文件系统，成本更低，可靠性更好，通用性更强，备件都更方便。事实上分布式计算要比分布式文件系统复杂多了，HDFS 就是 Hadoop 的一个组件而已。再者讲哪有那么多数据可做“分布式计算”。
这个网络就是机房内网，不会消耗什么资源。所谓“分布”，是指在节点中分布，不是在机房间分布。
关于电力问题，整个系统的主要电力需求在磁盘上，服务器多还是少，根本不重要。
再者讲，高端 Raid 卡一块几十瓦，还要安装锂电池，锂电池还要定时更换。光这块锂电池，就够临高忙的。没有电池，很多功能都开不了。即使强制开了，像 Raid5 或者 Raid6 这类，电源一抖整个阵列都会坏掉，不够修的时间。
要知道 Raid 不知道比分布式文件系统脆弱到哪里去了，要论基础设施容忍性，分布式文件系统甩 Raid 10 条街。
abc950309 于 2017-8-30 12:23:55 发表了：
本帖最后由 abc950309 于 2017-8-30 12:31 编辑
cc5233 发表于 2017-8-30 11:22我怕保存数据不够
计算能力是其实也没那么大所谓，无非是时间和项目实施上要求会变高。
据我感觉，人员、电力和网络成本会占绝大部分。
即使以中国的人力成本，一个 dba 一个月的工资能买一台多服务器，服务器只需要买一次，dba 的工资可是月月都发的。
而且租用光纤也很贵，临高本来就是内网，也不需要从电信租用光纤。
cc5233 于 2017-8-30 13:21:10 发表了：
abc950309 发表于 2017-8-30 11:45
根本没那么麻烦。数据完整性、修复什么的功能正常磁带机都有，磁带本身就有校验。定期检查就好。
磁带和 …
还一个问题，这部分东西应该保密级别很高，人力我估计还是得少用。
cc5233 于 2017-8-30 13:22:28 发表了：
本帖最后由 cc5233 于 2017-8-30 13:26 编辑
abc950309 发表于 2017-8-30 12:23
据我感觉，人员、电力和网络成本会占绝大部分。
即使以中国的人力成本，一个 dba 一个月的工资能买一台多 …
你搞分布式存储，就需要很多网络设备一类的东西链接整个架构，然后大量同时工作的设备又要同时使用大量硬件有，这块又多出麻烦来呀。
还要考虑电力需求肯定是越低越好。
总得来说，单设备应该还是最好。
直接把整个架构打碎了的人力辅助方案我看都比分布式存储好多了。
abc950309 于 2017-8-30 13:50:01 发表了：
本帖最后由 abc950309 于 2017-8-30 13:52 编辑
cc5233 发表于 2017-8-30 13:22
你搞分布式存储，就需要很多网络设备一类的东西链接整个架构，然后大量同时工作的设备又要同时使用大量硬 …
这是想当然尔。单点的方案只是看上去可靠而已。银行的机房有 UPS，有备用发电机，有定时更换的硬盘，临高都没有。
有工业化的方案不用，抱残守缺是没有意义的。Google、百度这些 IT 企业难道不懂得成本均衡吗？
一条证伪之：一般的单点系统不可靠，（稍微）可靠的单点系统需要锂电池，锂电池有寿命且不可在临高制造。如果用电瓶的话，线都接不上去，接上去了充电参数也不一样，充电即使成功了内阻太高阵列会损坏。
况且网络设备稳定性要比服务器高几个量级，瓶颈根本不在网络设备。
机房里一个华为的交换开十几年不重启的到处都是。设备被淘汰了都可以二手卖掉还敢给店保，就是因为这东西太耐用了。
cc5233 于 2017-8-30 13:53:23 发表了：
abc950309 发表于 2017-8-30 13:50
这是想当然尔。单点的方案只是看上去可靠而已。银行的机房有 UPS，有备用发电机，有定时更换的硬盘，临高 …
你这犯了根本错误啊
临高的人力成本可以不计，但是人力太缺啊。
不可能维护那么庞大的系统的。
在我看，日常工作的设备，除了一台磁带库，剩下的不超过一个2米标准机柜能装下的量。差不多了。
需要上项目再加一点计算设备。
cc5233 于 2017-8-30 13:57:23 发表了：
abc950309 发表于 2017-8-30 13:50
这是想当然尔。单点的方案只是看上去可靠而已。银行的机房有 UPS，有备用发电机，有定时更换的硬盘，临高 …
论坛app为什么老点不了编辑。
临高肯定要有ups和发电机一类的设备的。不然，我们不要讨论这些问题，讨论下是明天瘫痪还是后天瘫痪吧。
abc950309 于 2017-8-30 13:59:10 发表了：
cc5233 发表于 2017-8-30 13:22
你搞分布式存储，就需要很多网络设备一类的东西链接整个架构，然后大量同时工作的设备又要同时使用大量硬 …
另外，你对“让采购备件更简单的方法”的认识有误差。保证备件的稳定供应，最重要的是要统一规格。网络设备无论如何都要采购，服务器无论如何都要采购。现在用这套已经采购的东西来完成储存的任务，如果备件不够，各个用途的硬件可以流转使用，坏掉的服务器也可以拆除出完好的部件互换使用。现在为了数据储存，还需要另外购买一套完全不同的硬件，再准备这套硬件的备件。如果到时候备件不够，连拆都没得拆。完全不经济，也不合理。
abc950309 于 2017-8-30 14:01:17 发表了：
cc5233 发表于 2017-8-30 13:53
你这犯了根本错误啊
临高的人力成本可以不计，但是人力太缺啊。
不可能维护那么庞大的系统的。
这用得了多少人力。设备稳定的最好方法是“不动”，如果不三天两头升级，不处理这处理那，不添加功能，不扩容，出问题的可能性低之又低。
cc5233 于 2017-8-30 14:03:15 发表了：
abc950309 发表于 2017-8-30 13:59
另外，你对“让采购备件更简单的方法”的认识有误差。保证备件的稳定供应，最重要的是要统一规格。网络设 …
统一归统一，但是你做不到绝对统一。
就像路由器和服务器无法相互替代。
如果要同时开运行几十台服务器才能做存储，那我宁可选人工磁带机方案了。
abc950309 于 2017-8-30 14:03:25 发表了：
cc5233 发表于 2017-8-30 13:57
论坛app为什么老点不了编辑。
临高肯定要有ups和发电机一类的设备的。不然，我们不要讨论这些问题，讨论 …
发电机可以有，UPS 没法有，电池不能自造，这个东西太困难了。
最佳的方法就是双路电源，服务器都是有主备两套电源的，不会存在太大的问题。
但是这个大型磁盘列阵应该就受不了了，这个东西一般都是比较脆弱的。
cc5233 于 2017-8-30 14:05:41 发表了：
abc950309 发表于 2017-8-30 14:01
这用得了多少人力。设备稳定的最好方法是“不动”，如果不三天两头升级，不处理这处理那，不添加功能，不 …
低之又低？以我的实际经验，你这话我可信不了。
我双路变电站，双路ups加ats，专业空调。灰尘颗粒都检测的机房。
规模不大，含以上设备也就100多平
该坏还不是坏。
cc5233 于 2017-8-30 14:06:09 发表了：
abc950309 发表于 2017-8-30 14:03
发电机可以有，UPS 没法有，电池不能自造，这个东西太困难了。
最佳的方法就是双路电源，服务器都是有主 …
电池可以造。完全没问题。无非是坚持时间短而已。
cc5233 于 2017-8-30 14:10:24 发表了：
abc950309 发表于 2017-8-30 14:03
发电机可以有，UPS 没法有，电池不能自造，这个东西太困难了。
最佳的方法就是双路电源，服务器都是有主 …
磁盘阵列不用大型，几t规模肯定够的。绝大多数数据在绝大多数时间里是不会被访问的。
所以肯定是优先丢磁带里，不管那种磁带。
总得来说，磁盘存储规模肯定要控制，严格限制量的增长。
这样也就不需要考虑做不做分布式的问题了。
abc950309 于 2017-8-30 14:10:44 发表了：
cc5233 发表于 2017-8-30 14:03
统一归统一，但是你做不到绝对统一。
就像路由器和服务器无法相互替代。
如果要同时开运行几十台服务器才 …
楼主如果继续这种想当然的讨论方法，完全不做论证计算的话，我也没有办法呀~~
1PB 的容量，2份备份，需要 3000 块 1TB 的硬盘。4U 的空间放 40 块硬盘已经相当挤了。一个两米高的机柜有 44U，其中还要放一个交换机。
3000 / 40 / 10 = 7.5，就算这么放（40块4U的高密度）也要 7 个半机柜。除非你的磁盘列阵有物理空间折叠功能，我想应该塞不到 2 个机柜里的……
abc950309 于 2017-8-30 14:14:13 发表了：
cc5233 发表于 2017-8-30 14:05
低之又低？以我的实际经验，你这话我可信不了。
我双路变电站，双路ups加ats，专业空调。灰尘颗粒都检测 …
我说的是按照分布式文件系统的处理方式，在概率上，有设备损坏导致不可用的几率是很低的。如果你搞得是单点，不可用的几率当然会高。
你这个只要几个T的话还用讨论，我家里就有一个 13 T的阵列，都不用讨论架构。
cc5233 于 2017-8-30 14:17:40 发表了：
abc950309 发表于 2017-8-30 14:10
楼主如果继续这种想当然的讨论方法，完全不做论证计算的话，我也没有办法呀~~
1PB 的容量，2份备份，需 …
你看错了。
我说的是抛开磁带柜。
日常用的什么oa 论坛 财务系统 还有资料索引这些东西不需要多少性能。因为实际上同时访问的人估计也就100来。数据也不会很大，几t级别差不多了。
这部分开个 3台服务器够了。
再做一个5-10t的存储供读写用。重要数据迟点备到磁带，不重要的定期删除。
日常计算用的服务器再开3-5台就够了。按时间排，时间不缺，算慢点并没有太大所谓。
cc5233 于 2017-8-30 14:18:27 发表了：
abc950309 发表于 2017-8-30 14:14
我说的是按照分布式文件系统的处理方式，在概率上，有设备损坏导致不可用的几率是很低的。如果你搞得是单 …
我一直在说的是单台磁带设备。。。。
abc950309 于 2017-8-30 14:18:28 发表了：
cc5233 发表于 2017-8-30 14:10
磁盘阵列不用大型，几t规模肯定够的。绝大多数数据在绝大多数时间里是不会被访问的。
所以肯定是优先丢磁 …
你不能说，我觉得不靠谱就不靠谱，是吧？
我这个有事实说明它靠谱，不能说你觉得一下，我们就认定它不靠谱了。你也要拿事实出来呀~~
比如哪个公司的分布式集群坏掉导致服务不可用啦，成本比专用阵列高啦，电费比专用阵列高啦，维护费用专用阵列高啦之类的。
不用数据说话，想当然一下，就来批判一番，将来宣传上出了偏差，你可是要负责的呀~~
cc5233 于 2017-8-30 14:20:14 发表了：
abc950309 发表于 2017-8-30 14:18
你不能说，我觉得不靠谱就不靠谱，是吧？
我这个有事实说明它靠谱，不能说你觉得一下，我们就认定它不靠 …
我发现你一直看错了。。。我一直在说单台的是磁带设备。。。
abc950309 于 2017-8-30 14:20:22 发表了：
本帖最后由 abc950309 于 2017-8-30 14:22 编辑
cc5233 发表于 2017-8-30 14:18
我一直在说的是单台磁带设备。。。。
咱们说的不是“单台磁盘设备”吗？磁带设备有什么单台的，这个东西就和光驱一样，还可以单台不单台吗……
如果为了读个磁带，专门搞一套要加强地基的企业级磁带库，这也不划算啊……
cc5233 于 2017-8-30 14:21:18 发表了：
abc950309 发表于 2017-8-30 14:20
咱们说的不是“单台磁盘设备”吗？磁带设备有什么单台的，这个东西就和光驱一样，还可以单台不单台吗…… …
你不是提了一个不要磁带库，用人工的方案么。。。
cc5233 于 2017-8-30 14:24:54 发表了：
abc950309 发表于 2017-8-30 14:20
咱们说的不是“单台磁盘设备”吗？磁带设备有什么单台的，这个东西就和光驱一样，还可以单台不单台吗……
…
如果你觉得这东西会造成基建问题。那就用冷存方案得了。
cc5233 于 2017-8-30 14:26:52 发表了：
abc950309 发表于 2017-8-30 14:20
咱们说的不是“单台磁盘设备”吗？磁带设备有什么单台的，这个东西就和光驱一样，还可以单台不单台吗……
…
我发帖是说 pb级别的磁盘设备是用不起的。
你来告诉我，只要上分布式存储就用得起。
我说你这个分布式也是不靠谱，肯定是只能用单台磁带，注意磁带设备。
磁带的优势在临高的奇葩状态下只会更明显。
这是我们争论的内容。
abc950309 于 2017-8-30 14:28:44 发表了：
cc5233 发表于 2017-8-30 14:21
你不是提了一个不要磁带库，用人工的方案么。。。
你看，你没有看明白我的意思。
我的意思是说，做一个混合的系统。数据储存在磁带中，将有人申请使用的数据加载到分布式文件系统（比如 08 年可用的 HDFS）中，进行使用。
HDFS 作为 Cache，容量不够时对数据进行淘汰，算法什么的，LRU 还是其他再讨论，使常用数据直接从 HDFS 中能够取到。
数据申请可以做一个索引，再搞一个工单系统，对文件进行编号，实现半自动化，除了取磁带这步不需要人工参与。
所以 HDFS 和人工磁带系统是统一的，同时存在的。
abc950309 于 2017-8-30 14:30:28 发表了：
cc5233 发表于 2017-8-30 14:26
我发帖是说 pb级别的磁盘设备是用不起的。
你来告诉我，只要上分布式存储就用得起。
我说你这个分布式也 …
我的意思是说，不能你说不靠谱就不靠谱，我看到的都是靠谱的，一般来讲，一个集群同时 Down 掉一半还是可以运行的。
你说不靠谱，拜托给点依据。
cc5233 于 2017-8-30 14:32:14 发表了：
abc950309 发表于 2017-8-30 14:28
你看，你没有看明白我的意思。
我的意思是说，做一个混合的系统。数据储存在磁带中，将有人申请使用的数 …
那这个没什么值得讨论的了。是不是分布式关系不大。
因为硬盘的实际开销必须非常非常非常严格的加以限制。
不能几百t甚至几pb的容量同时跑着。
这个cache我看几十t就不能再大了。
cc5233 于 2017-8-30 14:32:47 发表了：
abc950309 发表于 2017-8-30 14:30
我的意思是说，不能你说不靠谱就不靠谱，我看到的都是靠谱的，一般来讲，一个集群同时 Down 掉一半还是可 …
我指的是硬件有损坏的情况。
abc950309 于 2017-8-30 14:35:32 发表了：
cc5233 发表于 2017-8-30 14:32
那这个没什么值得讨论的了。是不是分布式关系不大。
因为硬盘的实际开销必须非常非常非常严格的加以限制 …
几十 T 都不用这些废话，你随便拉一台服务器，加个附加磁盘柜，插满硬盘就可以了。
现在不是为了和原文配合吗？既然有设定，肯定要向设定靠拢嘛。
abc950309 于 2017-8-30 14:37:56 发表了：
cc5233 发表于 2017-8-30 14:32
我指的是硬件有损坏的情况。
我说的也是硬件损坏的情况。服务器同时可以部署计算任务。损坏了就算不能恢复到原来的可靠程度，还可以逐渐降级，逐渐缩容。都坏了降级到没有 HDFS 完全使用磁带机的方案。完全没毛病。
abc950309 于 2017-8-30 14:42:57 发表了：
cc5233 发表于 2017-8-30 14:32
那这个没什么值得讨论的了。是不是分布式关系不大。
因为硬盘的实际开销必须非常非常非常严格的加以限制 …
DingTalk20170830143939.png(88.31 KB, 下载次数: 0)
2017-8-30 14:39 上传
如果这么没追求，我家里的可以直接拿过去用了。Raid5 的阵列还有 4 个磁盘槽没插满，满载功耗 50w。这个低技术方案题主满意吗？
cc5233 于 2017-8-30 14:44:44 发表了：
abc950309 发表于 2017-8-30 14:42
如果这么没追求，我家里的可以直接拿过去用了。Raid5 的阵列还有 4 个磁盘槽没插满，满载功耗 50w。这个 …
不是没有追求，是追求不起啊。
abc950309 于 2017-8-30 14:47:46 发表了：
cc5233 发表于 2017-8-30 14:44
不是没有追求，是追求不起啊。
预算 1000 万，我这个是用 6500 搭起来的，感觉似乎还有 999 万 3500 要花……
cc5233 于 2017-8-30 14:49:37 发表了：
abc950309 发表于 2017-8-30 14:47
预算 1000 万，我这个是用 6500 搭起来的，感觉似乎还有 999 万 3500 要花……
…
噗 你这调侃也太过了。。
不过老实话。
要是我，肯定不选太复杂的情况。
这要是真有什么问题，这锅谁背的起。
做过大型项目的人容易找，穿越过的你找得到？
abc950309 于 2017-8-30 14:51:21 发表了：
本帖最后由 abc950309 于 2017-8-30 14:53 编辑
cc5233 发表于 2017-8-30 14:49
噗 你这调侃也太过了。。
不过老实话。
要是我，肯定不选太复杂的情况。
反正就做一个 Cache，大不了清空从新从磁带读出来。
这方案也不复杂，实在不行拆散了也可以独立用嘛，这就是通用设备的优势不是吗~~
cc5233 于 2017-8-30 15:12:17 发表了：
abc950309 发表于 2017-8-30 14:51
反正就做一个 Cache，大不了清空从新从磁带读出来。
这方案也不复杂，实在不行拆散了也可以独立用嘛，这就 …
还1个 人力问题 你真不要忽视
在这里蹲着维护设备在临高可不是什么高档工作。人员流动问题迟早要出问题
所以我还是想着要压缩实际规模。磁带柜可以考虑找1-2个高端人士负责，因为这是命脉级的东西，地位容易捧高。
但是其他设备数量多了就难搞了，日常检查一类的事情，容易被元老认为是浪费生命。而且会浪费很多人力。这里面问题就多了。
找不到足够的人怎么办?
所以日常开着的设备一定要少。这样这方面不会问题太大。有1 2个认真点的人，技术不用多少，就可以日常维持了。
附属设施，如供电和UPS，都叫电力口负责。温湿度控制叫机械口负责。
最终，日常有1-2个大牛带2 3个混日子的，也可以保护这个地方不容易出事，人员流动也会随意一些。
如果要上什么项目，让元老院相关部门下命令去找人，项目结束，非日常的东西下架入库。项目调来的人回去。
abc950309 于 2017-8-30 15:17:57 发表了：
cc5233 发表于 2017-8-30 15:12
还1个 人力问题 你真不要忽视
在这里蹲着维护设备在临高可不是什么高档工作。人员流动问题迟早要出问题
…
10 个（加上其他用途的服务器）机架都看不住的话，不如开除船籍……一般机房 10 个机架也就算一排，不是很困难的。
cc5233 于 2017-8-30 15:19:11 发表了：
abc950309 发表于 2017-8-30 15:17
10 个（加上其他用途的服务器）机架都看不住的话，不如开除船籍……一般机房 10 个机架也就算一排，不是 …
不是看不住 是人要去别的地方高就，你还拉着他啊？
没人来“低”就，那些走不了的人可就怨念了。。
能少就别多。重要事情让元老院高层去下令来解决。
abc950309 于 2017-8-30 15:20:58 发表了：
本帖最后由 abc950309 于 2017-8-30 15:22 编辑
cc5233 发表于 2017-8-30 15:19
不是看不住 是人要去别的地方高就，你还拉着他啊？
没人来“低”就，那些走不了的人可就怨念了。。
能少就 …
10个机架“有1 2个认真点的人”就足够了啊……我是这个意思……
cc5233 于 2017-8-30 15:23:54 发表了：
abc950309 发表于 2017-8-30 15:20
10个机架“有1 2个认真点的人”就足够了啊……我是这个意思，不能够前后矛盾吧……
…
你肯定没在我这种地方呆过。没有你想得那么简单哦元老那么宝贵，迟早不会让你看看就够了的。
到时候看看的事情，可就要压到走不了的人身上了。
abc950309 于 2017-8-30 15:29:01 发表了：
本帖最后由 abc950309 于 2017-8-30 15:32 编辑
cc5233 发表于 2017-8-30 15:23
你肯定没在我这种地方呆过。没有你想得那么简单哦元老那么宝贵，迟早不会让你看看就够了的。
到时候看看 …
你刚刚说1～2个大牛，我都算是普通元老（很明显如果10个机架看不住，旧时空早就被开除了）。现在又改成一个元老都没有咯就算是你说的这种情况，如果没有事故发生，这个系统没必要有人值守。有了事故，既然不需要保证 3 个 9、4 个 9 的可用性，也不会因为事故导致损失广告费，等元老有时间再处理也不是不可以。这些情况都可以克服的。
cc5233 于 2017-8-30 15:32:20 发表了：
abc950309 发表于 2017-8-30 15:29
你刚刚说1～2个大牛，我都算是普通元老（很明显如果10个机架看不住，旧时空早就被开除了）。现在又改成一 …
是啊 开除了 你开除呗
开除了你去招人呗。
我看看你能招来什么人。
我就不乐意干这个。我是元老，你能怎么滴？他们能当大官我在这里看机房？
爱开除不开除。看你能不能变1个元老来。
abc950309 于 2017-8-30 15:33:48 发表了：
cc5233 发表于 2017-8-30 15:32
是啊 开除了 你开除呗
开除了你去招人呗。
我看看你能招来什么人。
我来可以不？
这都不是全职工作，完全没必要这么严重……
cc5233 于 2017-8-30 15:37:57 发表了：
abc950309 发表于 2017-8-30 15:33
我来可以不？
这都不是全职工作，完全没必要这么严重……
你来可以的，因为你自愿
怕就怕没多少自愿的。
所以我才说，能少别多。
abc950309 于 2017-8-30 15:41:49 发表了：
cc5233 发表于 2017-8-30 15:37
你来可以的，因为你自愿
怕就怕没多少自愿的。
所以我才说，能少别多。
这就是有事故的时候恢复一下，定期看一下磁盘坏没坏的活，一周用不了两个小时。
我们这里的 mfs 维护的人都找不到了，结果现在还在正常运行，虽然健康程度堪忧，但是还是可以正常使用的。
cc5233 于 2017-8-30 16:01:59 发表了：
abc950309 发表于 2017-8-30 15:41
这就是有事故的时候恢复一下，定期看一下磁盘坏没坏的活，一周用不了两个小时。
我们这里的 mfs 维护的人 …
你这要求真低
我这是24小时有人值守的
不过我估计临高那鬼样，不24小时有人值守，这责任我看是没人敢背。
最头痛的就是供电太垃圾了。
abc950309 于 2017-8-30 16:05:49 发表了：
cc5233 发表于 2017-8-30 16:01
你这要求真低
我这是24小时有人值守的
不过我估计临高那鬼样，不24小时有人值守，这责任我看是没人敢背。 …
我们这里就放个日志什么的，掉了也没事情。线上系统都是 24 小时值守的。这个东西就是一个 Cache，有什么责任。数据的储存版本在磁带里。
cc5233 于 2017-8-30 16:08:32 发表了：
abc950309 发表于 2017-8-30 16:05
我们这里就放个日志什么的，掉了也没事情。线上系统都是 24 小时值守的。这个东西就是一个 Cache，有什么 …
值班肯定是整个都看啊。。
运行着的服务器和存储还有附属设施。
abc950309 于 2017-8-30 16:14:15 发表了：
cc5233 发表于 2017-8-30 16:08
值班肯定是整个都看啊。。
运行着的服务器和存储还有附属设施。
硬件运维和软件运维是分开处理的。硬件走的是硬件的告警、处理渠道，软件部分有自己的监控设施。这个不是一套的东西。
分布式就是这个好，即使某个节点的硬件出了一些问题，对于软件是透明的，没有什么感知，因为有足够的冗余来处理。
没事乱溜达 于 2017-8-30 20:13:58 发表了：
cc5233 发表于 2017-8-30 14:05
低之又低？以我的实际经验，你这话我可信不了。
我双路变电站，双路ups加ats，专业空调。灰尘颗粒都检测 …
把进货的人换了吧.
没事乱溜达 于 2017-8-30 20:17:10 发表了：
钟利时 发表于 2017-8-29 18:00
大圆规+加长杆，画不太精确的大半径圆。小圆规，画不太精确的中小半径圆。
弹簧圆规，画比较精密的中小半 …
这么多年终于知道都是干什么用的了.谢谢!
描图员这个消失的职业看来又要大批出现了.
没事乱溜达 于 2017-8-30 20:18:22 发表了：
abc950309 发表于 2017-8-30 11:03
磁带没办法建 Raid 的哈，每一个磁带是分立的，建 Raid 本质上就不可行。
磁带的数据保护措施就是多备几 …
请教一下raid5坏同时坏2块是什么原因.我碰到3个月内分别坏两块的情况.
cc5233 于 2017-8-30 22:05:40 发表了：
没事乱溜达 发表于 2017-8-30 20:13
把进货的人换了吧.
硬件就是这样的，只不过有冗余，系统是不会瘫的。
当然现在很多设备功率大，工作强度也大。也不能一概而论了。
以前那些老机器负载不大功率低的用n年也不见得怎么样。
我以前奔三的机器当服务器用的，用到2012年都没坏，只是换过一个硬盘。
没事乱溜达 于 2017-8-30 22:16:58 发表了：
cc5233 发表于 2017-8-30 22:05
硬件就是这样的，只不过有冗余，系统是不会瘫的。
当然现在很多设备功率大，工作强度也大。也不能一概而 …
对比了一些机器的厂家代码,发现被换过零件…
thinostrich 于 2017-8-30 22:18:40 发表了：
cc5233 发表于 2017-8-30 16:08
值班肯定是整个都看啊。。
运行着的服务器和存储还有附属设施。
你把现代分布式系统想的太复杂了吧。实际维护起来很简单的。平时把设备丢空调房里，除非断电了小灵通发个短信给负责人，其他时候可以无人值守，只要有安保不让人随便进就行。然后程序自动定期检测硬盘状态，有问题了发短信让负责人处理下。也不用立刻处理，反正坏掉的数据暂时不能读而已。
硬盘上的数据是有备份的，如果某块硬盘坏掉，一般也不会一下就全坏，某个分区挂掉把他屏蔽掉，用备份数据恢复就行。如果坏的多了，放不下了就按照某种原则删掉不重要的数据。如果硬盘全坏了，就丢掉备份。
为了减少耗电和运转损耗，甚至可以做到一部分硬盘停运，只在服务器留个索引，需要了再启动，平时再定期跑一跑。比如双备份中的备份就可以定期停运节省寿命。
功耗的话，一块HDD 4W的功耗，1000块需要4KW。这点发电量还是有的吧。
寿命的话，百度到一份各品牌机械硬盘故障率排行，主流的年故障率从1%到10% 。3套备份，选个好点的牌子，坚持20年应该问题不大。
abc950309 于 2017-8-30 22:53:40 发表了：
没事乱溜达 发表于 2017-8-30 20:18请教一下raid5坏同时坏2块是什么原因.我碰到3个月内分别坏两块的情况.
有几个因素同时导致这种现象：
1. 同时购买的硬盘一般是同型号同批次的产品，又在同样的环境下使用，临近时间损坏是可能的；
2. 在第一个硬盘损坏后，阵列重建的过程中，其余硬盘会面临较大的读写压力，提高了损坏的可能性；
3. 在第一个硬盘损坏后，在恢复过程中，如果其余硬盘有一个区块损坏了，即使在正常工作的情况下不算做错误，但是由于阵列重建需要磁盘的全部信息，也会导致阵列重建失败。这个错误的几率（BER）在一般的磁盘上（以希捷为例）是 1e-14，在企业级硬盘上是 1e-15，虽然很小，但是在多硬盘的情况下，就不可忽视了。比如 4 个 1 T 硬盘组成的 Raid5，在 1e-14 的 BER 下，错误的几率是 1- (1 - 1e-14) ^ (8 x 1e12 x 3) = 21.34%，这个几率已经属于比较大的了。假如在几年前，一般的硬盘 BER 只有 1e-13，情况会更悲观，使得 Raid5 损坏后大概率不能重建。
cc5233 于 2017-8-31 09:37:52 发表了：
thinostrich 发表于 2017-8-30 22:18
你把现代分布式系统想的太复杂了吧。实际维护起来很简单的。平时把设备丢空调房里，除非断电了小灵通发个 …
哪有这么先进，供电和空调都不敢保障