w h y ? y o u a r e h e r e ?

概述最近有需求要分析定位下开发的文件存储网关的内存泄露问题,对比了几款后选择了valgrind这款工具,功能很是强大,这里我还只使用了一些基本的功能,记录如下。 Valgrind支持很多工具: Memcheck,Addrcheck,Cachegrind,Massif,Helgrind和Callgri ...
Read more »

基于ceph jewel 10.2.5版本 参考文档:http://docs.ceph.com/docs/master/radosgw/layout/ 测试数据创建一个user:ictfox创建这个user下的一个bucket:bruins往bucket里写一个object:hello.txt 所以 ...
Read more »

当前状况当前我们仅仅通过cinder创建type,指定type的IO限制来限制不同类型的云硬盘的IO值。 具体方案和调研,参考:云硬盘动态限速调研 目的 充分利用系统的资源,在系统负载和Ceph负载小的情况下,动态调整云硬盘的IO值,给用户提供更好的体验。 设计一个框架,能满足云硬盘动态限速的要求; ...
Read more »

最近忙存储网关的开发,没有投放精力在Ceph和Openstack上了,这里翻出来一些之前做的项目,分享给大家。 一、QOS概况在OpenStack H版中块存储引入了QoS特性,主要在Cinder和Nova项目中实施。 在OpenStack的QoS特性上,主要依赖于后段存储和前端的Hyperviso ...
Read more »

概述Linux系统中为了解决文件共享问题,引入了软链接和硬链接的概念,软链接又称符号链接,即soft link或symbolic link,硬链接即为hard link。同时它们还带来了隐藏文件路径、增加权限安全及节省存储等好处。 若一个文件指向另一个文件,该文件的内容仅仅是另一个文件的path,则 ...
Read more »

概述aws提供多种sdk去访问S3,包括java、go、php、js、ruby、net、c++等,本篇文章结合作者最近应用的实践,介绍aws sdk cpp中访问S3的使用,示例中包括对S3的基本put,get等操作。 在使用aws sdk cpp中,发现它还不是那么完善,很多对S3的操作都找不到示 ...
Read more »

概述在用c++的fstream时遇到一个很奇怪的问题,记录和分析过程如下。 需求两个文件,一个122k(file-bak),一个100k(file),file是file-bak的前100k的内容,需要从file-bak里读取后面的22k数据,写入file的后面,然后对比file和file-bak,数 ...
Read more »

概述G3log 是一个开源、支持跨平台的异步 C++ 日志框架,支持自定义日志格式。基于 g2log 构建,提升了性能,支持自定义格式。 G3log 主要特性: 日志和契约式设计框架 异步调用 线程安全 队列式日志 捕获和记录 SIGSEGV 以及其他严重的信号 在 Linux/OSX 上严重的信 ...
Read more »

概述随着云的普及,越来越多的客户需要把数据迁移到云上,针对小量的数据,通过云公司提供的迁移工具走互联网就可以做到,但针对海量的数据,互联网上传输是不现实的,这就需要我们提供一种新的迁移方案来缩短数据迁移时间。 结合过去磁带库的容灾备份方案,针对海量数据迁移到云上的需求,云公司也采用了离线设备+传统运 ...
Read more »

本文是在日知录社区里分享内容的第二部分,主要介绍CephFS的测试方法和结果分析,对视频分享和第一部分感兴趣的请阅读如下链接: cephfs架构解读与测试分析-part1日知录 - CephFS架构解读与测试分析 CephFS测试为了验证CephFS是否满足产品需求,我们基于最新的Ceph Jewe ...
Read more »