<div dir="ltr">Try bcache as a flash backend, I feel its more flexible as a caching tier and its well integrated into the kernel. The kernel 3.10.X version is now quite mature so an epel6 long term kernel would work great. We are using it in a linux based production SAN as a cache tier with pci-e SSDs, a very flexible subsystem and rock solid. </div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Mar 25, 2014 at 5:03 AM, Stuart Longland <span dir="ltr"><<a href="mailto:stuartl@vrt.com.au" target="_blank">stuartl@vrt.com.au</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">On 24/03/14 17:57, Stuart Longland wrote:<br>
> Well, I'm starting to have a stab at creating a driver to do local<br>
> caching on hosts for RBD storage.<br>
><br>
> For those who want to follow progress, I've thrown a repository up here:<br>
> <a href="http://git.longlandclan.yi.org/?p=opennebula-ceph-flashcache.git;a=summary" target="_blank">http://git.longlandclan.yi.org/?p=opennebula-ceph-flashcache.git;a=summary</a><br>
<br>
</div>A heads up on the progress, I now have some basic cloning/linking of<br>
images working.<br>
<br>
Our cluster was pushing about 120MB/sec prior to me rebuilding the<br>
compute nodes and embarking on this cache experiment.  The set up here is:<br>
<br>
The Ceph nodes are combined MON/OSD hosts with two OSDs and a MON each.<br>
 The machines each have two 1Gbps NICs, one of which connects to an<br>
isolated unmanaged 1Gbps switch, the other connects to a second<br>
unmanaged 1Gbps switch shared with the VM hosts.<br>
<br>
The VM hosts themselves have 3 1Gbps NICs, one as a VLAN trunk for VMs,<br>
the other two are bonded to form a 2Gbps link.  They each have a 60GB<br>
SSD, of which 8GB is taken up by the OS.  The rest is LVM.<br>
<br>
For testing I set up a VM with 100% of its disk cached to local SSD.<br>
The initial read was slow, about 20MB/sec (dependent on overall<br>
cluster/network load), however, subsequent reads is showing speeds of<br>
approximately 218MB/sec.<br>
<br>
So once the cache is filled up, there's a big jump in read performance.<br>
<span class="HOEnZb"><font color="#888888">--<br>
Stuart Longland<br>
Contractor<br>
</font></span><div class="HOEnZb"><div class="h5">     _ ___<br>
\  /|_) |                           T: <a href="tel:%2B61%207%203535%209619" value="+61735359619">+61 7 3535 9619</a><br>
 \/ | \ |     38b Douglas Street    F: <a href="tel:%2B61%207%203535%209699" value="+61735359699">+61 7 3535 9699</a><br>
   SYSTEMS    Milton QLD 4064       <a href="http://www.vrt.com.au" target="_blank">http://www.vrt.com.au</a><br>
<br>
<br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.opennebula.org">Users@lists.opennebula.org</a><br>
<a href="http://lists.opennebula.org/listinfo.cgi/users-opennebula.org" target="_blank">http://lists.opennebula.org/listinfo.cgi/users-opennebula.org</a><br>
</div></div></blockquote></div><br></div>