<html>
<head>
<style><!--
.hmmessage P
{
margin:0px;
padding:0px
}
body.hmmessage
{
font-size: 12pt;
font-family:΢ź
}
--></style></head>
<body class='hmmessage'><div dir='ltr'><div>Dear All,</div><div><br></div><div>I tried to deploy opennebula 4.6.2 base glusterfs 3.5.1</div><div>all three server: </div><div>1. one server,ip is 192.168.0.198;</div><div>2. node0,ip is 192.168.0.199;</div><div>3. node1,ip is 192.168.0.200;</div><div><br></div><div>Datastores configuration:</div><div><br></div><div>[oneadmin@fc-server ]$ onedatastore show 102</div><div>DATASTORE 102 INFORMATION                                                       </div><div>ID             : 102                 </div><div>NAME           : sys                 </div><div>USER           : oneadmin            </div><div>GROUP          : oneadmin            </div><div>CLUSTER        : c1                  </div><div>TYPE           : SYSTEM              </div><div>DS_MAD         : -                   </div><div>TM_MAD         : shared              </div><div>BASE PATH      : /var/lib/one//datastores/102</div><div>DISK_TYPE      : FILE                </div><div><br></div><div>DATASTORE CAPACITY                                                              </div><div>TOTAL:         : 131.3G              </div><div>FREE:          : 123.3G              </div><div>USED:          : 41M                 </div><div>LIMIT:         : -                   </div><div><br></div><div>PERMISSIONS                                                                     </div><div>OWNER          : um-                 </div><div>GROUP          : u--                 </div><div>OTHER          : ---                 </div><div><br></div><div>DATASTORE TEMPLATE                                                              </div><div>BASE_PATH="/var/lib/one//datastores/"</div><div>GLUSTER_HOST="192.168.0.199:24007"</div><div>GLUSTER_VOLUME="fc-sys"</div><div>SHARED="YES"</div><div>TM_MAD="shared"</div><div>TYPE="SYSTEM_DS"</div><div>       </div><div>[oneadmin@fc-server ]$ onedatastore show 103</div><div>DATASTORE 103 INFORMATION                                                       </div><div>ID             : 103                 </div><div>NAME           : img                 </div><div>USER           : oneadmin            </div><div>GROUP          : oneadmin            </div><div>CLUSTER        : c1                  </div><div>TYPE           : IMAGE               </div><div>DS_MAD         : fs                  </div><div>TM_MAD         : shared              </div><div>BASE PATH      : /var/lib/one//datastores/103</div><div>DISK_TYPE      :                     </div><div><br></div><div>DATASTORE CAPACITY                                                              </div><div>TOTAL:         : 131.3G              </div><div>FREE:          : 123.3G              </div><div>USED:          : 41M                 </div><div>LIMIT:         : -                   </div><div><br></div><div>PERMISSIONS                                                                     </div><div>OWNER          : um-                 </div><div>GROUP          : u--                 </div><div>OTHER          : ---                 </div><div><br></div><div>DATASTORE TEMPLATE                                                              </div><div>BASE_PATH="/var/lib/one//datastores/"</div><div>CLONE_TARGET="SYSTEM"</div><div>DISK_TYPE="GLUSTER"</div><div>DS_MAD="fs"</div><div>GLUSTER_HOST="192.168.0.199:24007"</div><div>GLUSTER_VOLUME="fc-img"</div><div>LN_TARGET="NONE"</div><div>TM_MAD="shared"</div><div>TYPE="IMAGE_DS"</div><div><br></div><div>192.168.0.199:/fc-sys on /var/lib/one/datastores/102 type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072)</div><div>192.168.0.199:/fc-img on /var/lib/one/datastores/103 type fuse.glusterfs (rw,default_permissions,allow_other,max_read=131072)</div><div><br></div><div>deploy image to PERSISTENT, it's ok.</div><div><br></div><div>[oneadmin@fc-server ]$ oneimage show 1</div><div>IMAGE 1 INFORMATION                                                             </div><div>ID             : 1                   </div><div>NAME           : ttylinux            </div><div>USER           : oneadmin            </div><div>GROUP          : oneadmin            </div><div>DATASTORE      : img                 </div><div>TYPE           : OS                  </div><div>REGISTER TIME  : 07/11 21:35:11      </div><div>PERSISTENT     : Yes                 </div><div>SOURCE         : /var/lib/one//datastores/103/4c40e4068ad2ff41c8767c40f85ae786</div><div>PATH           : http://marketplace.c12g.com/appliance/4fc76a938fb81d3517000003/download/0</div><div>SIZE           : 40M                 </div><div>STATE          : used                </div><div>RUNNING_VMS    : 1                   </div><div><br></div><div>PERMISSIONS                                                                     </div><div>OWNER          : um-                 </div><div>GROUP          : ---                 </div><div>OTHER          : ---                 </div><div><br></div><div>IMAGE TEMPLATE                                                                  </div><div>DEV_PREFIX="hd"</div><div>FROM_APP="4fc76a938fb81d3517000003"</div><div>FROM_APP_FILE="0"</div><div>FROM_APP_NAME="ttylinux - kvm"</div><div>MD5="04c7d00e88fa66d9aaa34d9cf8ad6aaa"</div><div><br></div><div>VIRTUAL MACHINES</div><div><br></div><div>    ID USER     GROUP    NAME            STAT UCPU    UMEM HOST             TIME</div><div>     8 oneadmin oneadmin tt              runn    0    512M 192.168.0.  -1d 16h32</div><div>[oneadmin@fc-server tm]$ </div><div><br></div><div>[oneadmin@fc-server 8]$ ll</div><div>total 366</div><div>-rw-rw-r-- 1 oneadmin oneadmin    992 Jul 11 13:44 deployment.0</div><div>lrwxrwxrwx 1 oneadmin oneadmin     60 Jul 11 13:44 disk.0 -> /var/lib/one/datastores/103/4c40e4068ad2ff41c8767c40f85ae786</div><div>-rw-r--r-- 1 oneadmin oneadmin 372736 Jul 11 13:44 disk.1</div><div>lrwxrwxrwx 1 oneadmin oneadmin     36 Jul 11 13:44 disk.1.iso -> /var/lib/one/datastores/102/8/disk.1</div><div><br></div><div><br></div><div>but deploy image to Non-persistent, it's no running.</div><div><br></div><div>[oneadmin@fc-server 102]$ oneimage show 1</div><div>IMAGE 1 INFORMATION                                                             </div><div>ID             : 1                   </div><div>NAME           : ttylinux            </div><div>USER           : oneadmin            </div><div>GROUP          : oneadmin            </div><div>DATASTORE      : img                 </div><div>TYPE           : OS                  </div><div>REGISTER TIME  : 07/11 21:35:11      </div><div>PERSISTENT     : No                  </div><div>SOURCE         : /var/lib/one//datastores/103/4c40e4068ad2ff41c8767c40f85ae786</div><div>PATH           : http://marketplace.c12g.com/appliance/4fc76a938fb81d3517000003/download/0</div><div>SIZE           : 40M                 </div><div>STATE          : used                </div><div>RUNNING_VMS    : 1                   </div><div><br></div><div>PERMISSIONS                                                                     </div><div>OWNER          : um-                 </div><div>GROUP          : ---                 </div><div>OTHER          : ---                 </div><div><br></div><div>IMAGE TEMPLATE                                                                  </div><div>DEV_PREFIX="hd"</div><div>FROM_APP="4fc76a938fb81d3517000003"</div><div>FROM_APP_FILE="0"</div><div>FROM_APP_NAME="ttylinux - kvm"</div><div>MD5="04c7d00e88fa66d9aaa34d9cf8ad6aaa"</div><div><br></div><div>VIRTUAL MACHINES</div><div><br></div><div>    ID USER     GROUP    NAME            STAT UCPU    UMEM HOST             TIME</div><div>    10 oneadmin oneadmin tt              fail    0      0K              0d 00h00</div><div><br></div><div>[oneadmin@fc-server 102]$ ls</div><div>10  </div><div>[oneadmin@fc-server 102]$ cd 10</div><div>[oneadmin@fc-server 10]$ ll</div><div>total 41325</div><div>-rw-rw-r-- 1 oneadmin oneadmin      971 Jul 11 14:35 deployment.0</div><div>-rw-r--r-- 1 oneadmin oneadmin 41943040 Jul 11 14:35 disk.0</div><div>-rw-r--r-- 1 oneadmin oneadmin   372736 Jul 11 14:35 disk.1</div><div>lrwxrwxrwx 1 oneadmin oneadmin       37 Jul 11 14:35 disk.1.iso -> /var/lib/one/datastores/102/10/disk.1</div><div><br></div><div>show oned.log :</div><div><br></div><div>Fri Jul 11 14:35:26 2014 [DiM][D]: Deploying VM 10</div><div>Fri Jul 11 14:35:26 2014 [ReM][D]: Req:8400 UID:0 VirtualMachineDeploy result SUCCESS, 10</div><div>Fri Jul 11 14:35:31 2014 [TM][D]: Message received: TRANSFER SUCCESS 10 -</div><div><br></div><div>Fri Jul 11 14:35:32 2014 [VMM][D]: Message received: LOG I 10 ExitCode: 0</div><div><br></div><div>Fri Jul 11 14:35:32 2014 [VMM][D]: Message received: LOG I 10 Successfully execute network driver operation: pre.</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 Command execution fail: cat << EOT | /var/tmp/one/vmm/kvm/deploy </div><div><br></div><div>'/var/lib/one//datastores/102/10/deployment.0' '192.168.0.199' 10 192.168.0.199</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 error: Failed to create domain from /var/lib/one//datastores/102/10/deployment.0</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 error: internal error process exited while connecting to monitor: qemu-kvm: -drive </div><div><br></div><div>file=gluster+tcp://192.168.0.199:24007/fc-img/10/disk.0,if=none,id=drive-ide0-0-0,format=raw,cache=none: could not open disk image gluster+tcp://192.168.0.199:24007/fc-</div><div><br></div><div>img/10/disk.0: No such file or directory</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 [2014-07-11 06:35:36.105637] E [afr-common.c:4157:afr_notify] 0-fc-img-replicate-0: All subvolumes are down. </div><div><br></div><div>Going offline until atleast one of them comes back up.</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 </div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG E 10 Could not create domain from /var/lib/one//datastores/102/10/deployment.0</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 ExitCode: 255</div><div><br></div><div>Fri Jul 11 14:35:33 2014 [VMM][D]: Message received: LOG I 10 Failed to execute virtualization driver operation: deploy.</div><div><br></div><div><br></div><div>[oneadmin@fc-server 102]$ more /var/log/one/10.log </div><div>Fri Jul 11 14:35:26 2014 [DiM][I]: New VM state is ACTIVE.</div><div>Fri Jul 11 14:35:27 2014 [LCM][I]: New VM state is PROLOG.</div><div>Fri Jul 11 14:35:32 2014 [LCM][I]: New VM state is BOOT</div><div>Fri Jul 11 14:35:32 2014 [VMM][I]: Generating deployment file: /var/lib/one/vms/10/deployment.0</div><div>Fri Jul 11 14:35:32 2014 [VMM][I]: ExitCode: 0</div><div>Fri Jul 11 14:35:32 2014 [VMM][I]: Successfully execute network driver operation: pre.</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: Command execution fail: cat << EOT | /var/tmp/one/vmm/kvm/deploy '/var/lib/one//datastores/102/10/deployment.0' '192.168.0.199</div><div>' 10 192.168.0.199</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: error: Failed to create domain from /var/lib/one//datastores/102/10/deployment.0</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: error: internal error process exited while connecting to monitor: qemu-kvm: -drive file=gluster+tcp://192.168.0.199:24007/fc-i</div><div>mg/10/disk.0,if=none,id=drive-ide0-0-0,format=raw,cache=none: could not open disk image gluster+tcp://192.168.0.199:24007/fc-img/10/disk.0: No such file or direc</div><div>tory</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: [2014-07-11 06:35:36.105637] E [afr-common.c:4157:afr_notify] 0-fc-img-replicate-0: All subvolumes are down. Going offline unt</div><div>il atleast one of them comes back up.</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: </div><div>Fri Jul 11 14:35:33 2014 [VMM][E]: Could not create domain from /var/lib/one//datastores/102/10/deployment.0</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: ExitCode: 255</div><div>Fri Jul 11 14:35:33 2014 [VMM][I]: Failed to execute virtualization driver operation: deploy.</div><div>Fri Jul 11 14:35:33 2014 [VMM][E]: Error deploying virtual machine: Could not create domain from /var/lib/one//datastores/102/10/deployment.0</div><div>Fri Jul 11 14:35:35 2014 [DiM][I]: New VM state is FAILED</div><div><br></div><div>qemu-kvm: -drive file=gluster+tcp://192.168.0.199:24007/fc-img/10/disk.0</div><div>I think it should be gluster+tcp://192.168.0.199:24007/fc-sys/10/disk.0</div><div><br></div><div>What advice do you have.Thanks.</div><div><br></div>                                       </div></body>
</html>