144 	struct virtio_fs *fs = vq->vdev->priv;  in vq_to_fsvq()  local
146 	return &fs->vqs[vq->index];  in vq_to_fsvq()
173 static void virtio_fs_put(struct virtio_fs *fs)  in virtio_fs_put()  argument
175 	kref_put(&fs->refcount, release_virtio_fs_obj);  in virtio_fs_put()
208 static void virtio_fs_drain_all_queues_locked(struct virtio_fs *fs)  in virtio_fs_drain_all_queues_locked()  argument
213 	for (i = 0; i < fs->nvqs; i++) {  in virtio_fs_drain_all_queues_locked()
214 		fsvq = &fs->vqs[i];  in virtio_fs_drain_all_queues_locked()
219 static void virtio_fs_drain_all_queues(struct virtio_fs *fs)  in virtio_fs_drain_all_queues()  argument
228 	virtio_fs_drain_all_queues_locked(fs);  in virtio_fs_drain_all_queues()
232 static void virtio_fs_start_all_queues(struct virtio_fs *fs)  in virtio_fs_start_all_queues()  argument
237 	for (i = 0; i < fs->nvqs; i++) {  in virtio_fs_start_all_queues()
238 		fsvq = &fs->vqs[i];  in virtio_fs_start_all_queues()
246 static int virtio_fs_add_instance(struct virtio_fs *fs)  in virtio_fs_add_instance()  argument
254 		if (strcmp(fs->tag, fs2->tag) == 0)  in virtio_fs_add_instance()
259 		list_add_tail(&fs->list, &virtio_fs_instances);  in virtio_fs_add_instance()
271 	struct virtio_fs *fs;  in virtio_fs_find_instance()  local
275 	list_for_each_entry(fs, &virtio_fs_instances, list) {  in virtio_fs_find_instance()
276 		if (strcmp(fs->tag, tag) == 0) {  in virtio_fs_find_instance()
277 			kref_get(&fs->refcount);  in virtio_fs_find_instance()
282 	fs = NULL; /* not found */  in virtio_fs_find_instance()
287 	return fs;  in virtio_fs_find_instance()
290 static void virtio_fs_free_devs(struct virtio_fs *fs)  in virtio_fs_free_devs()  argument
294 	for (i = 0; i < fs->nvqs; i++) {  in virtio_fs_free_devs()
295 		struct virtio_fs_vq *fsvq = &fs->vqs[i];  in virtio_fs_free_devs()
306 static int virtio_fs_read_tag(struct virtio_device *vdev, struct virtio_fs *fs)  in virtio_fs_read_tag()  argument
321 	fs->tag = devm_kmalloc(&vdev->dev, len + 1, GFP_KERNEL);  in virtio_fs_read_tag()
322 	if (!fs->tag)  in virtio_fs_read_tag()
324 	memcpy(fs->tag, tag_buf, len);  in virtio_fs_read_tag()
325 	fs->tag[len] = '\0';  in virtio_fs_read_tag()
684 			       struct virtio_fs *fs)  in virtio_fs_setup_vqs()  argument
693 			&fs->num_request_queues);  in virtio_fs_setup_vqs()
694 	if (fs->num_request_queues == 0)  in virtio_fs_setup_vqs()
697 	fs->nvqs = VQ_REQUEST + fs->num_request_queues;  in virtio_fs_setup_vqs()
698 	fs->vqs = kcalloc(fs->nvqs, sizeof(fs->vqs[VQ_HIPRIO]), GFP_KERNEL);  in virtio_fs_setup_vqs()
699 	if (!fs->vqs)  in virtio_fs_setup_vqs()
702 	vqs = kmalloc_array(fs->nvqs, sizeof(vqs[VQ_HIPRIO]), GFP_KERNEL);  in virtio_fs_setup_vqs()
703 	callbacks = kmalloc_array(fs->nvqs, sizeof(callbacks[VQ_HIPRIO]),  in virtio_fs_setup_vqs()
705 	names = kmalloc_array(fs->nvqs, sizeof(names[VQ_HIPRIO]), GFP_KERNEL);  in virtio_fs_setup_vqs()
713 	virtio_fs_init_vq(&fs->vqs[VQ_HIPRIO], "hiprio", VQ_HIPRIO);  in virtio_fs_setup_vqs()
714 	names[VQ_HIPRIO] = fs->vqs[VQ_HIPRIO].name;  in virtio_fs_setup_vqs()
717 	for (i = VQ_REQUEST; i < fs->nvqs; i++) {  in virtio_fs_setup_vqs()
721 		virtio_fs_init_vq(&fs->vqs[i], vq_name, VQ_REQUEST);  in virtio_fs_setup_vqs()
723 		names[i] = fs->vqs[i].name;  in virtio_fs_setup_vqs()
726 	ret = virtio_find_vqs(vdev, fs->nvqs, vqs, callbacks, names, NULL);  in virtio_fs_setup_vqs()
730 	for (i = 0; i < fs->nvqs; i++)  in virtio_fs_setup_vqs()
731 		fs->vqs[i].vq = vqs[i];  in virtio_fs_setup_vqs()
733 	virtio_fs_start_all_queues(fs);  in virtio_fs_setup_vqs()
739 		kfree(fs->vqs);  in virtio_fs_setup_vqs()
745 				  struct virtio_fs *fs)  in virtio_fs_cleanup_vqs()  argument
758 	struct virtio_fs *fs = dax_get_private(dax_dev);  in virtio_fs_direct_access()  local
760 	size_t max_nr_pages = fs->window_len/PAGE_SIZE - pgoff;  in virtio_fs_direct_access()
763 		*kaddr = fs->window_kaddr + offset;  in virtio_fs_direct_access()
765 		*pfn = phys_to_pfn_t(fs->window_phys_addr + offset,  in virtio_fs_direct_access()
798 static int virtio_fs_setup_dax(struct virtio_device *vdev, struct virtio_fs *fs)  in virtio_fs_setup_dax()  argument
842 	fs->window_kaddr = devm_memremap_pages(&vdev->dev, pgmap);  in virtio_fs_setup_dax()
843 	if (IS_ERR(fs->window_kaddr))  in virtio_fs_setup_dax()
844 		return PTR_ERR(fs->window_kaddr);  in virtio_fs_setup_dax()
846 	fs->window_phys_addr = (phys_addr_t) cache_reg.addr;  in virtio_fs_setup_dax()
847 	fs->window_len = (phys_addr_t) cache_reg.len;  in virtio_fs_setup_dax()
850 		__func__, fs->window_kaddr, cache_reg.addr, cache_reg.len);  in virtio_fs_setup_dax()
852 	fs->dax_dev = alloc_dax(fs, &virtio_fs_dax_ops);  in virtio_fs_setup_dax()
853 	if (IS_ERR(fs->dax_dev))  in virtio_fs_setup_dax()
854 		return PTR_ERR(fs->dax_dev);  in virtio_fs_setup_dax()
857 					fs->dax_dev);  in virtio_fs_setup_dax()
862 	struct virtio_fs *fs;  in virtio_fs_probe()  local
865 	fs = kzalloc(sizeof(*fs), GFP_KERNEL);  in virtio_fs_probe()
866 	if (!fs)  in virtio_fs_probe()
868 	kref_init(&fs->refcount);  in virtio_fs_probe()
869 	vdev->priv = fs;  in virtio_fs_probe()
871 	ret = virtio_fs_read_tag(vdev, fs);  in virtio_fs_probe()
875 	ret = virtio_fs_setup_vqs(vdev, fs);  in virtio_fs_probe()
881 	ret = virtio_fs_setup_dax(vdev, fs);  in virtio_fs_probe()
890 	ret = virtio_fs_add_instance(fs);  in virtio_fs_probe()
898 	virtio_fs_cleanup_vqs(vdev, fs);  in virtio_fs_probe()
899 	kfree(fs->vqs);  in virtio_fs_probe()
903 	kfree(fs);  in virtio_fs_probe()
907 static void virtio_fs_stop_all_queues(struct virtio_fs *fs)  in virtio_fs_stop_all_queues()  argument
912 	for (i = 0; i < fs->nvqs; i++) {  in virtio_fs_stop_all_queues()
913 		fsvq = &fs->vqs[i];  in virtio_fs_stop_all_queues()
922 	struct virtio_fs *fs = vdev->priv;  in virtio_fs_remove()  local
926 	list_del_init(&fs->list);  in virtio_fs_remove()
927 	virtio_fs_stop_all_queues(fs);  in virtio_fs_remove()
928 	virtio_fs_drain_all_queues_locked(fs);  in virtio_fs_remove()
930 	virtio_fs_cleanup_vqs(vdev, fs);  in virtio_fs_remove()
934 	virtio_fs_put(fs);  in virtio_fs_remove()
980 	struct virtio_fs *fs;  in virtio_fs_wake_forget_and_unlock()  local
987 	fs = fiq->priv;  in virtio_fs_wake_forget_and_unlock()
988 	fsvq = &fs->vqs[VQ_HIPRIO];  in virtio_fs_wake_forget_and_unlock()
1228 	struct virtio_fs *fs;  in virtio_fs_wake_pending_and_unlock()  local
1240 	fs = fiq->priv;  in virtio_fs_wake_pending_and_unlock()
1247 	fsvq = &fs->vqs[queue_id];  in virtio_fs_wake_pending_and_unlock()
1298 	struct virtio_fs *fs = fc->iq.priv;  in virtio_fs_fill_super()  local
1311 	if (list_empty(&fs->list)) {  in virtio_fs_fill_super()
1312 		pr_info("virtio-fs: tag <%s> not found\n", fs->tag);  in virtio_fs_fill_super()
1318 	for (i = 0; i < fs->nvqs; i++) {  in virtio_fs_fill_super()
1319 		struct virtio_fs_vq *fsvq = &fs->vqs[i];  in virtio_fs_fill_super()
1329 		if (ctx->dax_mode == FUSE_DAX_ALWAYS && !fs->dax_dev) {  in virtio_fs_fill_super()
1335 		ctx->dax_dev = fs->dax_dev;  in virtio_fs_fill_super()
1341 	for (i = 0; i < fs->nvqs; i++) {  in virtio_fs_fill_super()
1342 		struct virtio_fs_vq *fsvq = &fs->vqs[i];  in virtio_fs_fill_super()
1348 	virtio_fs_start_all_queues(fs);  in virtio_fs_fill_super()
1354 	virtio_fs_free_devs(fs);  in virtio_fs_fill_super()
1416 	struct virtio_fs *fs;  in virtio_fs_get_tree()  local
1427 	fs = virtio_fs_find_instance(fsc->source);  in virtio_fs_get_tree()
1428 	if (!fs) {  in virtio_fs_get_tree()
1433 	virtqueue_size = virtqueue_get_vring_size(fs->vqs[VQ_REQUEST].vq);  in virtio_fs_get_tree()
1446 	fuse_conn_init(fc, fm, fsc->user_ns, &virtio_fs_fiq_ops, fs);  in virtio_fs_get_tree()
1480 	virtio_fs_put(fs);  in virtio_fs_get_tree()