57 static void __dw_pcie_ep_reset_bar(struct dw_pcie *pci, u8 func_no,  in __dw_pcie_ep_reset_bar()  argument
62 	struct dw_pcie_ep *ep = &pci->ep;  in __dw_pcie_ep_reset_bar()
67 	dw_pcie_dbi_ro_wr_en(pci);  in __dw_pcie_ep_reset_bar()
68 	dw_pcie_writel_dbi2(pci, reg, 0x0);  in __dw_pcie_ep_reset_bar()
69 	dw_pcie_writel_dbi(pci, reg, 0x0);  in __dw_pcie_ep_reset_bar()
71 		dw_pcie_writel_dbi2(pci, reg + 4, 0x0);  in __dw_pcie_ep_reset_bar()
72 		dw_pcie_writel_dbi(pci, reg + 4, 0x0);  in __dw_pcie_ep_reset_bar()
74 	dw_pcie_dbi_ro_wr_dis(pci);  in __dw_pcie_ep_reset_bar()
77 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)  in dw_pcie_ep_reset_bar()  argument
81 	funcs = pci->ep.epc->max_functions;  in dw_pcie_ep_reset_bar()
84 		__dw_pcie_ep_reset_bar(pci, func_no, bar, 0);  in dw_pcie_ep_reset_bar()
91 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in __dw_pcie_ep_find_next_cap()  local
101 	reg = dw_pcie_readw_dbi(pci, func_offset + cap_ptr);  in __dw_pcie_ep_find_next_cap()
116 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_find_capability()  local
123 	reg = dw_pcie_readw_dbi(pci, func_offset + PCI_CAPABILITY_LIST);  in dw_pcie_ep_find_capability()
133 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_write_header()  local
138 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_write_header()
139 	dw_pcie_writew_dbi(pci, func_offset + PCI_VENDOR_ID, hdr->vendorid);  in dw_pcie_ep_write_header()
140 	dw_pcie_writew_dbi(pci, func_offset + PCI_DEVICE_ID, hdr->deviceid);  in dw_pcie_ep_write_header()
141 	dw_pcie_writeb_dbi(pci, func_offset + PCI_REVISION_ID, hdr->revid);  in dw_pcie_ep_write_header()
142 	dw_pcie_writeb_dbi(pci, func_offset + PCI_CLASS_PROG, hdr->progif_code);  in dw_pcie_ep_write_header()
143 	dw_pcie_writew_dbi(pci, func_offset + PCI_CLASS_DEVICE,  in dw_pcie_ep_write_header()
145 	dw_pcie_writeb_dbi(pci, func_offset + PCI_CACHE_LINE_SIZE,  in dw_pcie_ep_write_header()
147 	dw_pcie_writew_dbi(pci, func_offset + PCI_SUBSYSTEM_VENDOR_ID,  in dw_pcie_ep_write_header()
149 	dw_pcie_writew_dbi(pci, func_offset + PCI_SUBSYSTEM_ID, hdr->subsys_id);  in dw_pcie_ep_write_header()
150 	dw_pcie_writeb_dbi(pci, func_offset + PCI_INTERRUPT_PIN,  in dw_pcie_ep_write_header()
152 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_write_header()
162 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_inbound_atu()  local
165 		free_win = find_first_zero_bit(ep->ib_window_map, pci->num_ib_windows);  in dw_pcie_ep_inbound_atu()
169 	if (free_win >= pci->num_ib_windows) {  in dw_pcie_ep_inbound_atu()
170 		dev_err(pci->dev, "No free inbound window\n");  in dw_pcie_ep_inbound_atu()
174 	ret = dw_pcie_prog_inbound_atu(pci, func_no, free_win, type,  in dw_pcie_ep_inbound_atu()
177 		dev_err(pci->dev, "Failed to program IB window\n");  in dw_pcie_ep_inbound_atu()
191 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_outbound_atu()  local
195 	free_win = find_first_zero_bit(ep->ob_window_map, pci->num_ob_windows);  in dw_pcie_ep_outbound_atu()
196 	if (free_win >= pci->num_ob_windows) {  in dw_pcie_ep_outbound_atu()
197 		dev_err(pci->dev, "No free outbound window\n");  in dw_pcie_ep_outbound_atu()
201 	ret = dw_pcie_prog_ep_outbound_atu(pci, func_no, free_win, PCIE_ATU_TYPE_MEM,  in dw_pcie_ep_outbound_atu()
216 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_clear_bar()  local
220 	__dw_pcie_ep_reset_bar(pci, func_no, bar, epf_bar->flags);  in dw_pcie_ep_clear_bar()
222 	dw_pcie_disable_atu(pci, PCIE_ATU_REGION_DIR_IB, atu_index);  in dw_pcie_ep_clear_bar()
232 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_bar()  local
256 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_bar()
258 	dw_pcie_writel_dbi2(pci, reg, lower_32_bits(size - 1));  in dw_pcie_ep_set_bar()
259 	dw_pcie_writel_dbi(pci, reg, flags);  in dw_pcie_ep_set_bar()
262 		dw_pcie_writel_dbi2(pci, reg + 4, upper_32_bits(size - 1));  in dw_pcie_ep_set_bar()
263 		dw_pcie_writel_dbi(pci, reg + 4, 0);  in dw_pcie_ep_set_bar()
267 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_bar()
276 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_find_index()  local
278 	for (index = 0; index < pci->num_ob_windows; index++) {  in dw_pcie_find_index()
294 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_unmap_addr()  local
300 	dw_pcie_disable_atu(pci, PCIE_ATU_REGION_DIR_OB, atu_index);  in dw_pcie_ep_unmap_addr()
309 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_map_addr()  local
313 		dev_err(pci->dev, "Failed to enable address\n");  in dw_pcie_ep_map_addr()
323 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_get_msi()  local
335 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_get_msi()
348 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_msi()  local
360 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_set_msi()
363 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_msi()
364 	dw_pcie_writew_dbi(pci, reg, val);  in dw_pcie_ep_set_msi()
365 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_msi()
373 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_get_msix()  local
385 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_get_msix()
398 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_set_msix()  local
407 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_set_msix()
412 	val = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_set_msix()
415 	dw_pcie_writew_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
419 	dw_pcie_writel_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
423 	dw_pcie_writel_dbi(pci, reg, val);  in dw_pcie_ep_set_msix()
425 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_set_msix()
444 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_stop()  local
446 	dw_pcie_stop_link(pci);  in dw_pcie_ep_stop()
452 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_start()  local
454 	return dw_pcie_start_link(pci);  in dw_pcie_ep_start()
486 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_legacy_irq()  local
487 	struct device *dev = pci->dev;  in dw_pcie_ep_raise_legacy_irq()
498 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msi_irq()  local
517 	msg_ctrl = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
520 	msg_addr_lower = dw_pcie_readl_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
523 		msg_addr_upper = dw_pcie_readl_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
525 		msg_data = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
529 		msg_data = dw_pcie_readw_dbi(pci, reg);  in dw_pcie_ep_raise_msi_irq()
550 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msix_irq_doorbell()  local
561 	dw_pcie_writel_dbi(pci, PCIE_MSIX_DOORBELL, msg_data);  in dw_pcie_ep_raise_msix_irq_doorbell()
569 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_raise_msix_irq()  local
588 	tbl_offset = dw_pcie_readl_dbi(pci, reg);  in dw_pcie_ep_raise_msix_irq()
598 		dev_dbg(pci->dev, "MSI-X entry ctrl set\n");  in dw_pcie_ep_raise_msix_irq()
625 static unsigned int dw_pcie_ep_find_ext_capability(struct dw_pcie *pci, int cap)  in dw_pcie_ep_find_ext_capability()  argument
631 		header = dw_pcie_readl_dbi(pci, pos);  in dw_pcie_ep_find_ext_capability()
645 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_init_complete()  local
652 	hdr_type = dw_pcie_readb_dbi(pci, PCI_HEADER_TYPE) &  in dw_pcie_ep_init_complete()
655 		dev_err(pci->dev,  in dw_pcie_ep_init_complete()
661 	offset = dw_pcie_ep_find_ext_capability(pci, PCI_EXT_CAP_ID_REBAR);  in dw_pcie_ep_init_complete()
663 	dw_pcie_dbi_ro_wr_en(pci);  in dw_pcie_ep_init_complete()
666 		reg = dw_pcie_readl_dbi(pci, offset + PCI_REBAR_CTRL);  in dw_pcie_ep_init_complete()
671 			dw_pcie_writel_dbi(pci, offset + PCI_REBAR_CAP, 0x0);  in dw_pcie_ep_init_complete()
674 	dw_pcie_setup(pci);  in dw_pcie_ep_init_complete()
675 	dw_pcie_dbi_ro_wr_dis(pci);  in dw_pcie_ep_init_complete()
688 	struct dw_pcie *pci = to_dw_pcie_from_ep(ep);  in dw_pcie_ep_init()  local
689 	struct device *dev = pci->dev;  in dw_pcie_ep_init()
697 	if (!pci->dbi_base) {  in dw_pcie_ep_init()
699 		pci->dbi_base = devm_pci_remap_cfg_resource(dev, res);  in dw_pcie_ep_init()
700 		if (IS_ERR(pci->dbi_base))  in dw_pcie_ep_init()
701 			return PTR_ERR(pci->dbi_base);  in dw_pcie_ep_init()
704 	if (!pci->dbi_base2) {  in dw_pcie_ep_init()
707 			pci->dbi_base2 = pci->dbi_base + SZ_4K;  in dw_pcie_ep_init()
709 			pci->dbi_base2 = devm_pci_remap_cfg_resource(dev, res);  in dw_pcie_ep_init()
710 			if (IS_ERR(pci->dbi_base2))  in dw_pcie_ep_init()
711 				return PTR_ERR(pci->dbi_base2);  in dw_pcie_ep_init()
722 	dw_pcie_version_detect(pci);  in dw_pcie_ep_init()
724 	dw_pcie_iatu_detect(pci);  in dw_pcie_ep_init()
726 	ep->ib_window_map = devm_bitmap_zalloc(dev, pci->num_ib_windows,  in dw_pcie_ep_init()
731 	ep->ob_window_map = devm_bitmap_zalloc(dev, pci->num_ob_windows,  in dw_pcie_ep_init()
736 	addr = devm_kcalloc(dev, pci->num_ob_windows, sizeof(phys_addr_t),  in dw_pcie_ep_init()
742 	if (pci->link_gen < 1)  in dw_pcie_ep_init()
743 		pci->link_gen = of_pci_get_max_link_speed(np);  in dw_pcie_ep_init()