[Neo4j] Forgot password to log into Neo4j server

Problem
If I forgot my password to log into Neo4j server, how to reset it?

How-To

Screenshot for Step1 (Find auth file in your neo4j directory)

Screenshot for Step3 (Restart neo4j server)

Screenshot for Step4 (Open neo4j browser and login using default credentials, neo4j/neo4j )

Screenshot for Step5 (Enter new password)

[Neo4j] How to find nodes and its relationships from existing graph

目前的 graph 如下

假設我要找出大雄與其他人之間的關係，Cypher 語法如下：

match (m) where m.name="大雄"
match (m)-[r]-(n)
with m, n, type(r) as relationships
return m.name, n.name, relationships

於 Neo4j Browser 執行結果：

[Neo4j] How to delete relationship/node from existing graph

目前的關係圖如下：

假設我要刪除大雄與小衫之間的情敵關係，Cypher 語法如下：

// 找出大雄與小杉的 nodes
match (m) where m.name="大雄"
match (n) where n.name="小杉"

// 找出兩人間糾葛的情敵關係
match (n)-[r:RIVAL_OF]->(m)

// 刪除情敵關係
delete r

於 Neo4j Browser 執行結果：

更新後的 graph (大雄與小衫之間的情敵關係已刪除)：

若我想要刪除小衫 (要先刪除小衫與他人的關係以後，才能刪除小衫)，Cypher 語法如下：

// 找出小杉的 nodes
match (n) where n.name="小杉"

// 找出小衫與他人的關係
OPTIONAL MATCH (n)-[r]-() 

// 刪除小衫以及小衫與他人的關係
delete r, n

於 Neo4j Browser 執行結果：

更新後的 graph (小衫已刪除)：

[Neo4j] How to create nodes / relationships to existing graph

目前的關係圖如下：

若我想要：
1. 建立一位新人物，叫做小衫
2. 建立一個新關係，靜香與小衫是朋友關係
3. 再建立一個新關係，大雄與小衫是情敵關係

Cypher 語法如下：

// 建立小衫
create(p:Person {id:"9", name:"小杉", gender:"男性"})
with p

// 找出靜香與大雄的 nodes
match (n) where n.name="靜香"
match (m) where m.name="大雄"

// 建立新關係:靜香與小衫是朋友關係
create (p)-[:FRIEND_OF]->(n)

// 建立新關係:大雄與小衫是情敵關係
create (p)-[:RIVAL_OF]->(m)

於 Neo4j Browser 執行結果：

若我想要找出最新的 graph

Cypher 語法如下：

// 找出所有關聯圖
match (all) return all

於 Neo4j Browser 執行結果：

[Neo4j] Importing using Load CSV

假設我想要在 neo4j 建立起下圖的關係

由關係圖可以看出會有七個節點，包含

• 哆啦A夢
• 大雄
• 靜香
• 小夫
• 胖虎
• 小叮鈴
• 玉子 (大雄的媽媽)
• 伸助 (大雄的爸爸)

這七個人 (nodes) 之間的有九個關係：

• 大雄的寵物是哆啦A夢
• 大雄的配偶是靜香
• 大雄的朋友是小夫
• 大雄的朋友是胖虎
• 小夫的朋友是胖虎
• 哆啦A夢的妹妹是小叮鈴
• 大雄的爸爸是伸助
• 大雄的媽媽是玉子
• 伸助的配偶是玉子

分析與執行步驟如下：

步驟如下：
(1) Prepare CSV file for nodes with UTF-8 encoding and store in neo4j-community-3.3.3\import

(2) Prepare CSV file for relationships with UTF-8 encoding and store in neo4j-community-3.3.3\import

(3) Prepare"load csv" command to load nodes and execute from neo4j browser

using periodic commit 
load csv with headers from
"file:///nodes.csv"
as nodes
create(:Person {id:nodes.node, name:nodes.name, gender:nodes.gender})

產生節點如下：

(4) Prepare"load csv" command to create relationships and execute from neo4j browser

using periodic commit 
load csv with headers from
"file:///relationships.csv"
as line
match (from:Person), (to:Person) where from.id=line.From and to.id=line.To 
create (from)-[:REL {type: line.`Relation Type`}]->(to)

建立關係後如下：

由於，我們期待的圖形是下圖，故會執行步驟 5, 6 來做關係的 rename

(5) Execute additional "cleanup" step for Labels and RelTypes
根據步驟 4 所建立的關係，依據關係的屬性，加以rename，重複建立一條有關係

//Create duplicate relationship with appropriate type
MATCH (n1)-[r1:REL{type:'SPOUSE_OF'}]->(m1),
      (n2)-[r2:REL{type:'PET_OF'}]->(m2),
      (n3)-[r3:REL{type:'FRIEND_OF'}]->(m3),
      (n4)-[r4:REL{type:'SISTER_OF'}]->(m4),
      (n5)-[r5:REL{type:'MOTHER_OF'}]->(m5),
      (n6)-[r6:REL{type:'FATHER_OF'}]->(m6)
merge (n1)-[:SPOUSE_OF]->(m1)
merge (n2)-[:PET_OF]->(m2)
merge (n3)-[:FRIEND_OF]->(m3)
merge (n4)-[:SISTER_OF]->(m4)
merge (n5)-[:MOTHER_OF]->(m5)
merge (n6)-[:FATHER_OF]->(m6)

建立新的關係後，圖形如下：

(6) Remove duplicate relationships
此步驟將會清理多餘的關係，將原本所建立的 REL 關係予以刪除

//Remove duplicate relationships
match ()-[r:REL]-() delete r;

刪除後，圖形如下：

[PostgreSQL] org.postgresql.util.PSQLException: ERROR: operator does not exist: text = bytea

Problem
When I try to execute the following select SQL statement:

1 2 3 4 5

select case when (domain_projects <> :domain_projects) then true else false end as result from project where domain_classifier = true and id = :projectId and domain_projects is not null

I get this error message:

  org.postgresql.util.PSQLException: ERROR: operator does not exist: text = bytea
  Hint: No operator matches the given name and argument type(s). 
  You might need to add explicit type casts.

How-To
The problem result from the first line:

1 2 3 4 5

select case when (domain_projects <> :domain_projects) then true else false end as result from project where domain_classifier = true and id = :projectId and domain_projects is not null

I need to cast the parameter to specific data type as per instructions. Therefore, the SQL statement should be modified as bellows:

1 2 3 4 5 6

select case when (domain_projects <> cast(:domain_projects as text)) then true else false end as result from project where domain_classifier = true and id = :projectId and domain_projects is not null

[Spring MVC] Upload ZIP file to server

Scenario

The file structure in ZIP file looks like:

How-To
Here has sample code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70

@Transactional @PostMapping(value = "/{projectId}/importFile/{fileType}", produces = MediaType.APPLICATION_JSON_VALUE) public void importFile(@PathVariable Integer projectId, @PathVariable String fileType, @RequestParam(value = "file", required = true) MultipartFile file) throws IOException { Project project = repo.findOne(projectId); File tmpFile = null; DateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmmss"); String currentTime = dateFormat.format(new Date()); try { tmpFile = File.createTempFile(file.getName() + "_" + currentTime, ".zip"); tmpFile.deleteOnExit(); } catch (IOException e) { throw new RuntimeException("建立 temp file 發生錯誤, 錯誤原因: " + e.getMessage(), e); } InputStream inputStream = null; ZipFile zipFile = null; try { inputStream = file.getInputStream(); byte[] buffer = new byte[inputStream.available()]; inputStream.read(buffer); Files.write(buffer, tmpFile); zipFile = new ZipFile(tmpFile); Enumeration<? extends ZipEntry> entries = zipFile.entries(); while (entries.hasMoreElements()) { ZipEntry entry = entries.nextElement(); saveDomainJSON(project, entry, zipFile); saveStoryMD(project, entry, zipFile); } repo.updatePersistModelToNull(projectId); } catch (IOException e) { throw new RuntimeException("讀取 zip file 發生錯誤, 錯誤原因: " + e.getMessage(), e); } finally { if (zipFile != null) { zipFile.close(); } if (inputStream != null) { inputStream.close(); } } } private void saveDomainJSON(Project project, ZipEntry entry, ZipFile zipFile) throws IOException { if (entry.getName().startsWith("domain")) { try (InputStream inputSteam = zipFile.getInputStream(entry);) { String content = IOUtils.toString(inputSteam, org.apache.commons.io.Charsets.UTF_8); // save content into database } catch (IOException e) { throw new RuntimeException("讀取 domain JSON file 發生錯誤, 錯誤原因: " + e.getMessage(), e); } } } private void saveStoryMD(Project project, ZipEntry entry, ZipFile zipFile) throws IOException { if (entry.getName().startsWith("story")) { try (InputStream inputSteam = zipFile.getInputStream(entry);) { String content = IOUtils.toString(inputSteam); // save content into database } catch (IOException e) { throw new RuntimeException("讀取 story Markdown file 發生錯誤, 錯誤原因: " + e.getMessage(), e); } } }

[Spring MVC] Download ZIP file from server

Scenario

How-To
Sample code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

@PostMapping(value = "/{projectId}/downloadZIP", produces = "application/zip") public FileSystemResource downloadZIP(@PathVariable Integer projectId, Alerter alerter) throws Exception { String identifier = repo.getOne(projectId).getIdentifier(); DateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmmss"); String currentTime = dateFormat.format(new Date()); String fileName = identifier + "-" + currentTime; String domainJSON = projectService.getDomainJSON(projectId); String storyMD = projectService.getStoryMD(projectId); File tempFile = File.createTempFile(fileName, ".zip"); tempFile.deleteOnExit(); try (OutputStream fos = new FileOutputStream(tempFile); BufferedOutputStream bos = new BufferedOutputStream(fos); ZipOutputStream zos = new ZipOutputStream(bos);) { zos.putNextEntry(new ZipEntry("domain-" + currentTime + ".json")); zos.write(domainJSON.getBytes()); zos.closeEntry(); zos.putNextEntry(new ZipEntry("story-" + currentTime + ".md")); zos.write(storyMD.getBytes()); zos.closeEntry(); } catch (IOException e) { throw new RuntimeException("檔案匯出失敗, 錯誤原因:" + e.getMessage(), e); } return new FileSystemResource(tempFile); }

[閱讀筆記] Antifragile: Things That Gain from Disorder (4/10)

1. 越不預測未來，就越能適應錯誤與意外，反脆弱性就越強。每一次的錯誤或災難都等於是找出資訊的有價值/有意義嘗試，不斷地獲得教訓與改進的方向
2. 在演化的過程中，為了讓有機體 (或基因) 越來越好，會需要讓某些較脆弱的有機體被取代或死去，避免較脆弱的有機體繁衍下一代。較高層級的反脆弱，需要犧牲較低層級的脆弱
3. 人們很難理解要建立一個讓所有人都不會落下的系統，反而會將大家都往下拉，持續發生錯誤並加以改進，才能讓系統永續保存。很弔詭的是，許多政府想要透過社會政策來進行干預，結果反而傷害到最脆弱與最底層的那群人
4. 如果你是一隻貓，那你最好先搬離有許多狗居住的地方，而不是先磨利自己的爪子；如果你已經看出你所處的職業、行業是脆弱的，那你要做的應該是先轉行，而不是繼續鍛煉自己在那一方面的能力。
5. 槓鈴策略 (barbell strategy) 是一種同時採取兩種極端的策略，一端非常保守，一端非常激進，沒有中間的溫和地帶。反脆弱性是積極主動加上保守偏執的組合——消除不利因素，保護自己免受極端傷害，同時讓有利因素或正面的「黑天鵝」順其自然地發揮效用。
6. 不讓自己去面對適當的「壞事」，就不會有真正的成長，過度干預而獲得的穩定都只是在打造脆弱，最後，負面的黑天鵝會出現，只是沒有人能夠準確的預測到底是幾時而已。那麼，我們該怎麼應對不知幾時會出現的負面黑天鵝呢？甚至反過來想，我們是否能從黑天鵝事件中獲益呢？
7. 物種間 (species) 有潛在的反脆弱，不同的物種有不同的 DNA 資訊，有些物種會比較脆弱，為了整體物種的群體利益，較脆弱的物種就會被犧牲或淘汰
8. 「因為每個人都這麼做」並不會使事情變成正確，但大家卻經常誤解。社會執行似乎沒有道理的活動行之有年，而且因為未知的理由而繼續堅持做下去。
9. 在雅典國家奠基者提修斯（Theseus）的傳說中，從墨加拉到雅典途中有個非常殘暴的強盜，叫 Procrustes 意思是“拉長者”、“暴虐者”。 Procrustes 開設黑店，攔截過路行人。他刻意設置了 2 張鐵床，一個長，一個短。然後他強迫旅人躺在鐵床上，身材矮者睡長床，強拉其軀體使其與床鋪等齊；身材高大的睡短床，他就用利斧把旅客伸出來的腿腳截短。由於他這種特殊的殘暴方式，人稱之為“鐵床匪”。Procrustean Bed 它的涵意是：強求一致的；削足適履、牽強附會的；迫使就範的。
10. 人們想用 linear 的方式解決 nonlinear 世界的問題，就是一種最常見的 Procrustean Bed
11. 持續小的變化與壓力，可以讓人去適應、調整環境的變化。壓力因子 (stressor)給予你寶貴的資訊，在職場面臨持續的壓力因子，會逼迫你去適應不同的環境，較不容易被突如其來的黑天鵝擊潰
12. 人為的穩定是脆弱的來源，隨著變動而做出調整，才能趨向健全與反脆弱
13. 極端世界中的任何非生物系統，如果沒有變動，都是在累積無聲的風險。
14. 人生中的一大錯覺是，認為隨機的風險高，所以是壞事，以為消除隨機，就能消除風險，平常世界 (mediocristan) 有許多變異，可是不會發生單一極端的變異；極端世界 (extremistan) 很少出現變異，但是一有變異，就非常極端
15. 人類常用線性分析進行未來推論，如同自以為能安然度過11月的倒楣火雞 (因為不知道月底感恩節的到來)，當感恩節那天突然被抓去宰了，這樣的突發、令人吃驚的事件，就是黑天鵝事件 (black swan event)
16. 單靠過去資料所得到的結論， 如同讓火雞安全感最大 的那一天，也成為牠危機最大的那一天，因為牠成了感恩節桌上的大餐。對火雞來說，這是一次「黑天鵝事件」，但對屠夫來說，不是，這一切並非意外。
17. 具有反脆弱性的事物，在適當的壓力因子驅使下，例如截止日期、競爭、老闆的臉色、客戶的反應...等等，我們可以把事情做得更好。想想一旦沒有任何壓力或刺激性，鐵定是一份無趣，且相當容易被取代 (脆弱) 的工作。
18. 「沒有傷害證明」不等於「證明沒有傷害」，這樣的錯誤經常盛行於知識界，也深植社會學。所以我們的人生使命很簡單，就是如何不當火雞，或者如何避免火雞擁有的特性，也就是具反脆弱性。
19. 定期出現的小型森林野火，可以將最容易引燃的物質定期燒掉、清理掉。若一昧地有系統性地預防森林大火發生的話，只要發生一次就會造成嚴重的後果
20. 市場缺乏震盪的話，會導致隱藏的風險不斷累積。當沒有遭受市場衝擊的時間越長，當騷動發生時造成的損害與衝擊就會越大
21. 反脆弱性是所有倖存下來的自然和複雜系統的特徵，一切自下而上的事物在適量的壓力和混亂下反而能夠蓬勃發展，如果剝離波動性、隨機性和壓力源，反倒會發生傷害。經濟調控者一直通過壓制隨機性和波動性來迫使經濟遵循周期規律，與之類似的還有健康、教育等其他方面的管理，「正如極為焦慮、過度保護子女的父母。那些試圖幫助我們的人往往會對我們造成最大的傷害」。
22. 在政治或是經濟體系中，若缺乏風暴的影響時間越長，就越容易產生黑天鵝事件，產生的負面影響就會越大
23. 沒有波動就沒有穩定 (no stability without volatility)。所謂的均衡與穩定，其實是建構在不斷的變動與動盪上
24. 長期的穩定有如貸款，終究必須償還，若時間拉得越長，連本帶利就要還更多
25. 委託-代理問題（principal–agent problem），又稱代理問題（Agency problem），代理兩難（agency dilemma），指委託人（principal）與代理人（agent）之間因目標不一致，而產生利益衝突之情事。當代理人本身存在某種動機，驅使他的行為目標著重在於增加自身的利益，而不是增加委託人的利益，就會出現這個兩難現象。研究這個問題在政治科學與經濟學中獲得很大的重視。此類的衝突問題，常見於股票經紀人或是醫生，他們所關心的可能是自己的薪水帳戶，而不是你財務或健康狀況
26. 天真的干預例子之一是醫療傷害 (iatrogenics)，即治療受到的傷害超過利益。作者提出醫療傷害的兩項原則︰一，我們不需要有證據證明受到傷害，才能宣稱某藥物或不自然的肯定療法有危險，舉證責任在醫療一方；二，醫療傷害影響並非線性，對幾乎健康的人我們不應冒險，對正處於危險者則應冒高很多的風險。社會學理論與政策的醫療傷害在現實世界上非常脆弱，在風險分析上也不穩定，原因是政治與經濟的尾端事件無法預測。但作者說他不是反對干預，我們應該出手限制規模大小、集中程度與速度，以降低黑天鵝風險。
27. Hackers 可以讓你的系統更加強壯；對書籍嚴厲的批評，反而會幫助書籍快速散播、提升銷售量
28. 在經濟領域，應該盡早淘汰脆弱的企業，讓他們儘早失敗、重新來過，避免拖得太久，對整個系統產生長期的損害或災難
29. 是否干預需要有一套準則，拖延、觀察事件演變、見機而作，反而有助於避免過度干預、做一些沒必要的事
30. 人性的拖延，反而是一種內建的保護機制，能做大事的大人物通常不會過度反應、隨著當前的資訊起舞，只在必要時有所反應，一旦他動怒大家都知道事情嚴重，非嚴肅面對不可。