2004年4月，被溜馬橫掃後的 Ainge，決定把總教練的位置交給 Doc Rivers。波士頓是 Rivers 執教生涯的第二站，從奧蘭多魔術起家的他還曾在 1999-00 球季拿下年度最佳教練獎。不過事實上，儘管是控球後衛出身，Rivers 當時的戰術涵養並不算深，善於和球員建立關係才是他真正的強項。以拿下最佳教練獎當年的執教陣容來看，Rivers 其實就是讓球隊上下一心，每一個小卒都奮力往前衝，包括還未成名的 Ben Wallace、Corey Maggette 等人。不過接著幾年，魔術高層陸續幫他找來 Tracy McGrady、Mike Miller 等比較好的菜色之後，Rivers 帶出最好的成績僅只於季後賽首輪出局。在 2003-04 開季一波 11 戰 10 敗的低迷後，魔術選擇和 Rivers 解約，隔年才來到了波士頓。
請繼續往下閱讀
doc_rivers_1
一個以 1 勝 10 敗踉蹌結尾的教練，
Ainge 著重的是其它特質。
2004-05 球季，Rivers 以還算堪用的陣容，拿下了東區第三的成績。雖然依舊首輪止步，但至少算是通過了試用階段。只是，Ainge 當然不會因此而滿足。再度認清 Antoine Walker 不適合球隊的定位之後，Ainge 在 2005 年夏天參與了史上最大規模的單筆交易，涉及五支球隊一共 13 人。Walker 近乎直接被丟到邁阿密熱火，之後 Payton 也以自由球員身分加盟熱火。綠衫軍頓失兩名先發，同時邁阿密熱火兵強馬壯，後者也順利於 2005-06 球季封王。
gary_payton&antoine_walker_1
離開波士頓的兩人，
在第一年拿完冠軍後就開始衰弱了。
其實，Ainge 並非那種看到衣櫃滿了還想買新衣服的小模，或是純粹喜歡刷卡買東西享受快感的貴婦。他的策略說穿了，就是堆積足夠的選秀權做為籌碼，細心培養或是看準時機轉賣，藉此厚植球隊的實力。從 2003 年到 2005 年，Ainge 總共在選秀會上得到了十個球員來為綠衫軍換血，並逐步打造他想要的陣容。而這幾年的選秀會結果如下：
2003年：Marcus Banks、Kendrick Perkins、 Brandon Hunter
2004年：Al Jefferson、Delonte West、Tony Allen、Justin Reed
2005年：Gerald Green、Ryan Gomes、Orien Greene
boston_rookies
水準之上的識才眼光，
讓綠衫軍完全不缺年輕資本。
就事後諸葛來看，其實不得不佩服 Ainge 對於新秀的眼光。這十個人當中，Brandon Hunter 待了一年後因為擴張選秀而被山貓隊（今日夏洛特黃蜂隊之前身）挑走，Orien Greene 則是被揮棄。剩下的八個人幾乎都是綠衫軍那兩到三年的主要輪替球員，同時有七個人曾有過單季平均 10 分以上的表現。對比之後去了灰熊就幾乎不曾在選秀會上做出正確事情的 Chris Wallace，Ainge 在選秀會的操盤是當時綠衫軍的一大重點。
請繼續往下閱讀
hasheem_thabeet_1
堪稱 Chris Wallace 最失敗的失敗。
一個用榜眼籤選來的巨人中鋒，
生涯平均每場不到 3 個籃板……
前景看似一片美好，但如果仔細看看那些新人就會發現，裡面有個人穿了四號球衣？是的，Ryan Gomes，綠衫軍的下一個四號球衣擁有者。
ryan_gomes_1
其實 Gomes 之後不管去哪，
都沒穿過四號球衣了。
Gomes 會選擇四號球衣，很可能只是高中因為當隊長而穿四號的習慣。不同於他低調的人格特性，Gomes 在場上往往展現非常濃厚的拚勁。六呎七吋的精實身材，在大學是標準的大前鋒打法。雖然進入聯盟後要學習之前不太擅長的小前鋒位置，但沉穩的 Gomes 逐漸長出了控球技術與投射能力，在 2006-07 球季甚至長出了三分能力。該季結算平均 12.1 分、5.6 個籃板和 0.7 次抄截，外加超過八成的罰球命中率。身為一個第二輪第 50 順位的球員，Gomes 真的已經讓綠衫軍值回票價。
請繼續往下閱讀
2005_draft_second_round
題外話，05 年的第二輪實力堪稱深厚，
甚至有六人的 WS 值累積超過 40。
這兩三年，將球隊交與年輕人的綠衫軍，戰績敗多勝少是常態。但藉由 Rivers 的帶領，至少這批新血都如預期般地成長。特別是 Al Jefferson，被認為很有機會成為下一個明星級長人。2006 年選秀會，又到了看 Ainge 操盤的時刻。不過手握第七順位的 Ainge，雖然挑到了天分滿溢的 Randy Foye，但 Ainge 很快地將他和走出傷痛的 Raef LaFrentz 換去拓荒者，卻只換回還有兩年大合約的 Theo Ratliff 和表現開高走低的 Sebastian Telfair。這次操盤又讓外界看不懂了，為何要放棄難得的高選秀天分呢？